科技

“清朗”整治AI内容:561万条信息被清理,平台审核还要升级

|作者: QUASA 编辑团队|2 分钟阅读
“清朗”整治AI内容:561万条信息被清理,平台审核还要升级

9月2日,中央网信办公布“清朗·整治AI应用乱象”专项行动第二阶段工作进展。新华社当日的报道 确认,截至通报时,专项行动累计清理违法违规信息561万余条、查处账号4.9万余个,并处置违规网站、应用程序等2400余个。

第二阶段聚焦利用AI制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益和网络水军活动。中央网信办的阶段性通报 同时列出平台升级审核策略、优化多模态识别模型、扩充人脸库和声纹库,以及应用商店复测在架应用等做法;标题所说的“审核还要升级”,对应的正是审核范围从生成源头向内容发布、账号运营和应用分发继续延伸。

三组处置数据不能混成一个指标

通报中的三组数字分别对应信息、账号和网站及应用程序等载体。清理一条违法违规信息,不等于下架一个AI应用;查处一个账号,也不能直接等同于处罚一家企业或MCN。不同对象之间可能相互关联,但不存在可以直接相加或替换的统计关系。

统计周期同样需要谨慎表述。9月2日材料使用的是“截至目前”的累计数据,没有分别给出第一阶段与第二阶段各自清理了多少信息、查处了多少账号。因此,561万余条可以表述为通报时点的专项行动累计信息处置规模,却不能全部归入第二阶段,也不应再与第一阶段的产品整改数量相加制造新的“总数”。

这一口径决定了平台对外披露治理成果时应分别保留处置对象和处置方式。内容删除量反映信息治理,账号处罚量反映运营主体或行为治理,网站与应用处置量则涉及服务载体;只有分开呈现,才能看出问题究竟出现在生成、发布、传播还是应用准入环节。

两阶段从技术源头延伸到内容传播

专项行动从模型备案、训练数据和标识检查延伸到AI内容发布与传播审核

4月30日公布的行动部署 明确,专项行动原定开展四个月,并划分为两个阶段。第一阶段侧重大模型备案登记、安全审核与过滤能力、训练语料、数据投毒、生成合成内容标识、AI技术违法滥用和开源模型安全管理;第二阶段则集中整治AI生成内容及其传播行为。

  • 第一阶段检查产品和技术源头:模型是否履行备案登记要求,训练数据与输出过滤是否安全,生成合成内容标识是否落实,以及高风险功能和开源模型是否得到管理。
  • 第二阶段检查内容和运营行为:是否批量生成“数字泔水”,是否制作虚假信息或暴力低俗内容,是否利用换脸、换声仿冒他人,是否侵害未成年人权益,以及是否使用AI“托管”、群控或社交机器人制造虚假流量。

两个阶段并非互相替代。模型完成备案或具备输出过滤能力,并不意味着其生成的每条内容都可以直接进入信息流;同样,内容带有AI标识,也不能免除平台对虚假、低俗、侵权或有组织操纵行为的判断。第二阶段增加的是对发布者、账号网络、推荐分发和应用渠道的观察维度。

七类案例暴露了哪些审核盲点

平台联合核查虚假灾害画面、合成声音和异常账号互动并处置违规内容

典型案例覆盖“魔改”经典和“数字泔水”、虚假不实信息、假冒仿冒、暴力低俗内容、侵害未成年人权益、AI“托管”网络水军,以及违规AI产品服务。被处置的内容包括虚假灾害及救援画面、冒用公众人物形象的营销素材、未成年人“虐向”或“邪典”视频,以及含有违法不良信息的智能体封面、简介和生成对话。

这些案例的共同点不是某一个敏感词,而是AI降低了批量改写和多模态变造的成本。相同叙事可以不断更换画面、声音和文案;如果平台只检查单条文本或单帧画面,就可能漏掉换声仿冒、连续变体和跨账号重复分发。

网络水军案例又把审核对象从内容本身扩展到账号行为。模拟真人运营、批量评论和生成同质文案时,单条内容未必含有明显违规词,但注册与发布节奏、内容相似度、互动关系和引流目标可能呈现协同行为。平台因而需要把内容识别结果与账号网络信号结合,而不是让两套审核彼此割裂。

平台、MCN和AI应用分别要检查什么

应用商店复测AI应用的介绍、智能体配置和生成对话后拦截违规版本

公开文件没有为所有参与者新增一套完全相同的技术清单,但两阶段任务和已披露的平台做法已经划出了审核边界。不同主体应检查自己能够直接控制的环节:

  • 内容与分发平台:检查文本、图片、视频和声音的联合识别是否覆盖新型变体,并把举报、复核、内容处置和账号处罚接入同一流程;对异常互动和批量同质内容,还要结合账号行为判断。
  • 生成式AI服务运营者:继续检查原始语料、模型输出限制和生成合成内容标识,同时把智能体封面、简介、默认配置及实际对话输出纳入内容安全范围。
  • MCN与账号运营团队:复核批量生产和发布流程中的素材来源、事实依据、人物授权及自动化运营方式。第二阶段部署已把违规MCN与账号、网站平台一并列为可能被处置的对象,审核不能只停在成片发布前的关键词扫描。
  • 应用商店与分发渠道:除开发者准入和上架审核外,还需复测在架版本,检查应用介绍、实际功能和生成结果是否一致,避免违规功能借版本更新或套壳应用进入分发渠道。

责任差异来自各方掌握的信息不同:模型运营者看得到训练与生成环节,MCN掌握选题和批量运营过程,内容平台能够观察传播与互动,应用商店则控制准入和版本流转。第二阶段的变化,是把这些原本分散的审核节点纳入同一条内容治理链,而不是仅把问题归因于模型输出。

通报仍缺少分阶段和分平台数据

9月2日发布的是阶段工作进展和典型案例通报,正文没有宣布专项行动结案。中央网信办表示,下一步将在总结治理成效的基础上继续关注AI生成合成内容的新情况、新风险,并及时采取措施防范技术滥用。

目前尚未公开各平台分别处置多少内容,也没有拆分两个阶段的独立处置量,因此不能据此比较平台治理效果或计算各阶段贡献。后续需要观察的,是监管部门是否公布更细的统计口径、整改验收安排和常态化治理要求;在这些信息出现前,现有数字只能按通报给出的对象和累计口径理解。

分享:

订阅我们的新闻通讯

将最新 Web3、AI 和加密货币新闻直接发送到您的邮箱。

0