OpenAI推出新防护工具:智能识别儿童色情图片并加强预警拦截

AI安全防线升级
随着人工智能技术广泛应用,平台安全防护引发社会广泛关注。今日,OpenAI宣布推出一系列应对儿童性虐待材料(CSAM)的新措施,涵盖图像检测与用户警示等多维度安全机制。
免费开放AI图像检测接口
该公司开发了一款新型图像分类器,专门用于识别CSAM相关内容,包括AI生成的侵权素材。目前已向部分机构通过API提供免费调用服务。
- 精准筛查:能够识别图像中隐藏的虐待视觉特征
- 辅助评估:提供量化评分参考,便于审核人员判断
携手公益组织提升效率
该分类器由OpenAI与美国国家失踪与受虐儿童中心(NCMEC)联合研发,同时与Tech Coalition及ROOST等平台共享接入权限。测试数据显示:
- 同类违规图片检出率保持不变
- 误报量减少48%
- 被标记样本的违规确认率提高至原来的两倍
多部门协同治理
在用户端防护方面,ChatGPT已针对相关违规行为新增多重干预机制:
- 触发警示提示页面
- 引导用户使用专业求助渠道
- 实施24小时临时限制
- 屡次违规将面临永久封号
专家指导优化措施
此次警示语设计广泛征求了国际反性侵组织的意见,包括Protect Children、Lucy Faithfull Foundation等机构,以及塔斯马尼亚大学Joel Scanlan研究员团队的意见。后者此前已完成相关干预效果的独立评估。
开发者规范指引
公司同步发布了面向开发者的合规指南,明确禁止利用其产品制作、传播涉未成年人不良内容,并要求建立便捷的举报通道。早期实践表明,多项防护措施已被业内采纳使用。
执法能力建设支持
针对一线执法人员,OpenAI开发了系列专用工具包:
- 定制化分析插件
- 案件调查辅助系统
- 复杂数据挖掘模块
- 标准化操作手册及培训课程
行业持续完善
过去一年间,该企业在安全领域持续投入改进:
- 发布系统性安全防护方案
- 更新内容管理规范
- 调整模型参数降低风险输出
- 上线青少年专属版本
关注微信号:智享开源 ,及时了解更新信息。


公众号:智享开源
还没有任何评论,你来说两句吧!