OpenAI推出新防护工具:智能识别儿童色情图片并加强预警拦截

OpenAI推出新防护工具:智能识别儿童色情图片并加强预警拦截

AI安全防线升级

随着人工智能技术广泛应用,平台安全防护引发社会广泛关注。今日,OpenAI宣布推出一系列应对儿童性虐待材料(CSAM)的新措施,涵盖图像检测与用户警示等多维度安全机制。

免费开放AI图像检测接口

该公司开发了一款新型图像分类器,专门用于识别CSAM相关内容,包括AI生成的侵权素材。目前已向部分机构通过API提供免费调用服务。

  • 精准筛查:能够识别图像中隐藏的虐待视觉特征
  • 辅助评估:提供量化评分参考,便于审核人员判断

携手公益组织提升效率

该分类器由OpenAI与美国国家失踪与受虐儿童中心(NCMEC)联合研发,同时与Tech Coalition及ROOST等平台共享接入权限。测试数据显示:

  • 同类违规图片检出率保持不变
  • 误报量减少48%
  • 被标记样本的违规确认率提高至原来的两倍

多部门协同治理

在用户端防护方面,ChatGPT已针对相关违规行为新增多重干预机制:

  • 触发警示提示页面
  • 引导用户使用专业求助渠道
  • 实施24小时临时限制
  • 屡次违规将面临永久封号

专家指导优化措施

此次警示语设计广泛征求了国际反性侵组织的意见,包括Protect Children、Lucy Faithfull Foundation等机构,以及塔斯马尼亚大学Joel Scanlan研究员团队的意见。后者此前已完成相关干预效果的独立评估。

开发者规范指引

公司同步发布了面向开发者的合规指南,明确禁止利用其产品制作、传播涉未成年人不良内容,并要求建立便捷的举报通道。早期实践表明,多项防护措施已被业内采纳使用。

执法能力建设支持

针对一线执法人员,OpenAI开发了系列专用工具包:

  • 定制化分析插件
  • 案件调查辅助系统
  • 复杂数据挖掘模块
  • 标准化操作手册及培训课程

行业持续完善

过去一年间,该企业在安全领域持续投入改进:

  • 发布系统性安全防护方案
  • 更新内容管理规范
  • 调整模型参数降低风险输出
  • 上线青少年专属版本

关注微信号:智享开源 ,及时了解更新信息。

阅读原文

评论列表
发表评论
😀 😂 😃 😄 😅 😆 😉 😊 😋 😎 😍 😘 🥰 😜 😝 🤗 🤔 😭 😤 👍

为你推荐
Ta的个人站点

Mark Do发布文章3898篇

如我距离死亡还有45年,我还活着,该怎么度过现在。


公众号:智享开源

分类