Meta推出新功能：AI检测青少年自杀自残话题
Meta强化青少年保护机制
Meta公司于近日宣布了一项重要举措，将主动告知家长其子女与公司Meta AI聊天机器人讨论自杀或自残话题的情况。此举旨在加强对青少年的数字保护，同时公司也在研发相关功能，可在检测到用户存在即刻自杀风险时自动联系紧急服务。
应对监管与社会关切
此项功能调整正值科技企业面临监管机构及家长们对AI聊天机器人如何处理危机用户的严格审视。特别是当青少年用户面临心理危机时，AI系统的回应方式正成为责任考量的关键因素，这一考量正逐渐影响着AI产品设计与市场推广策略。
智能识别与人工审核结合
Meta方面表示，公司已构建专用的AI系统，用以识别青少年明确提及自我伤害内容的对话。对于此类情况，公司强调会采取双重保障机制：”我们深知家长收到此类通知可能会感到担忧，因此在我们持续改进检测系统的同时，所有被AI标记的对话都将经过人工审核才会发送警报。”
Meta在官方博客中进一步解释：”如果青少年的意图存在模糊之处，我们会倾向于谨慎行事并通知家长。尽管这有时可能导致在没有真正担忧的情况下打扰家长，但我们认为这是合适的起点，并将持续监测以确保我们的措施处于正确轨道。”
功能覆盖范围与推广计划
目前，这一预警功能已在美国、英国、澳大利亚和加拿大地区，通过Instagram的”家长监督”功能正式上线，并计划在今年年底前实现全球覆盖。
多重保护措施协同作用
此次更新是Meta现有青少年保护体系的延伸。此前，公司已会在青少年反复搜索自杀或自害相关内容时向家长发送预警。此外，家长还可以查看青少年在过去一周内与Meta AI讨论的主题内容。
同时，Meta还宣布其”有限内容”设置——这一允许家长为青少年设置更严格体验的功能——现已扩展至Meta AI聊天机器人。Meta AI已接受训练，避免与青少年进行性、恋爱或酒精相关讨论，而”有限内容”设置通过使聊天机器人拒绝更广泛的提示，进一步强化了这些保护措施。
值得一提的是，Meta还表示，无论用户是成人还是青少年，如果其与Meta AI的对话显示存在自杀风险，公司将联系紧急服务。这一措施与Meta在Facebook和Instagram平台上已有的政策保持一致，即当用户发布暗示自杀风险的内容时采取相应行动。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！