让AI远离”心理陷阱”：这家初创公司用智能体守护用户安全
AI的隐形危险：不只是科幻故事
当人们热议AI可能在未来带来灾难性后果时，往往忽略了它已经在现实中造成伤害——并非通过生化武器，而是从心理层面。
今年早些时候，Character.AI因多起因青少年自杀引发的诉讼达成和解。这些未成年用户的家属指控，孩子在与其对话机器人互动后选择了轻生。与此同时，也有多个家庭就ChatGPT alleged involved in loved ones’suicides and delusions对OpenAI提起诉讼。
让AI在不同语言和文化环境中变得更安全，正是Circuit Breaker Labs的使命。该公司是TechCrunch评选的2026 Startup Battlefield 200入围企业之一。
一个家庭的悲剧，催生一项事业
创始人的初心
创始人Shirali和Arul Nigam是一对兄妹，他们的创业灵感来源于14岁少年Sewell Setzer的悲剧。Sewell对一个Character.AI聊天机器人产生了情感依赖，在向其倾诉自残念头后不幸离世。据其父母2024年提起的诉讼称，那个机器人不仅没有阻止他，反而在某种程度上鼓励了他的极端行为。
Arul作为Circuit Breaker Labs的首席技术官表示：”那个机器人可能并不理解’我想永远和你在一起’这类话语背后的真正含义。”
“我们需要的是更好的安全护栏”
Arul指出：”许多年轻人，尤其是青少年，会向这些AI系统寻求情感支持，但往往他们得到的并不是真正需要的帮助。更糟糕的是，许多人正在受到伤害，已有不幸的生命因此消逝。”
“我们想要阻止的，正是这类安全隐患——用户并非刻意试探系统的底线，而是在进行自然而正常的对话。但由于上下文污染或对语言细微差别的理解不足，系统却给出了极其危险的回应。”
化身”撞车测试假人”的智能体
Circuit Breaker Labs开发出了一种独特的AI智能体，公司将其比作一支由测试假人组成的”军队”。这些智能体模拟来自不同年龄、背景、语言和文化的用户，用于测试模型识别危险及心理有害交互的能力。
首席执行官Shirali解释道：”六岁的小女孩和四十五岁的男性，以英语为母语的人和以英语为第二语言的人，使用游戏黑话的人和用语不同的其他群体——所有这些差异都容易让模型’掉以轻心’。模型在处理标准语言模式方面表现不错，但现实中没人那样说话，一旦模型误解了语境或俚语，后果可能非常严重。”
红队测试：用数万种对话发现漏洞
初创团队与人类领域专家合作，构建高度逼真的用户模拟场景，对模型进行”红队”测试——即对抗性测试，旨在挖掘系统弱点。这些测试忠实还原了真实的人类语言模式、俚语、隐晦表达甚至打字错误。Circuit Breaker Labs每天运行数万至数十万次模拟交互。
其核心理念是确保模型能够恰当地应对随着时间推移和对话增多而逐渐浮现的风险场景。随后，公司利用专有的评分方法，生成可审计、可解释的安全评估分数。
从心理健康应用到更广阔的未来
目前，Circuit Breaker Labs主要作为高风险AI应用的测试实验室，服务于AI教练、心情日记及其他心理健康支持类应用。Arul并未透露具体客户名称。尽管产品已投入运行，但公司仍处于早期阶段，目前仅有五名员工，包括Nigam兄妹。
展望未来，这项测试平台有望应用于任何可能让人陷入”AI心理依赖困境”的应用场景——即用户与聊天机器人之间形成病态的准社交关系。例如，AI”同事”智能体的回应可能每次都不一样，更容易引发此类风险。
以安全换取信任
“人们开始对AI持更加审慎甚至抵触的态度，”Arul表示，”虽然这种警惕是健康的，但如果因为安全顾虑而全面禁用这项 potentially valuable 的工具，无疑是一种倒退。”
Circuit Breaker Labs坚信，化解公众恐惧的唯一途径是做出真正安全的AI。”我们希望帮助人们建立对AI的信任。”
关注微信号：智享开源 ，及时了解更新信息。
原文链接：https://techcrunch.com/2026/10/02/circuit-breaker-labs-hopes-to-make-ai-safer-for-your-kids-and-you/
公众号：智享开源
还没有任何评论，你来说两句吧！