OpenAI推出GPT-Live:AI语音交互新突破

OpenAI于周三正式发布GPT-Live,这是一对全新的语音模型,从根本上重塑了人们与ChatGPT的对话方式。该模型取代了公司现有的高级语音模式,采用了一种能够同时收听和发言的架构,使对话体验更接近真实的人类交流。
这两个模型——GPT-Live-1和GPT-Live-1 mini——今日起在全球范围内推出,覆盖iOS、Android和ChatGPT.com平台。GPT-Live-1将成为付费版ChatGPT用户(Go、Plus和Pro层级)的默认语音模型,而GPT-Live-1 mini则为免费用户提供服务。OpenAI还计划将这些模型引入API接口,开发者可注册接收通知。
此次发布标志着ChatGPT语音技术在大约两年内的第三次迭代升级,也是OpenAI迄今为止最明确的努力方向,即将其聊天机器人打造成一种更像与同事交谈而非搜索引擎查询的体验。
全双工语音如何改变AI交互体验
GPT-Live的核心技术突破是OpenAI所称的”全双工架构”。在电信领域,全双工意味着电话通话的双方可以同时说话和收听。应用于人工智能,则意味着模型在生成语音响应的同时,也能持续处理用户输入的音频——无需再等待清晰的停顿来判断对方是否完成了表达。
“GPT-Live不是处理一系列独立的消息,而是在生成输出的同时持续处理输入,”OpenAI在其研究博客中写道。”因此,模型每秒可以做出多次交互决策:是发言、继续倾听、暂停、打断,还是调用工具。”
在实际应用中,这意味着语音助手可以在你说话时插入对话性确认词——”嗯”、”是的”、”明白了”——能够自然感知到停顿而不会过早插话,并能处理快速打断而不会打乱整个交流。
OpenAI此前的高级语音模式于2024年9月向付费用户推出,虽然在一个模型内处理和生成音频,但仍采用严格的轮流对话模式。正如OpenAI在公告中承认的,”由于基于静音的轮次检测,即使是短暂的停顿或背景噪音也可能被误认为是轮次结束——导致模型在不自然的时间打断对话。”
这种脆弱性导致了一个产品:在演示中令人印象深刻,但在实际使用中却可能令人沮丧。咖啡馆的背景交谈可能触发响应,思考的停顿可能被忽略。正如一位研究者在公告后不久在社交平台上所言,体验就像是”对讲机式的轮流发言”。GPT-Live的设计旨在结束这一时代。
OpenAI如何将语音与智能分离为独立层级
GPT-Live引入的第二个结构性改变可能对企业采用同样重要:它将语音交互层与推理层解耦。
当用户提出直接问题时,GPT-Live可以直接处理。但当查询需要网络搜索、深度推理或更复杂的智能体工作时,GPT-Live会将任务委托给后台运行的前沿模型——在发布时是GPT-5.5,这是OpenAI在4月发布的大型语言模型——并在计算异步进行的同时继续与用户对话。
“在它工作的同时,GPT-Live可以继续与您交谈并保持对话流畅,”OpenAI解释道。”随着我们发布新的前沿模型,我们将持续更新GPT-Live使用的模型。”
这种委托模式是一项重要的架构赌注。OpenAI没有构建一个试图既保持对话流畅又具备深度智能的单体语音模型,而是将问题一分为二:一个针对实时交互优化的原生语音模型,和一个可以随着技术进步而更换的独立推理引擎。
这实际上是一种模块化设计——它允许OpenAI升级其语音助手的智能,而无需重新训练语音模型本身。这对企业和开发者工作流程的影响是显著的。基于此架构构建的语音智能体可以在与客户进行自然对话的同时,查询数据库、搜索网络或执行多步推理任务——这些任务在旧管道中会引入几秒钟的空白时间。
ChatGPT语音的三代演进:从笨拙管道到连续流
要理解语音AI的发展历程,追溯导致GPT-Live的三代技术演进很有帮助。
原始的ChatGPT语音于2023年推出,采用级联管道——语音转文本模型(Whisper)转录您说的话,大型语言模型(GPT-4)生成文本响应,然后文本转语音模型将响应转换回音频。每次交接都增加了延迟并丢失信息。
正如OpenAI所指出的,”复杂性带来了代价:信息可能在模型间丢失,响应缓慢且不流畅。”那种级联方法是行业标准,其局限性已有充分记录。正如相关分析文章所述,旧管道的延迟高达约1700毫秒——在第一个回应词出现前几乎是两秒钟的空白。在三个独立API之间管理状态消耗了大量工程努力。
OpenAI的高级语音模式于2024年7月开始向付费ChatGPT Plus用户有限推出,并于9月更广泛地扩展,将这三个模型的管道压缩为一个原生处理音频的单模型。该功能推出了五种新声音,同时改进了口音处理和更流畅的对话。
该功能还在2024年11月登陆网页版,扩展到移动端之外。但高级语音模式仍然通过离散的轮流对话运作,并且它是在OpenAI仍在努力解决的某些问题阴影下推出的。
关注微信号:智享开源 ,及时了解更新信息。


公众号:智享开源
还没有任何评论,你来说两句吧!