10 月 2 日，OpenAI 发布了实时 API 公开测试版探花 白虎，用于构建基于 GPT-4o 语音到语音的 AI 垄断和智能体。这是 GPT-4o 发布之后，OpenAI 在实时语音交互才调上的最新发挥。

GPT-4o 所展现出的实时语音交互才调让外界印象久了。而这很猛进程上归功于 GPT-4o 大幅阻抑的语音延迟，平均 320 毫秒的反适时候，让 AI 与东说念主的对话第一次接近了东说念主类真实对话间的反应速率。同期其口吻和情怀模拟，也愈加深 AI 与东说念主类交流之间的千里浸感。

而国庆假期间，OpenAI 发布的实时 API 公开测试版，则对准了 GPT-4o 语音到语音的 AI 垄断和智能体，这像是给是以 AI 垄断开采者的一个信号，大模子发展近两年后，基于声息的实时对话式 AI 场景有时会初始变的防卫起来。

OpenAI 这次也公布了三家语音 API 结合者的身份：LiveKit、Twilio，以及 Agora。值得一提的是，前几年也曾爆火的 ClubHouse，背后的本事提供便捷是 Agora，其昆季公司声网则在国内更为东说念主所知。Agora 聚焦好意思国和海外阛阓，声网则如故俨然是中国阛阓中 RTC（实时音视频，Real-time Communications）才调最头部且主要的提供者。

而当下实时对话式 AI 这场还未皆备起势的波浪背后，发展多年的 RTC 本事看成一项基础才调，如故迟缓围聚实时多模态大模子发展波浪的中枢。

01 RTC 是实时多模态大模子的必由之路

力排众议的，大模子才调的进步告成促进了端到端实时多模态大模子的崛起。

此前，实时对话中的语音惩办是基于传统的三智商——语音识别、语音转翰墨、翰墨转语音（STT-LLM-TTS）——步调来进行的。当今收货于大模子自己才调的进化，端到端实时多模态模子能够告成惩办语音，这与传统的三智商惩办步调比较，反应速率要进步许多，这亦然为什么实时对话式 AI 的出路初始备受期待。

语音惩办这个本事波折被攻下后，大模子边界的头部玩家们如故初始用脚投票了。

本年 6 月，Character AI 推出新的语音功能，用户不错与 AI 脚色进行语音对话。这家东说念主工智能聊天机器东说念主初创公司暗意，新的通话功能在推出初期就眩惑了来自 300 多万用户的 2000 多万次通话。

Character AI 推出新语音功能几天后，微软 AI 负责东说念主 Mustafa Suleyman 披露微软将在本年年底为用户拿出实时的语音界面，允许皆备动态的交互。

而在国内的大模子边界，智谱 AI 8 月末在智谱清言中上线了国内首个面向 C 端的视频通话功能，该功能让用户能够通过垄断表率进行语音和视频互动，通盘体验访佛于与真东说念主对话。用户不仅不错使用手机的前置或后置录像头进行视频通话，还能进行语音交互。这项功能独特合乎在平常生存中的各式场景垄断，比如协助学习、辨识物品等。

而在智谱清言新功能上线同日，科大讯飞星火极速超拟东说念主交互本事也隆重上线讯飞星火 APP，星火极速超拟东说念主交互在反应和打断速率、神志感知情怀共识、语音可控抒发、东说念主设饰演四个方面终了紧要冲突，让合座交互体验更当然、更具情怀。

电影《Her》中的场景探花 白虎，似乎确实要成真了。但 GPT-4o 进一步打开实时对话式 AI 的想象力所给东说念主带来的启示，有时是咱们仍然低估了「实时」在交互体验上的伏击性。

实时对话式 AI 中，「实时」与「AI」相同伏击，甚而看成一场与 AI 的对话体验中最决定性的变量，「实时」本体上的伏击性要更胜后者。但要把「实时」拉到极限，端到端实时多模态模子的崛起只是近来得到本事冲突的一条明线——它从念念考速率上裁减了语音的交互时候。而另一条更绵长的发展暗线则是 RTC（实时音视频，Real-Time Communications）本事的执续进取。

更详确的拆解一下多模态大模子中实时语音交互的中枢旅途，好像就能辨析 RTC 本事在其中的伏击兴味：

起首，语音输入经过 RTC 传输到做事器，做事器端的多模态大模子经受到语音后初始预惩办，这里的预惩办主要包含了音频的 3A，举例语音的降噪、增益扫尾、回声放置等操作，使得后续的语音识别愈加准确，让大模子更能听懂用户说的话；

随后，预惩办的语音数据送入模子进行语音识别和雄伟，系统再通过模子生成回复，这其中还需要通过语音合成本事治愈为语音问号；

临了，语音数据通过 RTC 传输到用户端，完成一次好意思满的语音交互。

声网在执行中发现，传统的 AI 语音对话（STT-LLM-TTS）在垄断 RTC 后，反应延时可从 4-5 秒阻抑到 1-2 秒，而在具备端到端实时多模态惩办才调后，通过 RTC 本事，大模子实时语音对话的延时可降到几百毫秒内。从体验上看，RTC 本事的垄断让对话式大模子的交互更智能，更具真实感。

在 GPT-4o 的发布会上，有一个细节引东说念主堤防：用于演示的手机贯穿了一根网线。工程师 Mark 解说说，这么作念是为了确保网罗的雄伟性。这也揭示了一个事实，即 GPT-4o 的演示是在固定造就、固定网罗和固定物理环境中进行的，以保证低延迟。

然则在本体垄断中，用户的造就时时弗成恒久贯穿网线，最终不管多强的模子才调，都需要依靠 RTC 本事来信得过落到实时对话的场景中。而这其中多模态大模子在与 RTC 本事结合时奈何保险低延时、运动的语音交互体验，变得尤为要津。

一句话来说，RTC 是将多模态大模子与实时互动场景贯穿起来最要津的本事桥梁。

而跟着 RTC 从领先的一种前沿本事在连年迟缓形成一项基础设施级别的才调并速即在各个场景中延迟，加入了场景视角的 RTE（实时互动，Real time engagement）见地初始取代 RTC，成为当下褒贬实时互动才调新的本事名词。

以声网创举东说念主兼 CEO 赵斌对 RTE 的见地表述：

「RTC（实时音视频）从 Communication 的视角，更多是在强调对语义信息进行高质料和高效果的传递。而 RTE（实时互动）更聚焦用户所需要的分享时空，即俗语所说的场景。」从 RTC 到 RTE，便是从基础才调向场景化才调的进化。

在这个端到端实时多模态模子家具化势头初现的时期，声网和 RTE 开采者社区调和髻起了第十届 RTE 大会。实时互动与 AI 的结合在当下所能承载的整个想象力，都会在这场大会中现身。

02 AI 浓度拉满，第十届 RTE 大会亮点前瞻

起首，无用怀疑的是，这场 RTE 大会上会有终点多富裕有重量的不雅点交锋。

国内大模子边界在 ToB 方朝上走的最深的智谱 AI，以及国内大模子边界在 C 端家具化上最有心得的 MiniMax 将会出当今 RTE 大会上。看成这两年随大模子速即成长的创业公司，智谱 AI 和 MiniMax 在 RTE 本事在大模子的 ToB 和 ToC 两条蹊径上发展颇有心得。

而跟着大模子开源生态的速即发展，多半个东说念主开采者从客岁初始加入了这一股大模子波浪，实时对话式 AI 初始成为一个备受开采者温雅的家具赛说念，通义千问也会带着国内最掀开采者生态的教训在 RTE 大会中加入推敲。

除此以外，这次 RTE 大会也不乏业内备受瞩主义创业者身影。全球最受瞩主义 AI 科学家之一，一年前从阿里巴巴去职躬身入局大模子的贾扬清也会出当今这次 RTE 大会的主论坛上，来分享他在 AI 基础设施边界创业 18 个月后的教训心得，以及他对 RTE 与 AI 结合的异日趋势的判断。

本次 RTE 大会也将通过七场行业分论坛的时势，展现一幅最具想象力的 AIGC+RTE 行业场景垄断图景，包括 AI+IoT、教诲、泛文娱、出海、数字化转型等七大行业。50+ 行业大咖将会现身行业分论坛现场，带来一线的场景实战案例以及极具深度的行业知悉。

场景是本事迭代所结的果实，异日关于新场景的想象力也酝酿在当下本事的前沿趋势中。本次 RTE 大会也在行业场景垄断的推敲以外，竖立了五场本事专场，分袂聚焦在音频本事和 Voice AI、视频本事和 AI 生成、RTC+ 大模子、空间想象和新硬件、云架构和 AI 时期的 Infra 这五个本事标的，30+ 的本事大咖和众人学者将会带来我方对场地边界最深入的本事观点。

诚然，关于参与到 RTE 大会中的开采者们来说，这里提供的不单是是不雅点和观点。每年 RTE 大会都会为参会开采者竖立专属行为，在本年的 Workshop 中提供了用 TEN 开源框架来现场动手搭建领有音视频雄伟才调的 AI Agent 的契机，这将为开采者带来更多 AI 实时互动场景改革灵感。

2024 年，实时对话式 AI 火热，而 RTE 大会也迎来了十周年。

时候倒回到十年前，2015 年转移互联网当时在国内还未皆备进修，RTE 大会在十年里见证了直播、在线教诲、汉典办公这些新的本事场景景一次次以新物种的状貌亮相并最终融入了人人生存。在这个经由中 ， 实时互动本事迟缓成为东说念主们在应付和泛文娱家具中的基础设施。而跟的确时互动行业的发展，走过十年的 RTE 大会如故变得越来越伏击，它如故是当下这个边界在全球范围内范畴最大、议题最全 ， 最具影响力的行业大会。

当今，AI 与实时互动的碰撞正知道出新的本事和家具波浪。而不管从前沿本事的接头深度，如故多场景改革垄断的丰富性上，本年的第十届 RTE 大会都像极了这么一场「风口浪尖」上的实时互动边界嘉会。

这场大会将会展现出这场变革于今为止最敏感最时尚的一面。如故身处这场变革中的开采者们，或者对实时互动行将出现的颠覆性变化感到振作的整个东说念主来说，请实时到场。

* 头图来源：视觉中国

本文为极客公园原创著作探花 白虎，转载请关联极客君微信 geekparkGO