作者 | 邓咏仪

编辑 | 苏建勋

随着 AI 大模型技术落地，AI 应用正如雨后春笋般不断出现。

(资料图)

6 月 1 日，阿里云宣布通义大模型新进展，AI 音视频新品 " 通义听悟 " 正式上线，并且正式开启公测。

通义听悟是基于阿里云通义千问大模型开发的 AI 应用，主要针对音视频内容进行转写、检索、摘要和整理，比如用大模型自动做笔记、整理访谈、提取 PPT 等。

事实上，通义听悟的前身是阿里云内部一个名为 " 听悟 " 的产品，主要功能包括实时会议、音频转写功能，" 听悟 " 自 2022 年年底就开始小范围内测。

不同于传统的实时会议速记转写，如今面向 C 端提供视频转写服务的应用尚在少数。而如今的通义听悟，则从纯粹的音频转写，延伸到了音视频领域，融合了十多项 AI 新功能。

阿里云智能 CTO 周靖人表示，听悟集成了阿里最先进的语音和语言技术，比如，阿里新一代工业级语音识别模型——其识别准确率在多个权威中文数据集上名列第一。融合自研语音语义多模态说话人算法后，听悟能对 10 人以上说话场景进行角色区分。如今有了通义千问大模型的能力，听悟也能够对上万字的音视频内容进行摘要总结。

在听悟中，用户可以将视频 / 音频上传，完成录音转写。根据 36 氪的体验，在音频转写速度上，听悟的处理速度不错——对 1-2 小时的音频，听悟一般在数分钟内就能转写完毕。

音频转写完毕后，听悟还能够做到中英对照翻译，还能够一键总结会议要点，划分章节、区分不同发言人的观点、整理待办事项等等。

根据阿里云，通义听悟未来还有更多基于大模型的功能上线。比如，对视频中出现的 PPT，AI 能够基于通义千问大模型做到一键提取，而用户也能向 AI 助手针对多个音视频内容进行提问、让听悟概括特定段落等等。

值得注意的是，听悟目前针对一些细分场景中提供了不同的部署形态，如浏览器插件。在 Chrome 安装听悟插件后，听悟在无字幕视频中就可以实时生成双语悬浮字幕。二转写结果可下载为字幕文件，方便新媒体从业者视频后期制作。

在会上，阿里云也介绍了几个已经落地的应用场景。

比如，在阿里云盘中，用户可以一键转写云盘中的文件，在云盘内在线播放视频时，能够实时生成字幕。

而钉钉的在线会议模块 " 钉闪记 "，同样集成了听悟。在会议结束后，钉闪记所能够输出的也不再是纯粹的速记，而是包含重点摘要的完整文档，可以有效地提升公司内部工作效率。甚至，在开会时，AI 可以代为记录会议、整理要点。

听悟会以个人版和企业版两种形式提供服务，未来一段时间就将在夸克 APP、阿里云盘等端口提供服务。据阿里云，听悟企业版当前已在阿里集团内部被广泛使用，帮助减少了大量会议记录和整理的工作。

在定价上，听悟也跟随阿里云近期的大降价策略。在公测期间，用户可领取 100 小时以上听悟免费转写时长。听悟用户可通过每日登陆、官方微博、微信及各大平台社区领取口令码，用户的福利权益可累积，一年内有效。

从通义听悟的发布可以看出，国内大模型厂商除了在底层大模型搭建上快马加鞭外，AI 应用也已经成为他们必须抓住的机遇—— AI 音视频转写、内容理解等功能，背后意味着通用能力，厂商们可以覆盖包括开会、上课、培训、面试、直播、看视频、听播客等音视频场景，嵌入到不同的应用软件当中。

标签：