打开APP

喜马拉雅音频大模型成功通过国家备案

2024-09-20 16:50 互联网

喜马拉雅音频大模型是全球*第四代多情感演绎、超自然表达的音频生成大模型。在2024年9月9日上海网信办发布的最新一批上海市生成式大模型备案通过名单中,喜马拉雅音频大模型与米哈游、阅文集团的筑梦岛等文本大模型共同通过了备案,成为全国*通过网信办生成式人工智能服务的音频生成类大模型,将会引领整个音频行业AIGC从第三代音频生成模型向第四代音频生成大模型的演化发展。

喜马拉雅音频模型是珠峰AI团队基于自研文本音频联合建模的LLM框架,在同一空间向量表征下实现音频与文本的联合建模训练。这种联合建模的方法充分赋予了音频生成任务以强大的语义信息,并充分利用它们之间的内在联系和互补信息,大幅度提高模型的性能和泛化能力,这也是第四代音频大模型超越上一代的核心技术突破。

在训练过程中,喜马拉雅珠峰AI首先将音频数据和文本数据分别进行预处理,将它们转化为适合模型输入的 token 形式,并将音频 token 和文本 token 映射到同一空间向量表征中,使得模型能够更好地理解和处理音频和文本之间的关系。整体训练流程包括预训练(Pretraining)、有监督微调(SFT)、领域有监督微调(Domain SFT)、说话人有监督微调(Speaker SFT)、强化学习(RL)几个主要流程。通过这几个流程的训练,使模型具备以下特点:(1)15s音色克隆能力和声音转换能力。(2)超拟人、多情感、对齐人类偏好的语音生成。(3)高可控风格和副语言能力。

喜马拉雅珠峰AI研发团队对训练好的模型进行评估,在长音频内容如有声小说的场景下,角色演绎风格的可控性、音素表现的稳定性、语流韵律停顿等的自然度上显著高于国内外第三代音频生成模型。

喜马拉雅音频大模型践行“产模结合”的范式,通过模型结合产业形成业务、数据、算法的正反馈循环。其在AIGC有声书、Chat对话式交互等业务场景上广泛使用,诸如最近爆火的有声书《我的阿勒泰》就是由喜马拉雅音频大模型生成的。喜马拉雅珠峰AI表示,音频大模型能力已经在珠峰AI官网上可以直接体验使用了,用户可以直接创作自己的音频内容。

(免责声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。请读者仅做参考,并请自行承担全部责任。)

相关资讯

【声明:本页面数据来源于公开收集,未经核实,仅供展示和参考。本页面展示的数据信息不代表投资界观点,本页面数据不构成任何对于投资的建议。特别提示:投资有风险,决策请谨慎。】