10月31日,2023飛天大會在杭州雲棲鎮正式開幕,喜馬拉雅攜自主研發的語音技術成果亮相這一重要科技盛會,攜手全球科技和數字精英,共同發展人工智慧、雲計算、大資料等新興技術的未來發展趨勢。 會上,喜馬拉雅帶來了AIGC與娛樂音響行業深度融合的最新成果,展示了喜馬拉雅在人工智慧領域的巨大進步。
在飛天大會上,喜馬拉雅展示了其自主研發的珠穆朗瑪峰語音生成模型。 大模型基於自研框架,在統一框架下實現音文密集訓練,用於語音生成任務,可實現語音風格和音色零鏡頭的學習和遷移。 借助喜馬拉雅,基於阿里雲資料湖 30 雲原生大資料平台,創作者可以使用該模型實現風格和音色的任意組合。
喜馬拉雅首席科學家、珠穆朗瑪峰實驗室負責人陸恆表示,“喜馬拉雅語音生成模型目前取得了重大突破,在音色定製方面實現了5秒內聲音的'極速轉殖'。 該模型使用非常少量的資料,能夠轉殖出相似度為 90% 的基本音調,並在短短 10 秒內快速生成自定義音訊。 未來,該技術有望在短篇創作、數字人配音、人機互動對話、明星IP複製等領域發揮巨大的潛在價值,有效解決商業場景下傳播需求痛點。 ”
此次展覽與珠峰語音生成模型一起,也是喜馬拉雅AI兒童形象代言人“波波”。 “波波”是借助第二代喜馬拉雅智慧型語音互動系統生成的IP影象,“波波”具有連貫對話能力,可以為家庭親子使用者提供陪伴對話功能。
作為最受使用者歡迎的音訊平台,喜馬拉雅始終堅持用科技賦能文化。 近年來,喜馬拉雅在AI語音技術領域取得了突出的成績,成立了喜馬拉雅珠峰實驗室,專注於語音合成、語音識別、語音訊號處理、編解碼和智慧型音效的研發。 喜馬拉雅在多模態AIGC和軟硬體結合領域取得了豐碩的成果。
此前,喜馬拉雅珠穆朗瑪峰實驗室利用AIGC技術還原了已故講故事者單天芳先生的聲音,並用他的AI合成聲音重新演繹經典。 單天芳先生之子單瑞林對AIGC聲音的表現給予了高度肯定。 目前,在喜馬拉雅平台上,借助AIGC的助力,“單天坊聲音再現”系列**已製作超過1億次,為聽眾和朋友再現經典聲音,為故事帶來全新演繹。
未來,喜馬拉雅將持續探索人工智慧、大資料等新興技術,為使用者提供更好的聆聽體驗,同時提公升創作者的內容製作效率,以科技賦能聲音,為生活增添色彩。