本文為《阿里雲智慧型服務IMS雲智慧型編輯實踐指南》第6期,從客戶真實實踐場景入手,分享一些時間線技巧(AI TTS、主跟蹤、素材對齊),幫助客戶減少開發時間和成本。歐大爺作者故事始於客戶的真實反饋。
有一天,一位客戶加入了智慧型**服務問答組,想要達到短暫的**效果,發生了以下對話:
上圖鏈結:在阿里雲的智慧型服務IMS雲剪輯中,客戶通常會編輯乙個時間線來提交編輯任務,並合成他們想要的編輯任務。 Timeline中設有AI TTS功能,方便客戶為自己匹配口頭講解**。
此功能在簡短的綜合中非常常見,例如需要將商店訪問與廣告詞相匹配,或者將產品的外觀與產品介紹相匹配。 使用時,客戶只需要:在音軌中新增剪輯,並設定語音廣播的文字內容和音調就是這樣。 在實際合成中,引擎會先做語音合成,然後將語音合成結果合成成成品電影客戶在整個過程中只需呼叫一次編輯任務。
但是,在實際使用中,還是會有一些效果問題,比如上面客戶遇到的問題:
合成前,客戶不知道口文需要閱讀的時間,搭配時,**曲目的時長無法很好地控制:
最終合成的影片結尾可能有黑框,結束口頭播報但**還在播音,這是客戶合成的壞情況效果,口播結束了,**還在繼續**。
雲剪下指南第 6 期示例 **1:
時間線示例:
主要曲目其功能是當客戶將軌道設定為主軌道時解決此問題時間線中的其他軌道會根據主軌道進行截斷在上面的例子中,客戶可以將口語播音軌設定為主音軌,將**音軌素材填寫得足夠長,最後根據主音軌將其截斷,不會出現黑框或錯位的結尾。
使用主軌道的效果:
雲剪下指南第 6 期示例 **2:
時間軸示例(注意 maintrack=true 引數):
第二天,客戶又回來了。
上圖鏈結:在很多實際場景中,客戶需要知道語音合成的精確時長,這樣才能在實際業務中更好地控制它,比如:控制文案每句對應的**和貼紙。 客戶可以先呼叫智慧型語音介面,先將口語播報和字幕結合起來,然後根據每句話的時長將口語播報與素材進行匹配。
這樣一來,整個合成過程就從一步變成了兩步,需要自己拼字幕時間線,會比直接使用AI TTS複雜一些,但客戶控制可以更靈活,這在真實的客戶場景中也很常見。
整個流程實施流程如下:
幾天後,客戶又找到了技術哥。
上圖鏈結: 這一次,客戶的合成過程是這樣的,和之前技術哥的建議不一樣。
客戶這次遇到的問題是第一次語音合成中句子的時間戳與未來AI TTS合成的結果不一致。 由於一些潛在的原因,即使語音合成引數相同,每次合成的結果也會有毫秒級的偏差不建議將上一次的結果作為下一次作文的參考。 同時,智慧型語音任務和AI TTS實際上都會做語音合成,而且成本也佔了兩倍,從成本和效率上來說都不划算。
這一次,客戶的場景是將**材料與口頭文案逐句對齊,使**更有節奏感。
當您對不同軌道之間的材質對齊有這種簡單的需求時,您可以直接使用材質對齊功能。 在時間線中,可以設定每個素材的ID(ClipID),也可以設定素材的ReferenceClipID(ReferenceClipID),如下面的配置,可以達到客戶想要的效果,客戶只能提交一次編輯任務。
最終結果如下:
雲剪下指南第 6 期示例 **3:
時間線示例:
十分鐘後。
在與客戶進行了幾次對話後,我們上線了更多功能。
根據主軌道的整體速度:“根據主軌道截斷其他軌道”的問題在於,最後乙個片段可能不完整,如果最後乙個片段恰好被截斷了幾十毫秒,最後一幀就會一閃而過,體驗就會下降。 當曲目的總時長與口頭播報曲目的時長不同,但客戶想要完成音訊素材時,可以使用曲目整體速度加倍的功能,將曲目整體速度加倍,並與口頭播曲目的結尾對齊。
單邊對齊:在一些產品介紹場景中,口頭播報往往比對應的**素材短,客戶期望口頭播報結束後,相應的素材就完成了,然後接下來的產品介紹就開始了,在這個場景下,可以使用單邊對齊的能力。
具體用途請參考智慧型**服務功能發布記錄:
最後技術大哥想說:剪輯有訣竅對接切割或直切,即影象和聲音在同一時間點開始和結束。 如果處理得當,會非常符合觀眾的口味,反而會極大地影響**體驗。
上面提到的客戶場景在短片中很常見,既避免了黑框等異常現象,又讓成品電影在外觀和聲音上更有節奏感,也非常推薦使用短片**合成的客戶可以使用。 AI TTS、主軌道、物料對位等功能,都是基於大量客戶反饋和真實場景不斷打磨在保證效果的前提下,可以大大節省客戶的開發時間,使客戶可以將更多的精力投入到業務中。
很多技術專業的學生是第一次接觸雲編輯,沒有編輯基礎,會遇到各種各樣的陷阱,雲編輯指南會介紹更多使用雲編輯時間線的技巧,結合客戶的真實場景使用雲編輯時間線會更方便。
IMS雲智慧型編輯是基於雲計算和人工智慧技術的前沿製作服務,可為使用者提供直播剪輯、剪輯、模板工廠、數字人人製作等核心功能,並可利用AI輔助剪輯製作。 產品可廣泛應用於網際網絡、文化傳媒、廣告營銷、教育金融等行業,滿足企業對大規模、高效、便捷、智慧型化內容製作的需求。
歡迎加入官方問答環節釘釘群諮詢與交流:48335001108