Agora 原生 RTC SDK 43.版本 0 已在官網正式上線,43.0 SDK 在 RTC 的基礎品質和體驗上都實現了顯著提公升,比如音訊第一幀效能的優化和 API 呼叫的耗時; 高畫質體驗和頻寬優化等。 該版本還支援自定義照片布局和接收端多檢視本地預覽等功能,可應用於多人團戰、會議、虛擬社交等場景,詳見下文。
RTC基礎質量顯著提公升
為了進一步提公升開發者的訪問和使用者體驗,Agora 對 43.0 優化了SDK任務處理排程機制,體現在以下幾個方面:
SDK 穩定性:
SDK 的穩定性進一步增強,不僅降低了各種特定場景下的崩潰率,例如多人遠端會議中的螢幕共享、直播中特殊模型的加入頻道等,還優化了 SDK 的 DNS 解析策略,提高了在複雜網路環境下呼叫 setlocalaccesspoint 解析網域名稱的穩定性。
音調 ** 第一幀效能優化:
遠端和本地位置的首幀輸出和聲音輸出速度提高 10% 到 20%。
API呼叫耗時優化:
API呼叫時間和響應時間最多可減少50%。
持續優化**高畫質體驗
聲網Agora 一直致力於推動 720p 和 1080p **HD 在國內外市場的普及3.0 SDK 我們還進一步優化了多個場景下的高畫質體驗。
**針對高畫質型號進行了優化
在RTC場景中,低端裝置一直難以實現720p高畫質**,海外市場存在共同痛點。 對此,Agora 一直在優化低端機器在直播和音訊通話場景下的效能。 這次 43.版本 0 進一步增強了 SDK 的並行處理能力,使低端裝置能夠體驗到更高的 ** 質量(720p,24 fps),以及在高解像度和高幀率**場景下更穩定的影象處理**。
**預設情況下啟用高畫質功能
為了有效推動720p高畫質在網路上的普及,43.0 SDK 預設啟用 PVC AI 質量。 PVC:解像度預設在180-720p之間開啟,效能不足時自動降級禁用。 AI畫質預設開啟,多維度實現畫質增強,效能不足時也會自動降級禁用。
支援裝置評級查詢和自適應解像度
新增querydevicescore方法,查詢裝置的分級,保證使用者設定的引數(如流式處理)不超過裝置的能力。 例如,在高畫質或超高清場景中,主播可以在正式直播前呼叫該方法查詢裝置的評分,如果返回的分數較低(如100分制中低於60分),則需要適當降低解像度,以免影響裝置的體驗。 不同的業務場景需要不同的最低裝置評級級別,客戶可以自行選擇。
頻寬優化
隨著影象質量越來越高畫質化,對傳輸的頻寬要求也越來越高。 和 Agora 43.0 SDK通過優化模組演算法,降低實時傳輸的頻寬要求。 在網路環境保持不變的情況下,它為使用者提供了更好的體驗。
新增了許多新功能
支援更豐富的場景玩法
自定義接收端合成影象的布局
在多個主播(4個或更多)傳送流的場景下,觀眾面臨著對裝置效能和下行頻寬要求高、螢幕布局靈活、觀眾視窗切換和放大等挑戰。 因此,聲網推出了多錨點場景下的體驗優化方案,支援接收方自定義圖片布局,打造以觀眾為中心的流暢個性化體驗。 該方案可廣泛應用於多人團戰、多人會議、大班等場景。 技術原理如下圖所示。
圖1:客戶端自定義地圖布局需要配合雲轉碼服務使用
圖 2:當檢視器收到轉碼的復合流時,檢視器會在本地實現自定義復合布局支援多檢視本地預覽
該版本的 SDK 支援同時在本地預覽多個螢幕,螢幕中顯示的 ** 位於 **鏈結上的不同觀察位置。 例如,支援看到裝置攝像頭拍攝的**同時渲染為本地**預覽中的兩張圖片,分別是“沒有**預處理的原始圖片”和“已經**預處理的圖片(如:美化、虛擬背景、水印本地預覽)”。
該功能可用於虛擬社交、會議等場景,如虛擬社交場景,主播在應用介面同時支援攝像頭實屏+虛擬人影象預覽。 **在會議場景中,切換虛擬背景、美化等效果時,本地預覽畫面不會影響線上直播畫面。
圖:虛擬社交場景的插圖音訊場景啟動協助
該 SDK 版本還新增了 SelectMultiAudioTrack 方法,支援設定本地音軌併發送到遠端,可以應用於卡拉OK等音訊場景的啟動輔助。 例如,在K-song場景中,主播可以根據自己的需求選擇在本地使用乙個音軌A(比如開始原曲),然後再將另乙個音軌B傳送到遠端(比如只有伴奏),觀眾只能聽到伴奏+主播的演唱效果,這不僅提公升了主播的演唱效果, 同時也提公升了觀眾的純粹聆聽體驗。