編碼技(jì )術新(xīn)突破：字節跳動 AVG 讓視頻縮小(xiǎo) 13%

據聯合視頻專家組 JVET 官網顯示，字節跳動 AVG （先進視頻團隊）在 2021 年 2 月發起了一項視頻壓縮的技(jì )術提案，該提案能(néng)夠在優化壓縮質(zhì)量的同時，節約至少 13% 的存儲和帶寬。例如，一段 180 分(fēn)鍾 H.266/VVC 标準的高清視頻（ 1080P 分(fēn)辨率），大約需要 3GB 的數據體(tǐ)積，應用(yòng)新(xīn)技(jì )術後隻需要 2.6GB 。這是業界公開的單個智能(néng)編碼工具的最佳性能(néng)增益。

字節跳動 AVG 在美國(guó)加州建立研發團隊，成員有來自高通、微軟、英特爾等巨頭的資深研究員，也有出身海内外頂級院校的新(xīn)生代。在此前 JVET 制定新(xīn)一代國(guó)際視頻編解碼标準 H.266/VVC 的過程中，字節跳動 AVG 累計提交 260+ 項技(jì )術提案，其中 130+ 項被采納，被采納提案數和采納率均排在世界前列，是 H.266/VVC 核心算法的主要貢獻者之一。

視頻是由一張張圖片連接起來的動态圖像序列，視頻編解碼則是視頻應用(yòng)的底層核心技(jì )術，作(zuò)用(yòng)是對圖像進行壓縮和數字編碼，以盡可(kě)能(néng)小(xiǎo)的帶寬傳送高質(zhì)量的視頻數據。 H.266/VVC 能(néng)夠在不影響畫質(zhì)的情況下，把視頻碼率降低到前一代标準 H.265/HEVC 的一半。本來隻夠放标清視頻的網速，也能(néng)流暢播放高清視頻。

此次字節跳動 AVG 提出的新(xīn)算法，旨在通過深度學(xué)習技(jì )術構建減少視頻壓縮失真的濾波器( DAM )，主幹是基于殘差單元堆疊的深度卷積網絡，輔以自适應模型選擇以最大程度适應特性複雜的自然視頻。所謂殘差單元是指通過引入跳層連接，允許網絡把注意力放在變化的殘差上，這與視頻圖像幀之間的殘差有異曲同工之妙，比如武林高手決鬥，“劍光一閃”，每一幀圖像絕大部分(fēn)内容是相同的，閃動的劍光形成殘差，這也是視頻編碼壓縮的重點關注對象。

實驗結果顯示，相比 H.266/VVC 最新(xīn)标準，字節跳動的 DAM 解決方案能(néng)夠為(wèi)視頻編碼性能(néng)帶來顯著提升，亮度信号 Y 可(kě)實現 10.28% 的性能(néng)增益，兩個色度信号 U 和 V ，性能(néng)增益也分(fēn)别達到 28.22% 和 27.97% ，在視頻質(zhì)量有所優化的同時，至少還可(kě)縮小(xiǎo) 13% 的數據體(tǐ)積。

據悉，字節跳動 AVG 已自主研發了 BVC2.0 編碼器，首次參加國(guó)際權威的 MSU 2020 視頻編碼器大賽，就在四項評價指标上包攬第一。 AVG 的各項研究成果，也将通過 BVC 編碼器的升級換代投入應用(yòng)，包括抖音、西瓜視頻、今日頭條等 App 的視頻類内容處理(lǐ)，以及雲計算、雲遊戲等基礎架構領域，從而為(wèi)用(yòng)戶帶來更高清畫質(zhì)、更流暢播放的視頻體(tǐ)驗。

AVG 除了深度參與國(guó)際視頻标準制定外，也為(wèi)國(guó)産新(xīn)一代視頻壓縮标準 AVS3 做出重要貢獻，包括塊劃分(fēn)、運動矢量編碼及預測、色-亮度幀内預測等多(duō)項原創性技(jì )術被 AVS3 視頻标準所采納。字節跳動因此獲得 2019 年度 AVS 産業技(jì )術創新(xīn)之提案獎，是迄今唯一獲獎的互聯網企業。