今天的文章更多的是一種研究,因為最近研究視頻發(fā)現(xiàn)了很多有趣的東西如果不記錄下來可真的太可惜了。
按照老夫一貫的作風(fēng),這篇文章沒有目錄,別問,問就是不知道。
先來看看一些視頻的信息,第一個視頻為RX0M2,4K直出。
RX0M2的解析力是驚人的,這是局部的截圖
更進(jìn)一步的局部截圖
這是編碼的形式,首先看到的是12bit的位深度
子采樣的格式為422,422了不得哦,相對于對色度空間全采樣,這也是上面的視頻截圖看起來很好看的原因之一。
我也錄制了一個1080的,沒有防抖,真的看的吐了
這里的采樣是420
可以看到對于一個遠(yuǎn)端的變壓器,這個顏色從感官上瞬間就立分高下
這個是Google Pixel 4 的相機(jī)內(nèi)的設(shè)置頁面,本來是想拿這個視頻來說明的,但是P4的數(shù)據(jù)線必須是Type-C的,插Dell不是很牢靠,這里我使用Pixel2來說明。
這霧霾灰真的是深得我心
這里是使用了高效的H265
這個是普通的編碼模式
很樸素
我又使用4K的分辨率錄制一次
采樣率還是沒有變化420
到這里就會看到,確實是手機(jī)這個拍攝的能力有點不太夠。我這里換了Cinema-FV5這個錄制軟件。
這里是可以錄制的分辨率,雖然最高是4K,但是效果不好,這也是為什么專業(yè)的攝影師不拿手機(jī)拍(笑死,我在說什么)
最個軟件的界面感覺是屬于大氣的那種,但是對焦模式?jīng)]有AF-S
華為有自動連續(xù)對焦,也就是在視頻拍攝的時候就關(guān)注拍攝主體就好
對于安卓系統(tǒng)來說,很多東西都是固定的。
手機(jī)的音頻支持情況
視頻編碼器
這個H.265=H.264+1,這個編碼器是5.0的時候引入的
這么多手機(jī)支持的HEVC是什么?
H.264(也稱為 AVC)還是用于優(yōu)化質(zhì)量和減小文件大小的首選編解碼器。相較于 H.264,升級到 H.265(或 HEVC)要求更高的計算能力,但效率要高得多,并且以更低的比特率提供更好的視頻質(zhì)量。
HEVC/H.265 視頻編解碼器在 2017 年蘋果全球開發(fā)者大會 (WWDC) 上達(dá)到了全球影響的臨界點,蘋果公司宣布 HEVC 編解碼器為“下一代視頻編解碼器”。由于對 HEVC 的承諾,并且大多數(shù)移動芯片組中的硬件在發(fā)布時已經(jīng)支持 HEVC 視頻編碼,視頻提供商了解到,HEVC 編解碼器已成為流視頻的新視頻壓縮標(biāo)準(zhǔn)。
HEVC 與AVC 的對比:HEVC 編解碼器的優(yōu)勢是什么?
來自蘋果公司的公告:“就一個詞:效率。主要是編碼效率。HEVC 比 AVC 的效率大約高出 40%。這就意味著,用戶將會看到啟動速度有 40% 的大幅提升,并且,當(dāng)播放器完全適應(yīng)其方式后,他們將會看到內(nèi)容質(zhì)量也有 40% 的提升。正在使得 HEVC 廣泛應(yīng)用。
每家公司的 HEVC 與AVC 對比分析的答案可以歸結(jié)為 HEVC 編解碼器提供的兩個基本優(yōu)勢:
HEVC 的效率大約是 AVC 的兩倍
HEVC 支持 4K 和高動態(tài)范圍
使用 HEVC 編解碼器,可以在與 AVC 相同的帶寬下獲得更高的視頻質(zhì)量,或者可以使用 AVC 的一半帶寬提供相同的質(zhì)量。
也就是在保證質(zhì)量不變或者更好的情況下讓視頻更加的小巧。
目前使用最為廣泛的編碼器的對比
右邊是H265,可以看到對宏塊的編碼更加的靈活,這個東西也叫編碼數(shù)單元
這個技術(shù)是增加的宏塊大小。宏塊定義為用于壓縮計算的圖像區(qū)域,較大的宏塊可以有效地壓縮高分辨率的視頻。H.264僅允許16×16像素的宏塊,這些宏塊太小,以致于無法高效地播放1080p以上的視頻。HEVC則提供64 x 64像素的宏塊(現(xiàn)在稱為編碼樹單元或CTU),從而在更高的分辨率下實現(xiàn)更高的編碼效率。
另外一個改進(jìn)是受益于分析單個幀內(nèi)的“移動”,從而可以更有效地壓縮單幀視頻。這可以通過使用數(shù)學(xué)函數(shù)而不是實際像素值來描述像素布局來實現(xiàn)。該功能占用的空間少于像素數(shù)據(jù),從而縮小文件大小。然而,編解碼器必須支持足夠高級的數(shù)學(xué)函數(shù)才能使該技術(shù)真正發(fā)揮作用。HEVC的幀間預(yù)測功能比H.264的更詳細(xì),前者支持33個方向的運動預(yù)測,而后者只支持9個方向。剩下的是并行計算改進(jìn)了,我這里還在看。
給以上的編碼技術(shù)總結(jié)一下:
編解碼器使用各種先進(jìn)的計算機(jī)技術(shù)來壓縮視頻數(shù)據(jù),但我們需要重點理解的只有兩種主要的壓縮技術(shù)——空域壓縮與時域壓縮。
空域壓縮是一種在單幀內(nèi)縮減文件體積的技術(shù)。這種方法常被稱為幀內(nèi)壓縮,它通過將像素編組并存儲為單一色值來起效,這種編組稱之為“塊”(Blocks)。塊這種形式占用的存儲空間遠(yuǎn)少于逐個像素保存(尤其是當(dāng)圖像的大部分已是相似的顏色時)。然而,對于復(fù)雜且富有細(xì)節(jié)的圖像,這種形式難免會帶來一些質(zhì)量損失。為了解決這一問題,許多編碼使用了幾乎各種形狀與大小的靈活塊(Flexible Blocks),從而降低了肉眼可感知到的質(zhì)量損失。
時域壓縮,也稱幀間壓縮,是一種跨多幀縮減文件體積的技術(shù)。它使用同空域壓縮一樣的塊壓縮技術(shù),但并非應(yīng)用于每幀。相反的,時域壓縮只保留連續(xù)的幀之間的不同之處。如果某個畫面的一半在兩幀之間是想同的,那么這種技術(shù)只保留第二幀中的新像素,同時把剩余未變的像素用第一幀中的填上。使用這種方法的編碼被稱為long-GOP(圖像組,Group of Pictures)編碼,這些編碼存儲信息極為高效,因為它們不需要存儲每幀的所有部分。然而,由于每幀不包含完整的圖像,在非順序地使用這種素材——例如剪輯時,運算的性能開銷將會更高??偟脕碚f,使用時域壓縮的編碼非常適合在小空間內(nèi)存儲信息,但不太適合用于編輯。
我們上面的H265是對單幀之間的改進(jìn)技術(shù),當(dāng)然了在多幀之間也有編碼處理。
以及多次出現(xiàn)比特率
比特率。比特率衡量了某種編碼在單位時間內(nèi)所使用的數(shù)據(jù)量,通常表示為兆比特每秒(Mbps或Mb/s)。編碼的比特率比任何其他因素都更能決定視頻的視覺質(zhì)量——比分辨率、你最愛的攝影機(jī)與鏡頭組合以及你細(xì)微的調(diào)色操作都更起決定作用。為什么?因為編解碼器所能使用的數(shù)據(jù)量不能大于比特率。如果一個編碼有10Mbps的比特率,那么2分鐘的片段就只能使用1200Mb的存儲空間(10Mbps*120秒),僅此而已。不管你拍攝的是720p還是8K,文件大小都是一樣的。由于8K素材的像素數(shù)量是720p素材的36倍,如果將其設(shè)為與720p相同的比特率,則壓縮至少比720p嚴(yán)重36倍。沒錯,8K的文件在參數(shù)上依然有著更高的分辨率,但看上去會很糟糕。因此當(dāng)選擇編碼時,一定要測試比特率選項以確保它們能夠重現(xiàn)項目所需的視覺質(zhì)量水平,這是很關(guān)鍵的。
【注意:兆比特(Mb)與兆字節(jié)(MB)是不同的。8比特組成1字節(jié)。在前文的例子中,1200Mb等于150MB(1200Mb / 8bits = 150MB)。這種轉(zhuǎn)換比例是不變的,同二進(jìn)制前綴無關(guān)。】
現(xiàn)在來看一下:
關(guān)于SONY XAVC格式
這個是Sony的技術(shù)白皮書,看起來真的是狂的很。
索尼 XAVC 格式符合 H.264 5.2 級,該視頻本質(zhì)被封裝在行業(yè)標(biāo)準(zhǔn)的 MXF OP-1a 包裝器中,并伴有音頻和元數(shù)據(jù)元素。采用 XAVC 格式的主要目標(biāo)是開發(fā)一系列專業(yè)的制作工具,可以經(jīng)濟(jì)地處理高幀率 (HFR) HD 和 4K 成像格式。下圖顯示了 XAVC 格式的范圍。請注意,此格式表描述了 XAVC 格式的全局范圍。
此外,還引入了 MP4 包裝格式并命名為 XAVC S 以服務(wù)于消費市場。這種擴(kuò)展將鼓勵消費市場中 4K 內(nèi)容的增長。
中間這個
這個就是目前編碼器的范圍,最后一個代理剪輯
各種編碼器的軟件解碼處理效率
顯示了如何在給定的計算機(jī)平臺上解碼不同的壓縮視頻流,而無需借助任何硬件加速器或 GPU。水平刻度代表每秒幀數(shù),很明顯 MPEG2 50Mbps 是所有競爭者中最快(或最有效)的。
XAVC 格式符合 H.264 格式規(guī)范,索尼一直在努力提高圖像質(zhì)量,同時保持與其他制造商提供的產(chǎn)品的文件互操作性。下圖顯示了基于傳統(tǒng) KLV 結(jié)構(gòu)的 XAVC 比特流。該比特流的一個關(guān)鍵要素是將 SPS(序列參數(shù)集)和 PPS(圖片參數(shù)集)逐幀集成到比特流中。這允許記錄設(shè)備動態(tài)優(yōu)化每幀圖像的圖像質(zhì)量,并且優(yōu)化的圖像設(shè)置值將在編輯后保持附加到圖片文件中。它還有助于在隨機(jī)訪問播放期間優(yōu)化圖像質(zhì)量。
XAVC 編碼器具有預(yù)編碼機(jī)制,有助于最大限度地利用允許壓縮每個圖像幀或流的數(shù)據(jù)。預(yù)編碼機(jī)制被集成到軟件和硬件編碼器中。這種兩階段編碼過程發(fā)生在高幀率錄制和 4K 錄制期間。
為了生產(chǎn)具有適度功耗的便攜式攝像機(jī),索尼開發(fā)了一種定制硬件芯片組,用于處理 XAVC 編碼和解碼過程。此外,該芯片組還具有編碼/解碼 MPEG2 的能力。多編解碼器功能有望顯著提高產(chǎn)品壽命價值。它將允許設(shè)施/設(shè)備所有者創(chuàng)建可以在 MPEG2 和 XAVC 之間輕松轉(zhuǎn)換的服務(wù)基礎(chǔ)設(shè)施。
這個在工作規(guī)范里面有,芯片的樣子
這樣
比特流結(jié)構(gòu)
最后再放一次格式的概覽
操作點命名
這篇文章差好多東西,分到下篇寫。
https://pro.sony/en_NO/technology/xavc
https://assets.pro.sony.eu/Web/ngp/pdf/xavc-specification-overview.pdf
https://pro.sony/en_NO/technology/xavc/broadcast-xavc-white-paper
https://vflow.guide/books/%E7%9F%A5%E8%AF%86%E9%93%BE%E6%8E%A5/page/%E7%BC%96%E7%A0%81%E6%98%AF%E4%BB%80%E4%B9%88%EF%BC%9F