NAL技術
1.NAL概述
NAL全稱Network Abstract Layer, 即網(wǎng)絡抽象層。
在H.264/AVC視頻編碼標準中,整個系統(tǒng)框架被分為了兩個層面:視頻編碼層面(VCL)和網(wǎng)絡抽象層面(NAL)。其中,前者負責有效表示視頻數(shù)據(jù)的內(nèi)容,而后者則負責格式化數(shù)據(jù)并提供頭信息,以保證數(shù)據(jù)適合各種信道和存儲介質(zhì)上的傳輸。
現(xiàn)實中的傳輸系統(tǒng)是多樣化的,其可靠性,服務質(zhì)量,封裝方式等特征各不相同,NAL這一概念的提出提供了一個視頻編碼器和傳輸系統(tǒng)的友好接口,使得編碼后的視頻數(shù)據(jù)能夠有效地在各種不同的網(wǎng)絡環(huán)境中傳輸。
2.NAL單元
NAL單元是NAL的基本語法結(jié)構,它包含一個字節(jié)的頭信息和一系列來自VCL的稱為原始字節(jié)序列載荷(RBSP)的字節(jié)流。頭信息中包含著一個可否丟棄的指示標記,標識著該NAL單元的丟棄能否引起錯誤擴散,一般,如果NAL單元中的信息不用于構建參考圖像,則認為可以將其丟棄;最后包含的是NAL單元的類型信息,暗示著其內(nèi)含有效載荷的內(nèi)容。
送到解碼器端的NAL單元必須遵守嚴格的順序,如果應用程序接收到的NAL單元處于亂序,則必須提供一種恢復其正確順序的方法。
3.NAL實現(xiàn)編解碼器與傳輸網(wǎng)絡的結(jié)合
NAL提供了一個編解碼器與傳輸網(wǎng)絡的通用接口,而對于不同的網(wǎng)絡環(huán)境,具體的實現(xiàn)方案是不同的。對于基于流的傳輸系統(tǒng)如H.320、MPEG等,需要按照解碼順序組織NAL單元,并為每個NAL單元增加若干比特字節(jié)對齊的前綴以形成字節(jié)流;對于RTP/UDP/IP系統(tǒng),則可以直接將編碼器輸出的NAL單元作為RTP的有效載荷;而對于同時提供多個邏輯信道的傳輸系統(tǒng),我們甚至可以根據(jù)重要性將不同類型的NAL單元在不同服務質(zhì)量的信道中傳輸[2]。
4.結(jié)論
為了實現(xiàn)編解碼器良好的網(wǎng)絡適應性,需要做兩方面的工作:第一、在Codec中將NAL這一技術完整而有效的實現(xiàn);第二、在遵循H.264/AVCNAL規(guī)范的前提下設計針對不同網(wǎng)絡的最佳傳輸方案。如果實現(xiàn)了以上兩個目標,所實現(xiàn)的就不僅僅是一種視頻編解碼技術,而是一套適用范圍很廣的多媒體傳輸方案,該方案適用于如視頻會議,數(shù)據(jù)存儲,電視廣播,流媒體,無線通信,遠程監(jiān)控等多種領域。
NALU類型
標識NAL單元中的RBSP數(shù)據(jù)類型,其中,nal_unit_type為1, 2, 3, 4, 5及12的NAL單元稱為VCL的NAL單元,其他類型的NAL單元為非VCL的NAL單元。
0:未規(guī)定
1:非IDR圖像中不采用數(shù)據(jù)劃分的片段
2:非IDR圖像中A類數(shù)據(jù)劃分片段
3:非IDR圖像中B類數(shù)據(jù)劃分片段
4:非IDR圖像中C類數(shù)據(jù)劃分片段
5:IDR圖像的片段
6:補充增強信息 (SEI)
7:序列參數(shù)集
8:圖像參數(shù)集
9:分割符
10:序列結(jié)束符
11:流結(jié)束符
12:填充數(shù)據(jù)
13 – 23:保留
24 – 31:未規(guī)定
NALU的順序要求
H.264/AVC標準對送到解碼器的NAL單元順序是有嚴格要求的,如果NAL單元的順序是混亂的,必須將其重新依照規(guī)范組織后送入解碼器,否則解碼器不能夠正確解碼。
1.序列參數(shù)集NAL單元必須在傳送所有以此參數(shù)集為參考的其他NAL單元之前傳送,不過允許這些NAL單元中間出現(xiàn)重復的序列參數(shù)集NAL單元。所謂重復的詳細解釋為:序列參數(shù)集NAL單元都有其專門的標識,如果兩個序列參數(shù)集NAL單元的標識相同,就可以認為后一個只不過是前一個的拷貝,而非新的序列參數(shù)集。
2.圖像參數(shù)集NAL單元必須在所有以此參數(shù)集為參考的其他NAL單元之先,不過允許這些NAL單元中間出現(xiàn)重復的圖像參數(shù)集NAL單元,這一點與上述的序列參數(shù)集NAL單元是相同的。
3.不同基本編碼圖像中的片段(slice)單元和數(shù)據(jù)劃分片段(datapartition)單元在順序上不可以相互交叉,即不允許屬于某一基本編碼圖像的一系列片段(slice)單元和數(shù)據(jù)劃分片段(datapartition)單元中忽然出現(xiàn)另一個基本編碼圖像的片段(slice)單元片段和數(shù)據(jù)劃分片段(data partition)單元。
4.參考圖像的影響:如果一幅圖像以另一幅圖像為參考,則屬于前者的所有片段(slice)單元和數(shù)據(jù)劃分片段(data partition)單元必須在屬于后者的片段和數(shù)據(jù)劃分片段之后,無論是基本編碼圖像還是冗余編碼圖像都必須遵守這個規(guī)則
5.基本編碼圖像的所有片段(slice)單元和數(shù)據(jù)劃分片段(data partition)單元必須在屬于相應冗余編碼圖像的片段(slice)單元和數(shù)據(jù)劃分片段(data partition)單元之前。
6.如果數(shù)據(jù)流中出現(xiàn)了連續(xù)的無參考基本編碼圖像,則圖像序號小的在前面。
7.如果arbitrary_slice_order_allowed_flag置為1,一個基本編碼圖像中的片段(slice)單元和數(shù)據(jù)劃分片段(datapartition)單元的順序是任意的,如果arbitrary_slice_order_allowed_flag置為零,則要按照片段中第一個宏塊的位置來確定片段的順序,若使用數(shù)據(jù)劃分,則A類數(shù)據(jù)劃分片段在B類數(shù)據(jù)劃分片段之前,B類數(shù)據(jù)劃分片段在C類數(shù)據(jù)劃分片段之前,而且對應不同片段的數(shù)據(jù)劃分片段不能相互交叉,也不能與沒有數(shù)據(jù)劃分的片段相互交叉。
8.如果存在SEI(補充增強信息)單元的話,它必須在它所對應的基本編碼圖像的片段(slice)單元和數(shù)據(jù)劃分片段(datapartition)單元之前,并同時必須緊接在上一個基本編碼圖像的所有片段(slice)單元和數(shù)據(jù)劃分片段(datapartition)單元后邊。假如SEI屬于多個基本編碼圖像,其順序僅以第一個基本編碼圖像為參照。
9.如果存在圖像分割符的話,它必須在所有SEI 單元、基本編碼圖像的所有片段slice)單元和數(shù)據(jù)劃分片段(data partition)單元之前,并且緊接著上一個基本編碼圖像那些NAL單元。
10.如果存在序列結(jié)束符,且序列結(jié)束符后還有圖像,則該圖像必須是IDR(即時解碼器刷新)圖像。序列結(jié)束符的位置應當在屬于這個IDR圖像的分割符、SEI單元等數(shù)據(jù)之前,且緊接著前面那些圖像的NAL單元。如果序列結(jié)束符后沒有圖像了,那么它的就在比特流中所有圖像數(shù)據(jù)之后。
11.流結(jié)束符在比特流中的最后。
本站僅提供存儲服務,所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權內(nèi)容,請
點擊舉報。