HTTP Live Streaming直播(iOS直播)技術(shù)分析與實現(xiàn)

　　不經(jīng)意間發(fā)現(xiàn)，大半年沒寫博客了，自覺汗顏。實則2012后半年，家中的事一樣接著一樣發(fā)生，實在是沒有時間。快過年了，總算忙里偷閑，把最近的一些技術(shù)成果，總結(jié)成了文章，與大家分享。

　　前些日子，也是項目需要，花了一些時間研究了HTTP Live Streaming（HLS）技術(shù)，并實現(xiàn)了一個HLS編碼器HLSLiveEncoder，當然，C++寫的。其功能是采集攝像頭與麥克風，實時進行H.264視頻編碼和AAC音頻編碼，并按照HLS的協(xié)議規(guī)范，生成分段的標準TS文件以及m3u8索引文件。通過我的HLSLiveEncoder和第三方Http服務(wù)器（例如：Nginx），成功實現(xiàn)了HTTP Live Streaming直播，并在iphone上測試通過。我就把這當中的一些收獲寫在這里。

　　HTTP Live Streaming（HLS）是蘋果公司(Apple Inc.)實現(xiàn)的基于HTTP的流媒體傳輸協(xié)議，可實現(xiàn)流媒體的直播和點播，主要應(yīng)用在iOS系統(tǒng)，為iOS設(shè)備（如iPhone、iPad）提供音視頻直播和點播方案。HLS點播，基本上就是常見的分段HTTP點播，不同在于，它的分段非常小。要實現(xiàn)HLS點播，重點在于對媒體文件分段，目前有不少開源工具可以使用，這里我就不再討論，只談HLS直播技術(shù)。

　　相對于常見的流媒體直播協(xié)議，例如RTMP協(xié)議、RTSP協(xié)議、MMS協(xié)議等，HLS直播最大的不同在于，直播客戶端獲取到的，并不是一個完整的數(shù)據(jù)流。HLS協(xié)議在服務(wù)器端將直播數(shù)據(jù)流存儲為連續(xù)的、很短時長的媒體文件（MPEG-TS格式），而客戶端則不斷的下載并播放這些小文件，因為服務(wù)器端總是會將最新的直播數(shù)據(jù)生成新的小文件，這樣客戶端只要不停的按順序播放從服務(wù)器獲取到的文件，就實現(xiàn)了直播。由此可見，基本上可以認為，HLS是以點播的技術(shù)方式來實現(xiàn)直播。由于數(shù)據(jù)通過HTTP協(xié)議傳輸，所以完全不用考慮防火墻或者代理的問題，而且分段文件的時長很短，客戶端可以很快的選擇和切換碼率，以適應(yīng)不同帶寬條件下的播放。不過HLS的這種技術(shù)特點，決定了它的延遲一般總是會高于普通的流媒體直播協(xié)議。

　　根據(jù)以上的了解要實現(xiàn)HTTP Live Streaming直播，需要研究并實現(xiàn)以下技術(shù)關(guān)鍵點

采集視頻源和音頻源的數(shù)據(jù)
對原始數(shù)據(jù)進行H264編碼和AAC編碼
視頻和音頻數(shù)據(jù)封裝為MPEG-TS包
HLS分段生成策略及m3u8索引文件
HTTP傳輸協(xié)議

　　其中第1點和第2點，我之前的文章中已經(jīng)提到過了，而最后一點，我們可以借助現(xiàn)有的HTTP服務(wù)器，所以，實現(xiàn)第3點和第4點是關(guān)鍵所在。

　　通過以上分析，實現(xiàn)HLS LiveEncoder直播編碼器，其邏輯和流程基本上很清楚了：分別開啟音頻與視頻編碼線程，通過DirectShow（或其他）技術(shù)來實現(xiàn)音視頻采集，隨后分別調(diào)用libx264和libfaac進行視頻和音頻編碼。兩個編碼線程實時編碼音視頻數(shù)據(jù)后，根據(jù)自定義的分片策略，存儲在某個MPEG-TS格式分段文件中，當完成一個分段文件的存儲后，更新m3u8索引文件。如下圖所示：

　　上圖中HLSLiveEncoder當收到視頻和音頻數(shù)據(jù)后，需要首先判斷，當前分片是否應(yīng)該結(jié)束，并創(chuàng)建新分片，以延續(xù)TS分片的不斷生成。需要注意的是，新的分片，應(yīng)當從關(guān)鍵幀開始，防止播放器解碼失敗。核心代碼如下所示：

　　TsMuxer的接口也是比較簡單的。

1. 分段策略

HLS的分段策略，基本上推薦是10秒一個分片，當然，具體時間還要根據(jù)分好后的分片的實際時長做標注
通常來說，為了緩存等方面的原因，在索引文件中會保留最新的三個分片地址，以類似“滑動窗口”的形式，進行更新。

2. m3u8文件簡介

　　m3u8，是HTTP Live Streaming直播的索引文件。m3u8基本上可以認為就是.m3u格式文件，區(qū)別在于，m3u8文件使用UTF-8字符編碼。

#EXTM3U                     m3u文件頭，必須放在第一行#EXT-X-MEDIA-SEQUENCE       第一個TS分片的序列號#EXT-X-TARGETDURATION       每個分片TS的最大的時長#EXT-X-ALLOW-CACHE          是否允許cache#EXT-X-ENDLIST              m3u8文件結(jié)束符#EXTINF                     extra info，分片TS的信息，如時長，帶寬等

　　一個簡單的m3u8索引文件