背景:大文件的斷點(diǎn)續(xù)傳,有時(shí)網(wǎng)絡(luò)波動(dòng)啥的,需要斷點(diǎn)從已經(jīng)下載位置續(xù)傳下載文件,對于沒有傳過的文件再次從開始下載就麻煩了,這塊http協(xié)議支持的,Apache和Nginx都支持這樣的方法實(shí)現(xiàn)了從某個(gè)部分進(jìn)行斷點(diǎn)下載。
服務(wù)器是否支持?jǐn)帱c(diǎn)續(xù)傳的判斷:
更多 0
斷點(diǎn)續(xù)傳 linux wget 服務(wù)器 curl
通常情況下,Web服務(wù)器(如Apache)會(huì)默認(rèn)開啟對斷點(diǎn)續(xù)傳的支持。因此,如果直接通過Web服務(wù)器來提供文件的下載,可以不必做特別的配置,即可享受到斷點(diǎn)續(xù)傳的好處。斷點(diǎn)續(xù)傳是在發(fā)起HTTP請求的時(shí)候加入RANGE頭來告訴服務(wù)器客戶端已經(jīng)下載了多少字節(jié)。等所有這些請求都返回之后,再把得到的內(nèi)容一塊一塊的拼接起來得到完整的資源。
Resumable download file Web服務(wù)器(如Apache)默認(rèn)開啟斷點(diǎn)續(xù)傳
你可以通過以下的命令來測試一下。
Linux 測試服務(wù)器是否支持?jǐn)帱c(diǎn)續(xù)傳
localhost [~]# wget -S http://httpd.apache.org/images/httpd_logo_wide_new.png 2>&1 | grep ‘Accept-Ranges’
Accept-Ranges: bytes
輸出結(jié)果 Accept-Ranges: bytes ,說明服務(wù)器支持按字節(jié)下載。
curl 命令發(fā)送字節(jié)范圍下載
curl –range 0-99 http://images.apple.com/home/images/billboard_iphone_hero.jpg
這樣可以到最開始99字節(jié),結(jié)果如下圖:
curl range bytes request curl 命令發(fā)送字節(jié)范圍請求
說明從服務(wù)器端按字節(jié)范圍下載是完全沒有問題的。
現(xiàn)在我們嘗試以下方式:
1、一次性下載整個(gè)圖片。
localhost [~]# curl –range 0-98315 http://images.apple.com/home/images/billboard_iphone_hero.jpg > test.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 98316 100 98316 0 0 524k 0 –:–:– –:–:– –:—:— 527k
完成后,test.jpg完全等于billboard_iphone_hero.jpg,文件大小為98,316 字節(jié)。
實(shí)踐如下:我的Nginx服務(wù)器,請求下看是否支持,如下:
1)實(shí)踐下下載這塊的header返回頭有Accept-Ranges: bytes證明Nginx也是支持?jǐn)帱c(diǎn)續(xù)傳下載的:
- wget -S http://justwinit.cn/template/trielegant/images/bridge-banner-nine.jpg
- --2014-11-19 22:46:51-- http://justwinit.cn/template/trielegant/images/bridge-banner-nine.jpg
- 正在解析主機(jī) justwinit.cn... 119.10.6.23
- 正在連接 justwinit.cn|119.10.6.23|:80... 已連接。
- 已發(fā)出 HTTP 請求,正在等待回應(yīng)...
- HTTP/1.1 200 OK
- Server: nginx
- Date: Wed, 19 Nov 2014 14:34:46 GMT
- Content-Type: image/jpeg
- Content-Length: 7052
- Last-Modified: Fri, 07 Nov 2014 05:06:12 GMT
- Connection: keep-alive
- ETag: "545c5344-1b8c"
- Expires: Fri, 19 Dec 2014 14:34:46 GMT
- Cache-Control: max-age=2592000
- Accept-Ranges: bytes
- 長度:7052 (6.9K) [image/jpeg]
- 正在保存至: “bridge-banner-nine.jpg.1”
- 2)通地加上grep指令有返回即是支持的:
- wget -S http://justwinit.cn/template/trielegant/images/bridge-banner-nine.jpg 2>&1 | grep 'Accept-Ranges'
- Accept-Ranges: bytes
- 3)用curl實(shí)現(xiàn)下載一段并保存到本地:
- [codes=php]
- curl --range 0-99 http://justwinit.cn/template/trielegant/images/bridge-banner-nine.jpg > bridge-banner-nine.jpg
- % Total % Received % Xferd Average Speed Time Time Time Current
- Dload Upload Total Spent Left Speed
- 0 100 0 100 0 0 729 0 --:--:-- --:--:-- --:--:-- 1886
(1)Curl包含range的請求頭是這樣的:
- GET /template/trielegant/images/bridge-banner-nine.jpg HTTP/1.1
- Request Version: HTTP/1.1
- Range: bytes=0-108
- User-Agent: curl/7.19.7 (i386-redhat-linux-gnu) libcurl/7.19.7 NSS/3.14.0.0 zlib/1.2.3 libidn/1.18 libssh2/1.4.2
- Host: justwinit.cn
- Accept: */*
(2)其抓包Nginx的返回頭是這樣:
HTTP/1.1 206 Partial Content
Server: nginx
Date: Wed, 19 Nov 2014 14:45:07 GMT
Content-Type: image/jpeg
Content-Length: 109
Last-Modified: Fri, 07 Nov 2014 05:06:12 GMT
Connection: keep-alive
ETag: "545c5344-1b8c"
Expires: Fri, 19 Dec 2014 14:45:07 GMT
Cache-Control: max-age=2592000
Content-Range: bytes 0-108/7052
4)通過前面的curl及wget聯(lián)合起來,先后組合起來實(shí)現(xiàn)一個(gè)斷點(diǎn)下載整個(gè)圖片,并看其服務(wù)器返回頭(curl已經(jīng)下了前面的108,后從109開始wget:
(1)先保存一部分到108:
- root@192.168.0.6:~# curl --range 0-108 http://justwinit.cn/template/trielegant/images/bridge-banner-nine.jpg > bridge-banner-nine.jpg
- % Total % Received % Xferd Average Speed Time Time Time Current
- Dload Upload Total Spent Left Speed
- 109 109 109 109 0 0 907 0 --:--:-- --:--:-- --:--:-- 1912
(2)再通過wget的斷點(diǎn)續(xù)傳下載命令-c,請求剩下的部分(Content-Range: bytes 109-7051/7052):
A)加上-S看返回頭, -S, --server-response 打印服務(wù)器響應(yīng)。:
- root@192.168.0.6:~# wget -S -c http://justwinit.cn/template/trielegant/images/bridge-banner-nine.jpg
- --2014-11-19 22:53:16-- http://justwinit.cn/template/trielegant/images/bridge-banner-nine.jpg
- 正在解析主機(jī) justwinit.cn... 119.10.6.23
- 正在連接 justwinit.cn|119.10.6.23|:80... 已連接。
- 已發(fā)出 HTTP 請求,正在等待回應(yīng)...
- HTTP/1.1 206 Partial Content
- Server: nginx
- Date: Wed, 19 Nov 2014 14:41:12 GMT
- Content-Type: image/jpeg
- Content-Length: 6943
- Last-Modified: Fri, 07 Nov 2014 05:06:12 GMT
- Connection: keep-alive
- ETag: "545c5344-1b8c"
- Expires: Fri, 19 Dec 2014 14:41:12 GMT
- Cache-Control: max-age=2592000
- Content-Range: bytes 109-7051/7052
- 長度:7052 (6.9K),6943 (6.8K) 字節(jié)剩余 [image/jpeg]
- 正在保存至: “bridge-banner-nine.jpg”
-
- 100%[+=============================================================================================================>] 7,052 --.-K/s in 0.1s
-
- 2014-11-19 22:53:16 (68.2 KB/s) - 已保存 “bridge-banner-nine.jpg” [7052/7052])
B)發(fā)起頭如下,也就是說經(jīng)curl保存一部分后,wget通過-c參數(shù)時(shí),后面它會(huì)去讀取目前文件大小,后寫在http頭里去找服務(wù)端要,請求頭如下:
- GET /template/trielegant/images/bridge-banner-nine.jpg HTTP/1.0
- Request Version: HTTP/1.0
- Range: bytes=109-
- User-Agent: Wget/1.12 (linux-gnu)
- Accept: */*
- Host: justwinit.cn
- Connection: Keep-Alive
注意:字節(jié)是從0開始,結(jié)束字節(jié)為總字節(jié)長度 減 1。
來自:http://ju.outofmemory.cn/entry/23646
Nginx:http://chenzhenianqing.cn/articles/926.html
php 支持?jǐn)帱c(diǎn)續(xù)傳,主要依靠HTTP協(xié)議中 header HTTP_RANGE實(shí)現(xiàn)。
HTTP斷點(diǎn)續(xù)傳原理
Http頭 Range、Content-Range()
HTTP頭中一般斷點(diǎn)下載時(shí)才用到Range和Content-Range實(shí)體頭,
Range用戶請求頭中,指定第一個(gè)字節(jié)的位置和最后一個(gè)字節(jié)的位置,如(Range:200-300)
Content-Range用于響應(yīng)頭
請求下載整個(gè)文件:
GET /test.rar HTTP/1.1
Connection: close
Host: 116.1.219.219
Range: bytes=0-801 //一般請求下載整個(gè)文件是bytes=0- 或不用這個(gè)頭
一般正?;貞?yīng)
HTTP/1.1 200 OK
Content-Length: 801
Content-Type: application/octet-stream
Content-Range: bytes 0-800/801 //801:文件總大小
FileDownload.class.php
- <?php
- /** php下載類,支持?jǐn)帱c(diǎn)續(xù)傳
- * Date: 2013-06-30
- * Author: fdipzone
- * Ver: 1.0
- *
- * Func:
- * download: 下載文件
- * setSpeed: 設(shè)置下載速度
- * getRange: 獲取header中Range
- */
-
- class FileDownload{ // class start
-
- private $_speed = 512; // 下載速度
-
-
- /** 下載
- * @param String $file 要下載的文件路徑
- * @param String $name 文件名稱,為空則與下載的文件名稱一樣
- * @param boolean $reload 是否開啟斷點(diǎn)續(xù)傳
- */
- public function download($file, $name='', $reload=false){
- if(file_exists($file)){
- if($name==''){
- $name = basename($file);
- }
-
- $fp = fopen($file, 'rb');
- $file_size = filesize($file);
- $ranges = $this->getRange($file_size);
-
- header('cache-control:public');
- header('content-type:application/octet-stream');
- header('content-disposition:attachment; filename='.$name);
-
- if($reload && $ranges!=null){ // 使用續(xù)傳
- header('HTTP/1.1 206 Partial Content');
- header('Accept-Ranges:bytes');
-
- // 剩余長度
- header(sprintf('content-length:%u',$ranges['end']-$ranges['start']));
-
- // range信息
- header(sprintf('content-range:bytes %s-%s/%s', $ranges['start'], $ranges['end'], $file_size));
-
- // fp指針跳到斷點(diǎn)位置
- fseek($fp, sprintf('%u', $ranges['start']));
- }else{
- header('HTTP/1.1 200 OK');
- header('content-length:'.$file_size);
- }
-
- while(!feof($fp)){
- echo fread($fp, round($this->_speed*1024,0));
- ob_flush();
- //sleep(1); // 用于測試,減慢下載速度
- }
-
- ($fp!=null) && fclose($fp);
-
- }else{
- return '';
- }
- }
-
-
- /** 設(shè)置下載速度
- * @param int $speed
- */
- public function setSpeed($speed){
- if(is_numeric($speed) && $speed>16 && $speed<4096){
- $this->_speed = $speed;
- }
- }
-
-
- /** 獲取header range信息
- * @param int $file_size 文件大小
- * @return Array
- */
- private function getRange($file_size){
- if(isset($_SERVER['HTTP_RANGE']) && !emptyempty($_SERVER['HTTP_RANGE'])){
- $range = $_SERVER['HTTP_RANGE'];
- $range = preg_replace('/[\s|,].*/', '', $range);
- $range = explode('-', substr($range, 6));
- if(count($range)<2){
- $range[1] = $file_size;
- }
- $range = array_combine(array('start','end'), $range);
- if(emptyempty($range['start'])){
- $range['start'] = 0;
- }
- if(emptyempty($range['end'])){
- $range['end'] = $file_size;
- }
- return $range;
- }
- return null;
- }
-
- } // class end
-
- ?>
-
- demo
- [codes=php]
-
- <?php
-
- require('FileDownload.class.php');
- $file = 'book.zip';
- $name = time().'.zip';
- $obj = new FileDownload();
- $flag = $obj->download($file, $name);
- //$flag = $obj->download($file, $name, true); // 斷點(diǎn)續(xù)傳
-
- if(!$flag){
- echo 'file not exists';
- }
-
- ?>
-
- 斷點(diǎn)續(xù)傳測試方法:
- 使用linux wget命令去測試下載, wget -c -O file http://xxx
-
- 1.先關(guān)閉斷點(diǎn)續(xù)傳
- $flag = $obj->download($file, $name);
- [plain] view plaincopy
-
- fdipzone@ubuntu:~/Downloads$ wget -O test.rar http://demo.fdipzone.com/demo.php
- --2013-06-30 16:52:44-- http://demo.fdipzone.com/demo.php
- 正在解析主機(jī) demo.fdipzone.com... 127.0.0.1
- 正在連接 demo.fdipzone.com|127.0.0.1|:80... 已連接。
- 已發(fā)出 HTTP 請求,正在等待回應(yīng)... 200 OK
- 長度: 10445120 (10.0M) [application/octet-stream]
- 正在保存至: “test.rar”
-
- 30% [============================> ] 3,146,580 513K/s 估時(shí) 14s
- ^C
- fdipzone@ubuntu:~/Downloads$ wget -c -O test.rar http://demo.fdipzone.com/demo.php
- --2013-06-30 16:52:57-- http://demo.fdipzone.com/demo.php
- 正在解析主機(jī) demo.fdipzone.com... 127.0.0.1
- 正在連接 demo.fdipzone.com|127.0.0.1|:80... 已連接。
- 已發(fā)出 HTTP 請求,正在等待回應(yīng)... 200 OK
- 長度: 10445120 (10.0M) [application/octet-stream]
- 正在保存至: “test.rar”
-
- 30% [============================> ] 3,146,580 515K/s 估時(shí) 14s
- ^C
-
- 可以看到,wget -c不能斷點(diǎn)續(xù)傳
-
-
- 2.開啟斷點(diǎn)續(xù)傳
- $flag = $obj->download($file, $name, true);
- [plain] view plaincopy
-
- fdipzone@ubuntu:~/Downloads$ wget -O test.rar http://demo.fdipzone.com/demo.php
- --2013-06-30 16:53:19-- http://demo.fdipzone.com/demo.php
- 正在解析主機(jī) demo.fdipzone.com... 127.0.0.1
- 正在連接 demo.fdipzone.com|127.0.0.1|:80... 已連接。
- 已發(fā)出 HTTP 請求,正在等待回應(yīng)... 200 OK
- 長度: 10445120 (10.0M) [application/octet-stream]
- 正在保存至: “test.rar”
-
- 20% [==================> ] 2,097,720 516K/s 估時(shí) 16s
- ^C
- fdipzone@ubuntu:~/Downloads$ wget -c -O test.rar http://demo.fdipzone.com/demo.php
- --2013-06-30 16:53:31-- http://demo.fdipzone.com/demo.php
- 正在解析主機(jī) demo.fdipzone.com... 127.0.0.1
- 正在連接 demo.fdipzone.com|127.0.0.1|:80... 已連接。
- 已發(fā)出 HTTP 請求,正在等待回應(yīng)... 206 Partial Content
- 長度: 10445121 (10.0M),7822971 (7.5M) 字節(jié)剩余 [application/octet-stream]
- 正在保存至: “test.rar”
-
- 100%[++++++++++++++++++++++++=========================================================================>] 10,445,121 543K/s 花時(shí) 14s
-
- 2013-06-30 16:53:45 (543 KB/s) - 已保存 “test.rar” [10445121/10445121])
-
- 可以看到會(huì)從斷點(diǎn)的位置(%20)開始下載。
-
- 源碼下載地址:<a ]取得用戶請求的文件的range,具體的大家可以查看其源碼分析下。這里我就當(dāng)拋磚引玉了。
- $range = 0;
- if($readmod == 4) {
- dheader('Accept-Ranges: bytes');
- if(!emptyempty($_SERVER['HTTP_RANGE'])) {
- list($range) = explode('-',(str_replace('bytes=', '', $_SERVER['HTTP_RANGE'])));
- $rangesize = ($filesize - $range) > 0 ? ($filesize - $range) : 0;
- dheader('Content-Length: '.$rangesize);
- dheader('HTTP/1.1 206 Partial Content');
- dheader('Content-Range: bytes='.$range.'-'.($filesize-1).'/'.($filesize));
- }
- }
摘自:http://www.yunsec.net/a/special/wzjs/wzbc/php/2010/0731/5120.html作者:justwinit@向東博客 專注WEB應(yīng)用 構(gòu)架之美 --- 構(gòu)架之美,在于盡態(tài)極妍 | 應(yīng)用之美,在于藥到病除
地址:http://www.justwinit.cn/post/7635/
版權(quán)所有。轉(zhuǎn)載時(shí)必須以鏈接形式注明作者和原始出處及本聲明!
本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請
點(diǎn)擊舉報(bào)。