免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開APP
userphoto
未登錄

開通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開通VIP
【轉(zhuǎn)帖】使用python爬蟲抓站的一些技巧總結(jié):進(jìn)階篇
httplib實(shí)現(xiàn)了HTTP和HTTPS的客戶端協(xié)議,一般不直接使用,在python更高層的封裝模塊中(urllib,urllib2)使用了它的http實(shí)現(xiàn)。

import httplib
conn 
= httplib.HTTPConnection("google.com")
conn.request(
'get''/')
print conn.getresponse().read()
conn.close()



httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )


       HTTPConnection類的構(gòu)造函數(shù),表示一次與服務(wù)器之間的交互,即請求/響應(yīng)。參數(shù)host表示服務(wù)器主機(jī),如:http://www.csdn.net/;port為端口號,默認(rèn)值為80; 參數(shù)strict的 默認(rèn)值為false, 表示在無法解析服務(wù)器返回的狀態(tài)行時(shí)( status line) (比較典型的狀態(tài)行如: HTTP/1.0 200 OK ),是否拋BadStatusLine 異常;可選參數(shù)timeout 表示超時(shí)時(shí)間。
HTTPConnection提供的方法:



HTTPConnection.request ( method , url [ , body [ , headers ]] )


調(diào)用request 方法會向服務(wù)器發(fā)送一次請求,method 表示請求的方法,常用有方法有g(shù)et 和post ;url 表示請求的資源的url ;body 表示提交到服務(wù)器的數(shù)據(jù),必須是字符串(如果method 是”post” ,則可以把body 理解為html 表單中的數(shù)據(jù));headers 表示請求的http 頭。
HTTPConnection.getresponse ()
獲取Http 響應(yīng)。返回的對象是HTTPResponse 的實(shí)例,關(guān)于HTTPResponse 在下面 會講解。
HTTPConnection.connect ()
連接到Http 服務(wù)器。
HTTPConnection.close ()
關(guān)閉與服務(wù)器的連接。
HTTPConnection.set_debuglevel ( level )
設(shè)置高度的級別。參數(shù)level 的默認(rèn)值為0 ,表示不輸出任何調(diào)試信息。
httplib.HTTPResponse
HTTPResponse表示服務(wù)器對客戶端請求的響應(yīng)。往往通過調(diào)用HTTPConnection.getresponse()來創(chuàng)建,它有如下方法和屬性:
HTTPResponse.read([amt])
獲取響應(yīng)的消息體。如果請求的是一個(gè)普通的網(wǎng)頁,那么該方法返回的是頁面的html。可選參數(shù)amt表示從響應(yīng)流中讀取指定字節(jié)的數(shù)據(jù)。
HTTPResponse.getheader(name[, default])
獲取響應(yīng)頭。Name表示頭域(header field)名,可選參數(shù)default在頭域名不存在的情況下作為默認(rèn)值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的頭信息。
HTTPResponse.msg
獲取所有的響應(yīng)頭信息。
HTTPResponse.version
獲取服務(wù)器所使用的http協(xié)議版本。11表示http/1.1;10表示http/1.0。
HTTPResponse.status
獲取響應(yīng)的狀態(tài)碼。如:200表示請求成功。
HTTPResponse.reason
返回服務(wù)器處理請求的結(jié)果說明。一般為”O(jiān)K”
下面通過一個(gè)例子來熟悉HTTPResponse中的方法:



import httplib
conn
= httplib.HTTPConnection("www.g.com", 80, False)
conn.request(
'get', '/', headers = {"Host": "www.google.com",
                                    
"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",
                                    
"Accept": "text/plain"})
res
= conn.getresponse()
print'version:', res.version
print'reason:', res.reason
print'status:', res.status
print'msg:', res.msg
print'headers:', res.getheaders()
#html
#
print '\n' + '-' * 50 + '\n'
#
print res.read()
conn.close()


Httplib模塊中還定義了許多常量,如:
Httplib. HTTP_PORT 的值為80,表示默認(rèn)的端口號為80;
Httplib.OK 的值為200,表示請求成功返回;
Httplib. NOT_FOUND 的值為404,表示請求的資源不存在;
可以通過httplib.responses 查詢相關(guān)變量的含義,如:
Print httplib.responses[httplib.NOT_FOUND] #not found
更多關(guān)于httplib的信息,請參考Python手冊httplib 模塊。

urllib 和urllib2實(shí)現(xiàn)的功能大同小異,但urllib2要比urllib功能等各方面更高一個(gè)層次。目前的HTTP訪問大部分都使用urllib2.
urllib2:



req = urllib2.Request('http://pythoneye.com')
response
= urllib2.urlopen(req)
the_page
= response.read()


FTP同樣:



req = urllib2.Request('ftp://pythoneye.com')


urlopen返回的應(yīng)答對象response有兩個(gè)很有用的方法info()和geturl()
geturl — 這個(gè)返回獲取的真實(shí)的URL,這個(gè)很有用,因?yàn)閡rlopen(或者opener對象使用的)或許
會有重定向。獲取的URL或許跟請求URL不同。
Data數(shù)據(jù)
有時(shí)候你希望發(fā)送一些數(shù)據(jù)到URL
post方式:



values ={'body' : 'test short talk','via':'xxxx'}
data 
= urllib.urlencode(values)
req 
= urllib2.Request(url, data)


get方式:



data['name'] ='Somebody Here'
data[
'location'] ='Northampton'
data[
'language'] ='Python'
url_values
= urllib.urlencode(data)
url
='http://pythoneye.com/example.cgi'
full_url
= url +'?'+ url_values
data
= urllib2.open(full_url)


使用Basic HTTP Authentication:



import urllib2
# Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm
='PDQ Application',
                           uri
='https://pythoneye.com/vecrty.py',
                           user
='user',
                           passwd
='pass')
opener
= urllib2.build_opener(auth_handler)
# ...and install it globally so it can be used with urlopen.
urllib2.install_opener(opener)
urllib2.urlopen(
'http://www. pythoneye.com/app.html')


使用代理ProxyHandler:



proxy_handler = urllib2.ProxyHandler({'http': 'http://www.example.com:3128/'})
proxy_auth_handler
= urllib2.HTTPBasicAuthHandler()
proxy_auth_handler.add_password(
'realm', 'host', 'username', 'password')

opener
= build_opener(proxy_handler, proxy_auth_handler)
# This time, rather than install the OpenerDirector, we use it directly:
opener.open('http://www.example.com/login.html')

URLError–HTTPError:


from urllib2 import Request, urlopen, URLError, HTTPError
req
= Request(someurl)
try:
      response
= urlopen(req)
except HTTPError, e:
     
print'Error code: ', e.code
except URLError, e:
     
print'Reason: ', e.reason
else:
       .............



或者:



from urllib2 import Request, urlopen, URLError
req
= Request(someurl)
try:
      response
= urlopen(req)
except URLError, e:
     
if hasattr(e, 'reason'):
           
print'Reason: ', e.reason
     
elif hasattr(e, 'code'):
           
print'Error code: ', e.code
     
else:
            .............


通常,URLError在沒有網(wǎng)絡(luò)連接(沒有路由到特定服務(wù)器),或者服務(wù)器不存在的情況下產(chǎn)生
異常同樣會帶有”reason”屬性,它是一個(gè)tuple,包含了一個(gè)錯(cuò)誤號和一個(gè)錯(cuò)誤信息



req = urllib2.Request('http://pythoneye.com')
try:
    urllib2.urlopen(req)
except URLError, e:
   
print e.reason
   
print e.code
   
print e.read()


最后需要注意的就是,當(dāng)處理URLError和HTTPError的時(shí)候,應(yīng)先處理HTTPError,后處理URLError
Openers和Handlers:
opener使用操作器(handlers)。所有的重活都交給這些handlers來做。每一個(gè)handler知道
怎么打開url以一種獨(dú)特的url協(xié)議(http,ftp等等),或者怎么處理打開url的某些方面,如,HTTP重定向,或者HTTP
cookie。
默認(rèn)opener有對普通情況的操作器 (handlers)- ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
再看python API:Return an OpenerDirector instance, which chains the handlers in the order given
這就更加證明了一點(diǎn),那就是opener可以看成是一個(gè)容器,這個(gè)容器當(dāng)中放的是控制器,默認(rèn)的,容器當(dāng)中有五個(gè)控制
器,程序員也可以加入自己的控制器,然后這些控制器去干活。



class HTTPHandler(AbstractHTTPHandler):
    
def http_open(self, req):
        
return self.do_open(httplib.HTTPConnection, req)
     http_request
= AbstractHTTPHandler.do_request_


HTTPHandler是Openers當(dāng)中的默認(rèn)控制器之一,看到這個(gè)代碼,證實(shí)了urllib2是借助于httplib實(shí)現(xiàn)的,同時(shí)也證實(shí)了Openers和Handlers的關(guān)系。


本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊舉報(bào)。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
python網(wǎng)絡(luò)編程學(xué)習(xí)筆記(6):Web客戶端訪問
【Python】python模擬get post請求
Python核心模塊
小白學(xué) Python 爬蟲(11):urllib 基礎(chǔ)使用(一)
Python如何使用urllib2獲取網(wǎng)絡(luò)資源[轉(zhuǎn)] - python中的網(wǎng)絡(luò)編程 - 不...
urllib與urllib2的學(xué)習(xí)總結(jié)(python2.7.X)
更多類似文章 >>
生活服務(wù)
分享 收藏 導(dǎo)長圖 關(guān)注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服