免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開(kāi)APP
userphoto
未登錄

開(kāi)通VIP,暢享免費(fèi)電子書(shū)等14項(xiàng)超值服

開(kāi)通VIP
小白自己做tumblr爬蟲(chóng)全教程
小白教程
之前在小草論壇看見(jiàn)有人自己通過(guò)爬蟲(chóng)爬資源,但是他的教程太簡(jiǎn)單了,對(duì)小白來(lái)說(shuō)有點(diǎn)難度(樓主也是小白),現(xiàn)將摸索一天的經(jīng)驗(yàn)及方法傳授給大家,自行爬資源。
首先需要用的工具:
一:梯子,沒(méi)有梯子爬資源就是空話,樓主用的是自行搭建的SS,爬資源的時(shí)候開(kāi)全局模式
二:Python,樓主用的是2.7.13(樓主其他版本沒(méi)有嘗試,等下附帶的工具包也是這個(gè)版本64位,請(qǐng)各位小白按需自己百度下載)
三:兩個(gè)爬蟲(chóng)包
1:tumblr_spider-master,這個(gè)爬蟲(chóng)是用來(lái)搜索博主的好友關(guān)系及視頻地址信息
2:Tumblr_Crawler-master,這個(gè)爬蟲(chóng)是用來(lái)下載博主的視頻與圖片,可以選擇只下圖片或者只下視頻
教程:先部署安裝Python ,樓主之前說(shuō)了,我只嘗試了2.7.13,其他版本沒(méi)有嘗試,這邊很簡(jiǎn)單,都直接下一步就可以


注意:下面這幾點(diǎn)是很關(guān)鍵的,因?yàn)闃侵髟谶@里付出了太多時(shí)間,你們或多或少都會(huì)碰到下面一些問(wèn)題
第一:驗(yàn)證Python是否安裝成功,這里很多人要問(wèn),安裝完了不就安裝成功了,不是的?。?!你需要配置安裝環(huán)境
你們可以用WIN+R打開(kāi)命令提示符,輸python驗(yàn)證下能不能打開(kāi)python,如果成功會(huì)顯示如下圖


如果不能打開(kāi)?那么需要給予環(huán)境變量(不要問(wèn)我什么事環(huán)境變量,我也是百度搜的)
1:先確定你python安裝路徑,如我安裝目錄為C:\Python27
2:打開(kāi)環(huán)境變量:右鍵計(jì)算機(jī)->屬性,進(jìn)入高級(jí),環(huán)境變量
3:找到系統(tǒng)變量中的path,雙擊編輯之,將python的安裝目錄(如c:Python27)加入到最后(與前一個(gè)路徑用;隔開(kāi)),如果是WIN10直接添加,確定,確定,ok
4:驗(yàn)證,WIN+R進(jìn)入cmd,輸入python,得出我上面的圖
5:小白說(shuō)看不懂:https://zhidao.baidu.com/question/937732957146468132.html(圖文解說(shuō))
第二:配置好了Python,然后我們需要安裝爬蟲(chóng)所需要的模塊,我這里準(zhǔn)備好了,我會(huì)一起打包
1:PySocks-1.6.7
2:requests-2.11.1
3:six-1.10.0
4:xmltodict-0.10.2
5:beautifulsoup4-4.3.2
怎么用?
首先你把這幾個(gè)包解壓出來(lái),放到你對(duì)應(yīng)的Python安裝目錄Lib子目錄下,如我的是C:\Python27\Lib
然后分別進(jìn)行手動(dòng)安裝,如果操作?這里放幾個(gè)你會(huì)用到的命令用法
1: cd ..(回到上一級(jí)目錄)
2:cd Python27(打開(kāi)C盤(pán)python27文件),你打開(kāi)Lib文件夾也需要
3:c: (打開(kāi)c盤(pán))
這是很簡(jiǎn)單的幾個(gè),針對(duì)小白(樓主也是),大神不要噴我
把剛剛那幾個(gè)模塊放到Lib目錄下后,在cmd里來(lái)到你要安裝的模塊目錄下,比如我要安裝第一個(gè)模塊PySocks-1.6.7
仔細(xì)看下我的操作(很是拙劣的方法,沒(méi)辦法,純小白)

來(lái)到了需要安裝的模塊目錄下輸入:python setup.py install  ,回車安裝,同理把我上面給到你們的5個(gè)模式都用這個(gè)方法安裝即可
到了這里,Python的所有準(zhǔn)備工作都已結(jié)束,下面就是爬資源的教程
這里我開(kāi)始說(shuō)了有兩個(gè)爬蟲(chóng)
1:tumblr_spider-master
2:Tumblr_Crawler-master
我們先用第一個(gè)tumblr_spider-master,這里我需要和你說(shuō)下,為了簡(jiǎn)便操作,我把這個(gè)爬蟲(chóng)改了文件名放在了d盤(pán)下


然后用命令提示符cmd打開(kāi)這個(gè)目錄運(yùn)行tumblr.py文件(我再網(wǎng)上查了很久,也沒(méi)有找到能夠雙擊打開(kāi)的方法,因?yàn)殡p擊就會(huì)閃退,唉),那就只能用蠢辦法了,莫噴!請(qǐng)看圖


這里要注意:
python tumblr.py username (usename 為任意一個(gè)熱門(mén)博主的 usename)
也就是說(shuō)如果如果我要找XXX博主的信息就輸入python tumblr.py XXX
這樣你會(huì)在爬蟲(chóng)的目錄下得到兩個(gè)TXT文件
user.txt 是爬取XXX的用戶名信息(這里會(huì)索引很多與該博主興趣一樣的博主信息), source.txt 是視頻地址集


這就是信息!第一個(gè)爬蟲(chóng)的使命就些了,這里我也向各位尋一個(gè)可以批量下載視頻連接的工具

因?yàn)檫@個(gè)爬蟲(chóng)在source.txt生成了很多視頻地址,但是迅雷什么的都不了,海棠FLV能下,但是每次只能下一個(gè),真心煩人

下面開(kāi)始第二個(gè)爬蟲(chóng)Tumblr_Crawler-master,這才是打殺器,它可以把你需要爬去的博主圖片和視頻都直接下下來(lái)
方法和第一個(gè)一樣用命令提示符cmd打開(kāi)這個(gè)目錄運(yùn)行tumblr-photo-video-ripper.py文件




但是這里需要你做幾個(gè)設(shè)置
1:比如你要下載XXX博主的圖片和視頻文件,你需要在sites.txt文件下輸入你要爬取的博主名比如XXX


這里大家要注意,如果想爬兩個(gè)用逗號(hào)分開(kāi)(英文逗號(hào)),爬一個(gè)就直接填XXX,我聽(tīng)說(shuō)一次性爬多個(gè)博主會(huì)不好使
這里我也建議大家最多填寫(xiě)兩個(gè)就好
還有,如果我只想下載博主的圖片文件怎么辦?或者我只想下載博主的視頻文件怎么辦?
這里就需要改代碼了(方便小白,樓主已經(jīng)分類給大家改好了文件)
你只需要把對(duì)應(yīng)“只下載圖片”“只下載視頻”里面的文件覆蓋原始的tumblr-photo-video-ripper.py執(zhí)行文件即可
運(yùn)行執(zhí)行文件后,你會(huì)在爬蟲(chóng)目錄下得到大家已博主名命名的文件夾,里面有圖片和視頻
自此!教程到這里就結(jié)束了

最后,樓主要提醒大家?guī)讉€(gè)問(wèn)題
1:以上兩個(gè)爬蟲(chóng)在運(yùn)行的時(shí)候一定要開(kāi)全局才能使用
2:安裝玩Python后要先測(cè)試下能否正常運(yùn)行
3:模塊文件一定要確認(rèn)安裝好,如果在運(yùn)行執(zhí)行文件的時(shí)候有報(bào)錯(cuò)的,復(fù)制報(bào)錯(cuò)的代碼百度,看下是不是缺失了什么模塊
然后百度對(duì)應(yīng)模塊按我說(shuō)的方法安裝即可


這篇文章是樓主自行敲打,也借鑒了一些其他朋友的方法,如有冒犯,先說(shuō)聲抱歉
有什么問(wèn)題大家可以回復(fù)我,我知道的我就回答,不知道的,大家一起學(xué)習(xí),樓主也是剛剛開(kāi)始學(xué)!
我把這里面會(huì)用到的所有文件都打包了,大家自行下載!也可以在官網(wǎng)和百度搜索到。







百度云盤(pán)
  1. <span style="color: rgb(160, 82, 45); font-family: Tahoma, Helvetica, SimSun, sans-serif; line-height: 24.5px; background-color: rgb(255, 255, 255);">[hide ]</span>鏈接: http://pan.baidu.com/s/1jHS2KPg 密碼: wbcy<span style="color: rgb(160, 82, 45); font-family: Tahoma, Helvetica, SimSun, sans-serif; line-height: 24.5px; background-color: rgb(255, 255, 255);">[hide ]</span>
復(fù)制代碼

本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)。
打開(kāi)APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
python打包成exe文件
零基礎(chǔ)寫(xiě)python爬蟲(chóng)之打包生成exe文件
Python爬蟲(chóng):Scrapy從腳本運(yùn)行爬蟲(chóng)的5種方式!
Python學(xué)習(xí)教程:關(guān)于Scrapy爬蟲(chóng)項(xiàng)目運(yùn)行和調(diào)試的小技巧-第二講
Python爬蟲(chóng)教程:“竊取”服務(wù)器的文件竟然這么輕松,違法嗎?
Python爬蟲(chóng)學(xué)習(xí)系列教程 | 靜覓
更多類似文章 >>
生活服務(wù)
分享 收藏 導(dǎo)長(zhǎng)圖 關(guān)注 下載文章
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服