前幾天給大家分享了如何在Windows下創(chuàng)建網(wǎng)絡(luò)爬蟲(chóng)虛擬環(huán)境及如何安裝Scrapy，還有Scrapy安裝過(guò)程中常見(jiàn)的問(wèn)題總結(jié)及其對(duì)應(yīng)的解決方法，感興趣的小伙伴可以戳鏈接進(jìn)去查看。關(guān)于Scrapy的介紹，之前也在文章中提及過(guò)，今天小編帶大家進(jìn)入Scrapy爬蟲(chóng)框架，創(chuàng)建Scrapy爬蟲(chóng)框架的第一個(gè)項(xiàng)目，具體過(guò)程如下所示。
1、進(jìn)入虛擬環(huán)境，不知道進(jìn)入的環(huán)境的小伙伴可以戳這篇文章：在Windows下如何創(chuàng)建指定的虛擬環(huán)境和在Windows下如何創(chuàng)建虛擬環(huán)境（默認(rèn)情況下）。進(jìn)入到環(huán)境之后可以通過(guò)“pip list”命令查看Scrapy是否安裝成功，如下圖所示。
可以看到Scrapy已經(jīng)安裝成功。
2、這里小編欲將Scrapy項(xiàng)目放到demo文件夾下，所以先退回到上級(jí)目錄中去，如下圖所示。
3、爾后開(kāi)始新建Scrapy項(xiàng)目，輸入創(chuàng)建Scrapy爬蟲(chóng)項(xiàng)目命令“scrapy startproject article”，其中article是爬蟲(chóng)項(xiàng)目的名稱(chēng)，可以自行更改的。輸入創(chuàng)建命令之后，稍等片刻，系統(tǒng)會(huì)根據(jù)模板進(jìn)行創(chuàng)建項(xiàng)目，模板所在的目錄是“D:\pythonDemo\2018\September\demo\scrapy_demo\Lib\site-packages\scrapy\templates\project”，與你的爬蟲(chóng)環(huán)境相關(guān)，如下圖所示，等待項(xiàng)目創(chuàng)建完成。當(dāng)然我們可以自定義爬蟲(chóng)模板，不過(guò)目前來(lái)看，Scrapy爬蟲(chóng)框架提供的模板夠我們用的了，我們能把Scrapy搞明白也就可以了。
4、根據(jù)上圖提示，首先進(jìn)入到article文件夾下，輸入命令“cd article”，之后通過(guò)“dir”查看目錄，也可以通過(guò)“tree /f”生成文件目錄的樹(shù)形結(jié)構(gòu)，如下圖所示，可以很清晰的看到Scrapy創(chuàng)建命令生成的文件。
頂層的article文件夾是項(xiàng)目名。
第二層中包含的是一個(gè)與項(xiàng)目名同名的文件夾article和一個(gè)文件scrapy.cfg，這個(gè)與項(xiàng)目同名的文件夾article是一個(gè)模塊，所有的項(xiàng)目代碼都在這個(gè)模塊內(nèi)添加，而scrapy.cfg文件是整個(gè)Scrapy項(xiàng)目的配置文件
第三層中有5個(gè)文件和一個(gè)文件夾，其中__init__.py是個(gè)空文件，作用是將其上級(jí)目錄變成一個(gè)模塊；items.py是定義儲(chǔ)對(duì)象的文件，決定爬取哪些項(xiàng)目；middlewares.py文件是中間件，一般不用進(jìn)行修改，主要負(fù)責(zé)相關(guān)組件之間的請(qǐng)求與響應(yīng)；pipelines.py是管道文件，決定爬取后的數(shù)據(jù)如何進(jìn)行處理和存儲(chǔ)；settings.py是項(xiàng)目的設(shè)置文件，設(shè)置項(xiàng)目管道數(shù)據(jù)的處理方法、爬蟲(chóng)頻率、表名等；spiders文件夾中放置的是爬蟲(chóng)主體文件（用于實(shí)現(xiàn)爬蟲(chóng)邏輯）和一個(gè)__init__.py空文件。
5、在Windows文件夾下也可以很清晰的看到新建的Scrapy文件，如下圖所示。
6、當(dāng)然，也可以通過(guò)Pycharm導(dǎo)入項(xiàng)目的方式進(jìn)行查看項(xiàng)目文件，此時(shí)更加的清晰，如下圖所示。
7、點(diǎn)擊各個(gè)項(xiàng)目文件，可以查看其中的內(nèi)容，其中settings.py文件的內(nèi)容如下圖所示，其他的文件內(nèi)容在此就不再贅述了。
至此，第一個(gè)Scrapy爬蟲(chóng)項(xiàng)目的創(chuàng)建及Scrapy爬蟲(chóng)項(xiàng)目中的文件解析介紹就先到這里了，下一步開(kāi)始進(jìn)行Scrapy爬蟲(chóng)項(xiàng)目的進(jìn)階內(nèi)容，敬請(qǐng)期待~~
--------------------- End ---------------------
聯(lián)系客服
