Screaming Frog SEO Spider for Mac是一款專門用于抓取網(wǎng)址進(jìn)行分析的網(wǎng)絡(luò)爬蟲開發(fā)工具，你可以通過這款軟件來快速抓取網(wǎng)站中可能出現(xiàn)的損壞鏈接和服務(wù)器錯(cuò)誤，或是識別網(wǎng)站中臨時(shí)、永久重定向的鏈接循壞，同時(shí)還能檢查出網(wǎng)址、網(wǎng)頁標(biāo)題、說明以及內(nèi)容等信息中心可能出現(xiàn)的重復(fù)問題。喜歡這款軟件嗎？
Screaming Frog SEO Spider for Mac是一個(gè)網(wǎng)站爬蟲，允許你抓取網(wǎng)站的網(wǎng)址，并獲取關(guān)鍵要素，分析和審計(jì)技術(shù)和現(xiàn)場搜索引擎優(yōu)化。
1、找到斷開的鏈接
立即抓取網(wǎng)站并找到損壞的鏈接（404s）和服務(wù)器錯(cuò)誤。批量導(dǎo)出錯(cuò)誤和源URL以進(jìn)行修復(fù)，或發(fā)送給開發(fā)人員。
2、審核重定向
查找臨時(shí)和永久重定向，識別重定向鏈和循環(huán)，或上傳URL列表以在站點(diǎn)遷移中進(jìn)行審核。
3、分析頁面標(biāo)題和元數(shù)據(jù)
在抓取過程中分析頁面標(biāo)題和元描述，并識別網(wǎng)站中過長，短缺，缺失或重復(fù)的內(nèi)容。
4、發(fā)現(xiàn)重復(fù)內(nèi)容
使用md5算法檢查發(fā)現(xiàn)完全重復(fù)的URL，部分重復(fù)的元素（如頁面標(biāo)題，描述或標(biāo)題）以及查找低內(nèi)容頁面。
5、使用XPath提取數(shù)據(jù)
使用CSS Path，XPath或regex從網(wǎng)頁的HTML中收集任何數(shù)據(jù)。這可能包括社交元標(biāo)記，其他標(biāo)題，價(jià)格，SKU或更多！
6、審查機(jī)器人和指令
查看被robots.txt，元機(jī)器人或X-Robots-Tag指令阻止的網(wǎng)址，例如'noindex'或'nofollow'，以及規(guī)范和rel =“next”和rel =“prev”。
7、生成XML站點(diǎn)地圖
快速創(chuàng)建XML站點(diǎn)地圖和圖像XML站點(diǎn)地圖，通過URL進(jìn)行高級配置，包括上次修改，優(yōu)先級和更改頻率。
8、與Google Analytics集成
連接到Google AnalyticsAPI并針對抓取功能獲取用戶數(shù)據(jù)，例如會話或跳出率和轉(zhuǎn)化次數(shù)，目標(biāo)，交易和針對目標(biāo)網(wǎng)頁的收入。
9、抓取JavaScript網(wǎng)站
使用集成的Chromium WRS渲染網(wǎng)頁，以抓取動態(tài)的，富含JavaScript的網(wǎng)站和框架，例如Angular，React和Vue.js.
10、可視化站點(diǎn)架構(gòu)
使用交互式爬網(wǎng)和目錄強(qiáng)制導(dǎo)向圖和樹形圖站點(diǎn)可視化評估內(nèi)部鏈接和URL結(jié)構(gòu)。
快速摘要
錯(cuò)誤 - 客戶端錯(cuò)誤，例如鏈接斷開和服務(wù)器錯(cuò)誤（無響應(yīng)，4XX，5XX）。
重定向 - 永久，臨時(shí)重定向（3XX響應(yīng)）和JS重定向。
阻止的網(wǎng)址 - robots.txt協(xié)議不允許查看和審核網(wǎng)址。
阻止的資源 - 在呈現(xiàn)模式下查看和審核被阻止的資源。
外部鏈接 - 所有外部鏈接及其狀態(tài)代碼。
協(xié)議 - URL是安全的（HTTPS）還是不安全的（HTTP）。
URI問題 - 非ASCII字符，下劃線，大寫字符，參數(shù)或長URL。
重復(fù)頁面 - 哈希值/ MD5checksums算法檢查完全重復(fù)的頁面。
頁面標(biāo)題 - 缺失，重復(fù)，超過65個(gè)字符，短，像素寬度截?cái)?，與h1相同或多個(gè)。
元描述 - 缺失，重復(fù)，超過156個(gè)字符，短，像素寬度截?cái)嗷蚨鄠€(gè)。
元關(guān)鍵字 - 主要供參考，因?yàn)樗鼈儾槐还雀瑁貞?yīng)或雅虎使用。
文件大小 - 網(wǎng)址和圖片的大小。
響應(yīng)時(shí)間。
最后修改的標(biāo)題。
頁面（抓?。┥疃?。
字?jǐn)?shù)。
H1 - 缺失，重復(fù)，超過70個(gè)字符，多個(gè)。
H2 - 缺失，重復(fù)，超過70個(gè)字符，多個(gè)。
元機(jī)器人 - 索引，無索引，跟隨，nofollow，noarchive，nosnippet，noodp，noydir等。
元刷新 - 包括目標(biāo)頁面和時(shí)間延遲。
規(guī)范鏈接元素和規(guī)范HTTP標(biāo)頭。
X-Robots-Tag中。
分頁 - rel =“next”和rel =“prev”。
關(guān)注＆Nofollow - 在頁面和鏈接級別（真/假）。
重定向鏈 - 發(fā)現(xiàn)重定向鏈和循環(huán)。
hreflang屬性 - 審核缺少的確認(rèn)鏈接，不一致和不正確的語言代碼，非規(guī)范的hreflang等。
AJAX - 選擇遵守Google現(xiàn)已棄用的AJAX抓取方案。
渲染 - 通過在JavaScript執(zhí)行后抓取渲染的HTML來抓取像AngularJS和React這樣的JavaScript框架。
Inlinks - 鏈接到URI的所有頁面。
Outlinks - URI鏈接到的所有頁面。
錨文本 - 所有鏈接文本。從帶有鏈接的圖像中替換文本。
圖像 - 具有圖像鏈接的所有URI和來自給定頁面的所有圖像。圖像超過100kb，缺少替代文字，替代文字超過100個(gè)字符。
用戶代理切換器 - 抓取Googlebot，Bingbot，Yahoo！Slurp，移動用戶代理或您自己的自定義UA。
自定義HTTP標(biāo)頭 - 在請求中提供任何標(biāo)頭值，從Accept-Language到cookie。
自定義源代碼搜索 - 在網(wǎng)站的源代碼中找到您想要的任何內(nèi)容！無論是谷歌分析代碼，特定文本還是代碼等。
自定義提取 - 使用XPath，CSS路徑選擇器或正則表達(dá)式從URL的HTML中刪除任何數(shù)據(jù)。
Google Analytics集成 - 連接到Google AnalyticsAPI并在抓取過程中直接提取用戶和轉(zhuǎn)化數(shù)據(jù)。
Google Search Console集成 - 連接到Google Search Analytics API并針對網(wǎng)址收集展示次數(shù)，點(diǎn)擊次數(shù)和平均排名數(shù)據(jù)。
外部鏈接度量標(biāo)準(zhǔn) - 將Majestic，Ahrefs和Moz API中的外部鏈接指標(biāo)拖入爬行以執(zhí)行內(nèi)容審核或配置文件鏈接。
XML站點(diǎn)地圖生成 - 使用SEO蜘蛛創(chuàng)建XML站點(diǎn)地圖和圖像站點(diǎn)地圖。
自定義robots.txt - 使用新的自定義robots.txt下載，編輯和測試網(wǎng)站的robots.txt。
渲染的屏幕截圖 - 獲取，查看和分析已爬網(wǎng)的渲染頁面。
存儲和查看HTML和呈現(xiàn)的HTML - 分析DOM的必要條件。
AMP抓取和驗(yàn)證 - 使用官方集成的AMP Validator抓取AMP網(wǎng)址并對其進(jìn)行驗(yàn)證。
XML站點(diǎn)地圖分析 - 單獨(dú)爬網(wǎng)XML站點(diǎn)地圖或爬行的一部分，以查找丟失的，不可索引的和孤立的頁面。
可視化 - 使用爬網(wǎng)和目錄樹強(qiáng)制導(dǎo)向圖和樹圖分析網(wǎng)站的內(nèi)部鏈接和URL結(jié)構(gòu)。
結(jié)構(gòu)化數(shù)據(jù)和驗(yàn)證 - 根據(jù)Schema.org規(guī)范和Google搜索功能提取和驗(yàn)證結(jié)構(gòu)化數(shù)據(jù)。
Screaming Frog SEO Spider for Mac可以幫助您從不同的網(wǎng)頁上選擇需要抓取的內(nèi)容，軟件具有網(wǎng)頁蜘蛛功能，您可以讓蜘蛛在網(wǎng)頁上不斷的搜索需要的資源，可以設(shè)置搜索的一個(gè)主要網(wǎng)頁地址，并設(shè)置自定義分析擴(kuò)展頁面的功能。
