.
最近很熱門的一本書：
其中很一章提到了搜索引擎：你和任何一個網站之間的距離縮短到一個(組)關鍵詞。感受最深的是：在互聯(lián)網中wiki/blog無疑是最平坦的兩塊自留地。從blog/wiki的設計中也可以看到CMS設計面向搜索引擎抓取優(yōu)化的2個要點：
1 蜘蛛遍歷的速度：幫助搜索引擎快速遍歷整個網站，而又不在個別頁面中集中太多的鏈接。
2 內容的穩(wěn)定性：承諾一個穩(wěn)定的內容映射，不會在搜索過來使實際內容已經面目全非；
簡單比較一下傳統(tǒng)的BBS和Blog Wiki之間的發(fā)布模式：
論壇：滾動的索引/列表頁，當論壇內容很多的時候，當論壇中的內容較多以后，遍歷完一個論壇往往需要蜘蛛從入口抓取5層以上。
- web - ?Forum=1 - ?post=1|- ?post=2|- ?post=5- ?Forum=2 - ?post=4|- ?post=22|- ?post=8
Blog的發(fā)布模式的優(yōu)點：主題的permalink + 按時間歸檔 + 按分類歸檔
- index - post10.html|- post9.html|- monthly_archive - post8.html|- post7.html|- category_archive - post8.html|- post2.html由于個人內容發(fā)布量較少，在百級或者千級，蜘蛛經過3層遍歷基本上能夠遍歷完整個網站。而blog之間的相互引用非常豐富。和論壇的發(fā)布結構非常像的有郵件列表歸檔。郵件列表歸檔也有按時間歸檔的機制，并且使用permalink，
WIKI完全扁平的發(fā)布格式，內容之間鏈接/引用豐富。
|- topic1 -> topic2-> topic3|- topic2 -> topic3|- topic3 -> topic2-> topic1
在很多發(fā)布系統(tǒng)提供了RSS/XML接口以后： 達到同樣的同步速度，RSS幫助蜘蛛節(jié)省了數倍刷新首頁/歸檔索引頁的過程。
rss.xml - post10.html|- post9.html|- post8.html
由于wiki和blog在搜索引擎中獲得巨大的影響力，也促使在這2個平臺上匯聚了寫作質量很高的一群人創(chuàng)作更多的內容。以下是wikipedia.cnblog.org這半年來的鏡像統(tǒng)計數據做一些分析：
數字截至2005年底：原始數據
WikiPedia上編輯超過10篇的用戶共2118人。目前WikiPedia上中文條目共5萬多，每條長度平均在2.6k，其中長度在2k以上條目占11%。
內部鏈接是1M個，鏈接到其他語言的條目的個數是37萬個，鏈接到外面網站的個數是46k個。
內部的鏈接密度：
平均每個條目和其他條目之間的鏈接個數
100萬/5萬=20個。
由于內部內容之間良好的引用和鏈接設計，搜索引擎的蜘蛛能在4層之內遍歷到的網站的內容：20^4 = 16萬
而后臺的統(tǒng)計上可以看到：各個引擎的抓取都非常頻繁和深入
搜索引擎網站的機器人 (前 10) - 全部列出 - 最近參觀日期
Googlebot 89303+15 296.35 M字節(jié) 2006年 三月 04日 23:54
BaiDuSpider 51499+3 1.10 G字節(jié) 2006年 三月 04日 16:24
Yahoo Slurp 13122+705 97.86 M字節(jié) 2006年 三月 04日 23:59
MSNBot 12434+85 244.40 M字節(jié) 2006年 三月 04日 23:57
中文網的每天PV為15萬，獨立用戶1.5萬左右。外部來源幾乎完全來自搜索引擎，而包含英文網站在內的wikipedia.org已經成為全球第22位的 http://www.alexa.com/data/details/traffic_details?q=&url=wikipedia.org
從日志統(tǒng)計來看：
http://blog.cnblog.org/cgi-bin/awstats/awstats.pl?config=wikipedia
wikipedia被搜索引擎搜索到的有千個關鍵詞，每天的訪問量在10萬PV/1萬人次左右。
用以搜索的短語 (前 10)
13747 個不同的關鍵字句 搜索 百分比
繁體字 2121 5.8 %
少年阿賓 1242 3.4 %
色情電影 1076 2.9 %
維基百科 483 1.3 %
維基 259 0.7 %
陰毛 187 0.5 %
海倫.凱勒 162 0.4 %
海倫 凱勒 156 0.4 %
美少女戰(zhàn)士 152 0.4 %
奇幻小說 139 0.3 %
其他短語 30041 83.4 %
關鍵詞的分布較廣泛：top 10關鍵詞流量占總體來源關鍵詞不到20%。
數字截至2005年底：原始數據
WikiPedia上編輯超過10篇的用戶共2118人。目前WikiPedia上中文條目共5萬多，每條長度平均在2.6k，其中長度在2k以上條目占11%。
內部鏈接是1M個，鏈接到其他語言的條目的個數是37萬個，鏈接到外面網站的個數是46k個。
內部的鏈接密度：
平均每個條目和其他條目之間的鏈接個數
100萬/5萬=20個。
由于內部內容之間良好的引用和鏈接設計，搜索引擎的蜘蛛能在4層之內遍歷到的網站的內容：20^4 = 16萬
而后臺的統(tǒng)計上可以看到：各個引擎的抓取都非常頻繁和深入
搜索引擎網站的機器人 (前 10) - 全部列出 - 最近參觀日期
Googlebot 89303+15 296.35 M字節(jié) 2006年 三月 04日 23:54
BaiDuSpider 51499+3 1.10 G字節(jié) 2006年 三月 04日 16:24
Yahoo Slurp 13122+705 97.86 M字節(jié) 2006年 三月 04日 23:59
MSNBot 12434+85 244.40 M字節(jié) 2006年 三月 04日 23:57
中文網的每天PV為15萬，獨立用戶1.5萬左右。外部來源幾乎完全來自搜索引擎，而包含英文網站在內的wikipedia.org已經成為全球第22位的 http://www.alexa.com/data/details/traffic_details?q=&url=wikipedia.org
從日志統(tǒng)計來看：
http://blog.cnblog.org/cgi-bin/awstats/awstats.pl?config=wikipedia
wikipedia被搜索引擎搜索到的有千個關鍵詞，每天的訪問量在10萬PV/1萬人次左右。
用以搜索的短語 (前 10)
13747 個不同的關鍵字句 搜索 百分比
繁體字 2121 5.8 %
少年阿賓 1242 3.4 %
色情電影 1076 2.9 %
維基百科 483 1.3 %
維基 259 0.7 %
陰毛 187 0.5 %
海倫.凱勒 162 0.4 %
海倫 凱勒 156 0.4 %
美少女戰(zhàn)士 152 0.4 %
奇幻小說 139 0.3 %
其他短語 30041 83.4 %
關鍵詞的分布較廣泛：top 10關鍵詞流量占總體來源關鍵詞不到20%。
