互聯(lián)網(wǎng)是一個寶庫，搜索引擎是打開寶庫的一把鑰匙。然而，絕大多數(shù)網(wǎng)民在
搜索引擎的相關(guān)知識及使用技巧上能力不足。國外的一次調(diào)查結(jié)果顯示，約有71%的人對搜索的結(jié)果感到不同程度的失望。作為互聯(lián)網(wǎng)的第二大服務(wù)，這種狀況應(yīng)該改變。
互聯(lián)網(wǎng)的迅速發(fā)展，導(dǎo)致了網(wǎng)上信息的爆炸性增長。全球目前的網(wǎng)頁超過20億，每天新增加730萬網(wǎng)頁。要在如此浩瀚的信息海洋里尋找信息，就像“大海撈針”一樣困難。搜索引擎正是為了解決這個“迷航”問題而出現(xiàn)的技術(shù)。
搜索引擎的工作包括如下三個過程：
1.在互聯(lián)中發(fā)現(xiàn)、搜集網(wǎng)頁信息；
2.對信息進行提取和組織建立索引庫；
3.再由檢索器根據(jù)用戶輸入的查詢關(guān)字，在索引庫中快速檢出文檔，進行文檔與查詢的相關(guān)度評價，對將要輸出的結(jié)果進行排序，并將查詢結(jié)果返回給用戶。
發(fā)現(xiàn)、搜集網(wǎng)頁信息
需要有高性能的“網(wǎng)絡(luò)蜘蛛”程序(Spider)去自動地在互聯(lián)網(wǎng)中搜索信息。一個典型的網(wǎng)絡(luò)蜘蛛工作的方式，是查看一個頁面，并從中找到相關(guān)信息, 然后它再從該頁面的所有鏈接中出發(fā)，繼續(xù)尋找相關(guān)的信息，以此類推，直至窮盡。網(wǎng)絡(luò)蜘蛛要求能夠快速、全面。網(wǎng)絡(luò)蜘蛛為實現(xiàn)其快速地瀏覽整個互聯(lián)網(wǎng)，通常在技術(shù)上采用搶先式多線程技術(shù)實現(xiàn)在網(wǎng)上聚集信息。通過搶先式多線程的使用，你能索引一個基于URL鏈接的Web頁面，啟動一個新的線程跟隨每個新的URL鏈接，索引一個新的URL起點。當(dāng)然在服務(wù)器上所開的線程也不能無限膨脹，需要在服務(wù)器的正常運轉(zhuǎn)和快速收集網(wǎng)頁之間找一個平衡點。在算法上各個搜索引擎技術(shù)公司可能不盡相同，但目的都是快速瀏覽Web頁和后續(xù)過程相配合。目前國內(nèi)的搜索引擎技術(shù)公司中，比如百度公司的網(wǎng)絡(luò)蜘蛛采用了可定制、高擴展性的調(diào)度算法使得搜索器能在極短的時間內(nèi)收集到最大數(shù)量的互聯(lián)網(wǎng)信息，并把所 獲得的信息保存下來以備建立索引庫和用戶檢索。
索引庫的建立
關(guān)系到用戶能否最迅速地找到最準(zhǔn)確、最廣泛的信息，同時索引庫的建立也必須迅速，對網(wǎng)絡(luò)蜘蛛抓來的網(wǎng)頁信息極快地建立索引，保證信息的及時性。對網(wǎng)頁采用基于網(wǎng)頁內(nèi)容分析和基于超鏈分析相結(jié)合的方法進行相關(guān)度評價，能夠客觀地對網(wǎng)頁進行排序，從而極大限度地保證搜索出的結(jié)果與用戶的查詢串相一致。新浪搜索引擎對網(wǎng)站數(shù)據(jù)建立索引的過程中采取了按照關(guān)鍵詞在網(wǎng)站標(biāo)題、網(wǎng)站描述、網(wǎng)站URL等不同位置的出現(xiàn)或網(wǎng)站的質(zhì)量等級等建立索引庫，從而保證搜索出的結(jié)果與用戶的查詢串相一致。新浪搜索引擎在索引庫建立的過程中，對所有數(shù)據(jù)采用多進程并行的方式，對新的信息采取增量式的方法建立索引庫，從而保證能夠迅速建立索引，使數(shù)據(jù)能夠得到及時的更新。新浪搜索引擎在建立索引庫的過程中還對用戶搜索的查詢串進行跟蹤，并對查詢頻率高的查詢串建立Cache頁。
用戶檢索的過程
這是對前兩個過程的檢驗，檢驗該
搜索引擎能否給出最準(zhǔn)確、最廣泛的信息，檢驗該搜索引擎能否迅速地給出用戶最想得到的信息。對于網(wǎng)站數(shù)據(jù)的檢索，新浪搜索引擎采用Client/Server結(jié)構(gòu)、多進程的方式在索引庫中檢索，大大減少了用戶的等待時間，并且在用戶查詢高峰時服務(wù)器的負擔(dān)不會過高（平均的檢索時間在0.3秒左右）。對于網(wǎng)頁信息的檢索，作為國內(nèi)眾多門戶網(wǎng)站的網(wǎng)頁檢索技術(shù)提供商的百度公司其搜索引擎運用了先進的多線程技術(shù)，采用高效的搜索算法和穩(wěn)定的UNIX平臺，因此可大大縮短對用戶搜索請求的響應(yīng)時間。作為慧聰I系列應(yīng)用軟件產(chǎn)品之一的I-Search2000采用的超大規(guī)模動態(tài)緩存技術(shù)，使一級響應(yīng)的覆蓋率達到75%以上，獨有的自學(xué)習(xí)能力可自動將二級響應(yīng)的覆蓋率擴充到20%以上。
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
