搜索引擎的工作原理

搜索引擎是一套放在幾十幾百萬(wàn)臺服務(wù)器上運行的、基于各種程序算法的、復雜的檢索系統，基本工作原理(以中文搜索引擎百度為例說(shuō)明）如下。

（1）正向工作：從種子URL(網(wǎng)絡(luò )定位資源符）出發(fā)沿著(zhù)超鏈接對全網(wǎng)Web資源進(jìn)行爬行、抓取或更新（鏈接存儲系統、鏈接選取系統、DNS解析服務(wù)系統、抓取調度系統、網(wǎng)頁(yè)分析系統、鏈接提取系統、鏈接分析系統、網(wǎng)頁(yè)存儲系統多系統通力合作）→重復度初篩→原始數據存儲→預處理、頁(yè)面分析（提取文字、中文切詞分詞、去停止詞、消除噪聲、正向索引、倒排索引、鏈接關(guān)系計算、特殊文件處理、其他權重數據計算）→建庫（文檔映射部件基于網(wǎng)頁(yè)的等級將數據庫中的網(wǎng)頁(yè)映射到多個(gè)分層中，通常分為重要索引庫、普通庫及低級庫）→等待查詢(xún)。

（2）逆向工作：用戶(hù)輸入查詢(xún)詞→中文分詞→分詞結果對應的文檔集合(倒排索引）→求交→敏感詞過(guò)濾→排序輸出。對于普通用戶(hù)而言，他們并不用了解搜索引擎的工作原理，而作為SEO人員，了解搜索引擎的原理是做好SEO的基礎，了解其原理能有針對性地對網(wǎng)站進(jìn)行優(yōu)化，讓網(wǎng)站優(yōu)化工作更為科學(xué)合理。雖然各個(gè)搜索引擎的工作細節有所不同，但是總的原理是大致相同的。

本節介紹的搜索引擎工作原理就是搜索引擎共同的特點(diǎn)，其中包括3個(gè)部分。

(1)利用漫游機器人在互聯(lián)網(wǎng)中發(fā)現、搜集網(wǎng)頁(yè)信息，即爬取Web資源。

(2)對信息進(jìn)行提取和組織，建立索引庫，并對排名進(jìn)行預處理。

（3）根據用戶(hù)輸入的查詢(xún)關(guān)鍵字，檢索器在索引庫中快速檢出文檔，進(jìn)行文檔與查詢(xún)的相關(guān)度評價(jià)，以獲得最終排序，并將查詢(xún)結果返回給用戶(hù)。搜索引擎的主要工作原理，而在每個(gè)部分又含有多個(gè)流程。

例如，用戶(hù)搜索“搜索引擎實(shí)戰解析”，過(guò)濾器檢查是否含有敏感詞匯，若有則屏蔽詞匯，顯示其他內容，“搜索引擎實(shí)戰解析”沒(méi)有敏感詞匯，然后輸入檢索器。檢索器對該詞進(jìn)行分詞處理，通常分為“搜索引擎”“實(shí)戰”“解析”這三個(gè)詞。然后通過(guò)索引器調用信息數據庫中與這三個(gè)詞全部相關(guān)或分別相關(guān)的網(wǎng)頁(yè)數據，利用排序器中預處理的排序進(jìn)行求交，并利用網(wǎng)頁(yè)加權算法獲得關(guān)鍵詞“搜索引擎實(shí)戰解析”的最終排名輸出給用戶(hù)。另外，存儲于信息數據庫中的網(wǎng)頁(yè)數據是通過(guò)Crawler(漫游器)進(jìn)行網(wǎng)絡(luò )信息的爬行和抓取，然后利用分析器對網(wǎng)頁(yè)質(zhì)量進(jìn)行評估，如果網(wǎng)絡(luò )信息與已有信息高度重復或者質(zhì)量不高，都不能被搜索引擎存入信息數據庫中，也就是常說(shuō)的未被收錄。