對(duì)于搜索引擎來(lái)說(shuō)，幾乎不可能捕捉到互聯(lián)網(wǎng)上的所有網(wǎng)頁(yè)。那么蜘蛛是如何抓住它的呢？今天我們將繼續(xù)討論昨天的話(huà)題：搜索引擎是如何工作的？過(guò)來(lái)看看！

從目前公布的數(shù)據(jù)來(lái)看，容量的搜索引擎只捕獲了網(wǎng)頁(yè)總數(shù)的40%左右。其中一個(gè)原因是抓取技術(shù)的瓶頸，它不能遍歷所有的網(wǎng)頁(yè)，很多網(wǎng)頁(yè)無(wú)法從其他網(wǎng)頁(yè)的鏈接中找到；另一個(gè)原因是存儲(chǔ)技術(shù)和處理技術(shù)的問(wèn)題。如果每頁(yè)的平均大小為20K（包括圖片），則100億個(gè)網(wǎng)頁(yè)的容量為100-2000g字節(jié)。即使可以過(guò)度存儲(chǔ)，也存在下載問(wèn)題（按一臺(tái)機(jī)器每秒下載20K計(jì)算，需要240臺(tái)機(jī)器連續(xù)下載一年才能下載完所有網(wǎng)頁(yè)）。

同時(shí)，由于數(shù)據(jù)量過(guò)大，搜索效率也會(huì)受到影響。因此，很多搜索引擎蜘蛛只會(huì)抓取哪些重要的網(wǎng)頁(yè)，而在抓取的過(guò)程中，評(píng)價(jià)網(wǎng)頁(yè)重要性的主要依據(jù)是網(wǎng)頁(yè)的鏈接深度。

在抓取網(wǎng)頁(yè)時(shí)，搜索引擎蜘蛛通常有兩種策略：廣度優(yōu)先和深度優(yōu)先。廣度優(yōu)先意味著搜索引擎蜘蛛將首先抓取起始頁(yè)中鏈接的所有頁(yè)面，然后選擇其中一個(gè)鏈接頁(yè)面，并繼續(xù)使用此頁(yè)中鏈接的所有頁(yè)面。這是常用的方法，因?yàn)檫@種方法可以讓搜索引擎并行處理，提高其抓取速度。深度優(yōu)先意味著搜索引擎蜘蛛將從起始頁(yè)開(kāi)始，逐個(gè)跟蹤鏈接，然后在處理完這一行后轉(zhuǎn)到下一個(gè)起始頁(yè)繼續(xù)跟蹤鏈接。這種方法的一個(gè)優(yōu)點(diǎn)是更容易設(shè)計(jì)搜索引擎蜘蛛。

由于不可能捕獲所有網(wǎng)頁(yè)，一些搜索引擎蜘蛛設(shè)置了一些不重要網(wǎng)站的訪(fǎng)問(wèn)層數(shù)，如下圖所示。A是起始頁(yè)，屬于第0、B、C、D、e和f層，屬于第1、G和H層，屬于第2、I層。如果搜索引擎spider設(shè)置的訪(fǎng)問(wèn)層數(shù)為2，則不會(huì)訪(fǎng)問(wèn)我的網(wǎng)頁(yè)。這還允許在搜索引擎中搜索某些網(wǎng)站上的某些網(wǎng)頁(yè)，而不能搜索其他網(wǎng)站上的網(wǎng)頁(yè)。對(duì)于網(wǎng)站設(shè)計(jì)者來(lái)說(shuō)，扁平化的網(wǎng)站結(jié)構(gòu)設(shè)計(jì)有助于搜索引擎捕獲更多的頁(yè)面。

搜索引擎蜘蛛在訪(fǎng)問(wèn)網(wǎng)頁(yè)時(shí)經(jīng)常遇到加密數(shù)據(jù)和網(wǎng)頁(yè)權(quán)限的問(wèn)題。有些網(wǎng)頁(yè)需要成員的權(quán)限才能訪(fǎng)問(wèn)。當(dāng)然，網(wǎng)站所有者可以讓搜索引擎只注意不通過(guò)協(xié)議捕獲，但是對(duì)于一些銷(xiāo)售報(bào)表的網(wǎng)站，他們希望搜索引擎能夠搜索到他們的報(bào)表，但是他們不能讓搜索者完全免費(fèi)查看，所以他們需要為搜索引擎的蜘蛛。搜索引擎蜘蛛可以在給定的權(quán)限內(nèi)爬行這些頁(yè)面，以便提供搜索。當(dāng)搜索者點(diǎn)擊查看網(wǎng)頁(yè)時(shí)，還需要提供相應(yīng)的權(quán)限驗(yàn)證。