從事SEO（SEO）工作的人可以比作搜索引擎的私人管家。作為一個合格的稱職的管家，我們必須了解我們所服務的人的習慣、愛好和健康。

SEO服務的對象是搜索引擎。我們必須牢記它的操作規(guī)則、工作原則、習慣、優(yōu)點和缺點。多練習，我們練習的越多，我們的經(jīng)驗就越多。

搜索引擎是人創(chuàng)造的，所以是合理的。搜索引擎的工作過程包括三個部分：爬行、預處理和服務輸出。

1、 爬行抓斗：

爬行是搜索引擎蜘蛛從要抓取的地址庫中提取要抓取的URL，訪問URL，并將讀取的HTML代碼存儲到數(shù)據(jù)庫中。Spider的抓取是像瀏覽器一樣打開這個頁面，用戶的瀏覽器訪問權(quán)限也會在服務器的原始日志中留下記錄。

爬行抓取是搜索引擎工作中的一個重要步驟，抓取所有需要抓取的地方進行處理和分析，所以如果你在這部分抓取中犯了錯誤，你以后就會完全癱瘓。

搜索引擎已經(jīng)預先處理了抓取的網(wǎng)頁。征集工作也要按照一定的規(guī)則進行，基本上有以下兩個特點：1。批量收集：收集互聯(lián)網(wǎng)上所有帶有鏈接的網(wǎng)頁，大約需要幾個星期。缺點是增加了額外的帶寬消耗，及時性不高。2增量采集：是批量采集的技術(shù)升級，***彌補了批量采集的不足。在原來的基礎(chǔ)上收集新的網(wǎng)頁，更改自上次收集以來已更改的網(wǎng)頁，并刪除重復和不存在的網(wǎng)頁。

2、 預處理：

搜索引擎蜘蛛抓取的原始頁面不能直接用于查詢排名。用戶輸入關(guān)鍵字后，也不可能直接返回排名結(jié)果。因此，必須對爬網(wǎng)的頁面進行預處理，為最終的查詢排序做準備。

當搜索引擎獲取頁面的HTML代碼時，它首先要做的是從HTML文件中刪除標記和程序，并提取可用于排名處理的頁面文本內(nèi)容。

分詞是中文搜索引擎的一個獨特步驟。英語句子中單詞之間有空格。搜索引擎可以直接將句子分成一組單詞，而中文則不行。搜索引擎需要識別哪些詞將形成一個詞，哪些詞本身就是一個詞。例如，“空氣開關(guān)”將分為“開關(guān)”和“空氣”。

漢語分詞方法基本上有兩種：基于詞典匹配的分詞方法和基于統(tǒng)計的分詞方法。

基于詞典的匹配方法是將一段待分析的漢字與預先建立的詞典中的一個詞條進行匹配，從待分析的漢字串中掃描詞典中已有的詞條，然后匹配成功，或者分詞。根據(jù)掃描方向的不同，基于詞典的匹配方法可分為正向匹配和反向匹配。根據(jù)匹配長度的優(yōu)先級，可分為***匹配和最小匹配。當掃描方向和掃描長度混合時，可以產(chǎn)生不同的方法，如正向***匹配和反向***匹配。詞典匹配方法計算簡單，其準確性在很大程度上取決于詞典的完整性和更新性。

基于統(tǒng)計的分詞方法是分析大量的文本詞，計算相鄰詞的統(tǒng)計頻率。相鄰詞出現(xiàn)得越多，就越有可能形成一個詞?；诮y(tǒng)計的方法的優(yōu)點是對生詞的反應更快，消除了歧義。

基于詞典匹配和統(tǒng)計的分詞方法各有優(yōu)缺點。實際的分詞系統(tǒng)是這兩種方法的混合，具有快速、高效的特點，能夠識別新詞和新詞，消除歧義。

無論在英語還是漢語中，都有一些頻繁出現(xiàn)但對內(nèi)容沒有影響的詞，如助詞如“得”、“地”、“啊”、“哈”，感嘆詞如“zhe”、“Yi”、“Que”，副詞或介詞。這樣的詞叫做停止詞。搜索引擎會在索引頁面前刪除這些停止詞，使索引數(shù)據(jù)主題更加突出，減少不必要的計算量。

大部分頁面仍然存在一些對頁面主題沒有貢獻的內(nèi)容，如版權(quán)聲明、導航欄、廣告等，這些塊屬于噪聲，只能在頁面主題中起到分散的作用。搜索引擎需要識別并消除這些噪聲，在排名時不要使用噪聲內(nèi)容。去噪的基本方法是根據(jù)HTML標簽將頁面分塊，區(qū)分頁眉、導航、文本、頁腳、廣告等區(qū)域。網(wǎng)站上大量的重復塊往往屬于噪音。對頁面去噪后，剩下的就是頁面的主題內(nèi)容。

同一篇文章會被不同的網(wǎng)站使用，搜索引擎不喜歡這種重復的內(nèi)容。試想，如果用戶在前兩頁看到來自不同網(wǎng)站的同一篇文章，必然會導致用戶體驗不佳。搜索引擎只想返回同一篇文章中的一篇，因此需要在索引之前識別并刪除重復的內(nèi)容。這個過程稱為重復數(shù)據(jù)消除。

重復數(shù)據(jù)消除的基本方法是計算頁面特征關(guān)鍵字的指紋，即從頁面的主要內(nèi)容中選取***代表性的部分關(guān)鍵字（往往是最頻繁出現(xiàn)的關(guān)鍵字），然后計算這些關(guān)鍵字的數(shù)字指紋。這里的關(guān)鍵詞選擇是在分詞之后，停止去詞和去噪。一般情況下，選擇10個特征關(guān)鍵詞可以獲得較高的準確率，而選擇更多的關(guān)鍵詞對準確率的提高貢獻不大。

遠期指數(shù)也可以簡稱為指數(shù)。在前五步之后，搜索引擎會得到一個獨特的字串，可以反映頁面的主要內(nèi)容。接下來，搜索引擎可以提取關(guān)鍵詞，根據(jù)分詞程序進行分詞，并將頁面轉(zhuǎn)化為一組關(guān)鍵詞。同時，記錄頁面上每個關(guān)鍵詞的出現(xiàn)頻率、出現(xiàn)頻率、格式（如sub-ah title tag、bold、H tag、錨文本等）、位置等信息。這樣，每一頁都可以記錄為一組關(guān)鍵字，其中還記錄了每個關(guān)鍵字的詞頻、格式、位置等權(quán)重信息。

正向索引不能直接用于排名。假設(shè)用戶搜索關(guān)鍵字2（參見上圖）。如果只有一個正索引，排名程序需要掃描所有索引庫文件，找出包含關(guān)鍵字2的文件，然后計算相關(guān)性。這種計算量不能滿足實時回報排名結(jié)果的要求。

在對頁面內(nèi)容進行爬網(wǎng)后，搜索引擎必須提前計算：頁面上的哪些鏈接指向哪些其他頁面，每個頁面上導入了哪些鏈接，鏈接使用的錨文本是什么，這些復雜的鏈接指向關(guān)系形成了網(wǎng)站和頁面的鏈接權(quán)重。谷歌公關(guān)價值是這種鏈接關(guān)系的主要表現(xiàn)之一。其他搜索引擎也做類似的計算，盡管他們不稱之為PR值。

除了HTML文件外，搜索引擎通常還可以抓取和索引各種基于文本的文件類型，例如PDF、word、WPS、xls、PPT、txt文件等。我們經(jīng)常在搜索結(jié)果中看到這些文件類型。但是目前的搜索引擎不能處理圖片和視頻，只能處理flash、腳本和程序等非文本內(nèi)容。

在預處理階段，搜索引擎會對頁面內(nèi)容質(zhì)量、鏈接質(zhì)量等進行判斷。近年來，百度和谷歌推出的算法都是預先計算好的，然后再上網(wǎng)，而不是實時計算。這里的質(zhì)量判斷包括很多因素，不局限于關(guān)鍵詞的提取和計算，也不局限于鏈接的數(shù)值計算。例如，頁面內(nèi)容的判斷可能包括用戶體驗、頁面布局、廣告布局、語法、頁面打開速度等，也可能涉及模式識別、機器學習、人工智能等方法。

3、 服務輸出：

搜索引擎最終將跟蹤用戶的搜索輸出結(jié)果。這是我們看到的百度快照。在前面的搜索引擎綜合評價機制原理中，我們可以看到搜索引擎已經(jīng)做了初步的處理，然后根據(jù)用戶的實際搜索詞進行具體的調(diào)整，然后輸出結(jié)果。

我們網(wǎng)站優(yōu)化的目的是提高關(guān)鍵字排名，那么如何才能快速提高關(guān)鍵字排名呢？現(xiàn)場SEO培訓范靜認為，可以在這部分內(nèi)容中找到一些答案。

搜索引擎還有另外一項工作，就是自身不斷的學習和改進，通過這種智能學習，不斷完善規(guī)則，向搜索用戶展示更符合期望的搜索結(jié)果。