无线国产资源第一页,无限资源网2018第一页,无限资源国家产片第一页

      1. <progress id="22j3w"></progress>

      2. <button id="22j3w"></button>
        網站優化,seo優化,網站建設-精靈seo

        seo優化

        >網站優化>關鍵詞優化>seo公司>seo推廣>網站seo
        您的位置:首頁 >SEO教程

        什么是搜索引擎蜘蛛抓取配額

        來源:精靈SEO 發布時間:2019-09-09

          搜索引擎蜘蛛抓取份額相關問題,對大中型網站來說,是個頗為重要的SEO問題,有時候會成為網站自然流量的瓶頸,為了幫助大家更好的理解,下面精靈SEO通過一些案例來為大家進行解讀。


          什么是搜索引擎蜘蛛抓取份額?


          顧名思義,抓取份額是搜索引擎蜘蛛花在一個網站上的抓取頁面的總的時間上限。對于特定網站,搜索引擎蜘蛛花在這個網站上的總時間是相對固定的,不會無限制地抓取網站所有頁面。


          抓取份額的英文Google用的是crawl budget,直譯是爬行預算,我覺得不太能說明是什么意思,所以用抓取份額表達這個概念。


          抓取份額是由什么決定的呢?這牽扯到抓取需求和抓取速度限制。


          抓取需求


          抓取需求,crawl demand,指的是搜索引擎“想”抓取特定網站多少頁面。


          決定抓取需求的主要有兩個因素。一是頁面權重,網站上有多少頁面達到了基本頁面權重,搜索引擎就想抓取多少頁面。二是索引庫里頁面是否太久沒更新了。說到底還是頁面權重,權重高的頁面就不會太久不更新。


          頁面權重和網站權重又是息息相關的,提高網站權重,就能使搜索引擎愿意多抓取頁面。


          抓取速度限制


          搜索引擎蜘蛛不會為了抓取更多頁面,把人家網站服務器拖垮,所以對某個網站都會設定一個抓取速度的上限,crawl rate limit,也就是服務器能承受的上限,在這個速度限制內,蜘蛛抓取不會拖慢服務器、影響用戶訪問。


          服務器反應速度夠快,這個速度限制就上調一點,抓取加快,服務器反應速度下降,速度限制跟著下降,抓取減慢,甚至停止抓取。


          所以,抓取速度限制是搜索引擎“能”抓取的頁面數。


          抓取份額是由什么決定的?


          抓取份額是考慮抓取需求和抓取速度限制兩者之后的結果,也就是搜索引擎“想”抓,同時又“能”抓的頁面數。


          網站權重高,頁面內容質量高,頁面夠多,服務器速度夠快,抓取份額就大。


          小網站沒必要擔心抓取份額


          小網站頁面數少,即使網站權重再低,服務器再慢,每天搜索引擎蜘蛛抓取的再少,通常至少也能抓個幾百頁,十幾天怎么也全站抓取一遍了,所以幾千個頁面的網站根本不用擔心抓取份額的事。數萬個頁面的網站一般也不是什么大事。每天幾百個訪問要是能拖慢服務器,SEO就不是主要需要考慮的事了。


          大中型網站經常需要考慮抓取份額


          幾十萬頁以上的大中型網站,可能要考慮抓取份額夠不夠的問題。


          抓取份額不夠,比如網站有1千萬頁面,搜索引擎每天只能抓幾萬個頁面,那么把網站抓一遍可能需要幾個月,甚至一年,也可能意味著一些重要頁面沒辦法被抓取,所以也就沒排名,或者重要頁面不能及時被更新。


          要想網站頁面被及時、充分抓取,首先要保證服務器夠快,頁面夠小。如果網站有海量高質量數據,抓取份額將受限于抓取速度,提高頁面速度直接提高抓取速度限制,因而提高抓取份額。


          百度站長平臺和Google Search Console都有抓取數據。如下圖某網站百度抓取頻次:

        什么是搜索引擎蜘蛛抓取配額

          上圖是SEO每天一貼這種級別的小網站,頁面抓取頻次和抓取時間(取決于服務器速度和頁面大?。]有什么大關系,說明沒有用完抓取份額,不用擔心。


          有的時候,抓取頻次和抓取時間是有某種對應關系的,如下圖另一個大些的網站:

        什么是搜索引擎蜘蛛抓取配額

          可以看到,抓取時間改善(減小頁面尺寸、提高服務器速度、優化數據庫),明顯導致抓取頻次上升,使更多頁面被抓取收錄,遍歷一遍網站更快速。


          Google Search Console里更大點站的例子:

        什么是搜索引擎蜘蛛抓取配額

          最上面的是抓取頁面數,中間的是抓取數據量,除非服務器出錯,這兩個應該是對應的。最下面的是頁面抓取時間??梢钥吹?,頁面下載速度夠快,每天抓取上百萬頁是沒有問題的。


          當然,像前面說的,能抓上百萬頁是一方面,搜索引擎想不想抓是另一方面。


          大型網站另一個經常需要考慮抓取份額的原因是,不要把有限的抓取份額浪費在無意義的頁面抓取上,導致應該被抓取的重要頁面卻沒有機會被抓取。


          浪費抓取份額的典型頁面有:


          大量過濾篩選頁面。這一點,幾年前關于無效URL爬行索引的帖子里有詳細討論。


          站內復制內容


          低質、垃圾內容


          日歷之類的無限個頁面


          上面這些頁面被大量抓取,可能用完抓取份額,該抓的頁面卻沒抓。


          怎樣節省抓取份額?


          當然首先是降低頁面文件大小,提高服務器速度,優化數據庫,降低抓取時間。


          然后,盡量避免上面列出的浪費抓取份額的東西。有的是內容質量問題,有的是網站結構問題,如果是結構問題,最簡單的辦法是robots文件禁止抓取,但多少會浪費些頁面權重,因為權重只進不出。


          某些情況下使用鏈接nofollow屬性可以節省抓取份額。小網站,由于抓取份額用不完,加nofollow是沒有意義的。大網站,nofollow是可以在一定程度上控制權重流動和分配的,精心設計的nofollow會使無意義頁面權重降低,提升重要頁面權重。搜索引擎抓取時會使用一個URL抓取列表,里面待抓URL是按頁面權重排序的,重要頁面權重提升,會先被抓取,無意義頁面權重可能低到搜索引擎不想抓取。


          最后幾個說明:


          鏈接加nofollow不會浪費抓取份額。但在Google是會浪費權重的。


          noindex標簽不能節省抓取份額。搜索引擎要知道頁面上有noindex標簽,就得先抓取這個頁面,所以并不節省抓取份額。


          canonical標簽有時候能節省一點抓取份額。和noindex標簽一樣,搜索引擎要知道頁面上有canonical標簽,就得先抓取這個頁面,所以并不直接節省抓取份額。但有canonical標簽的頁面被抓取頻率經常會降低,所以會節省一點抓取份額。


          抓取速度和抓取份額不是排名因素。但沒被抓取的頁面也談不上排名。


        相關文章內容簡介

        1 新手SEO診斷網站優化排名的注意事項

          新手SEO診斷網站優化排名的注意事項!網站關鍵詞對seo起了決定性作用,可這樣咱們就可以按部就班的更新文章坐等排名了么?當然不是,我們還需要對網站進行診斷后才能真正上線。對于如何診斷seo優化的影響因素我們需要注意哪些細節呢?今天精靈seo小編就跟大家分享下新手SEO診斷影響網站seo優化因素要注意哪些細節?   一、診斷頁面標題順序   網站每個頁面的關鍵詞顯示順序要正確,即首頁命名為關鍵詞-網站名稱、分類頁命名為欄目名稱-網站名稱、內容頁命名為文章標題-網站名稱。   二、診斷標題重復與描述重復   準確的描述網頁,不要出現堆砌關鍵詞,一般標題不超過30個字符;為每個網頁創建不同的description,避免所有網頁都使用相同的描述;長度合理,不宜過長或過短。   三、診斷URL唯一性   URL唯一性,也叫首選域,是指若干個URL中選取最佳URL的過程,通常指網站的首頁。一個網站的首頁,通??梢酝ㄟ^多個不同的URL可以訪問到。一般網站的首頁會有一個會解析一個帶www的和一個 [閱讀全文]

        2 網站不同形式的外部鏈接有什么作用?

          網站不同形式的外部鏈接有什么作用?外部鏈接的一個基礎作用是在于對某個網站的“信任”。這里所謂的“信任”,指的是告訴搜索引擎對方網站值得去收錄或者展示給網站用戶,從而引導Spider通過這些外部鏈接來訪問。在“信任”的基礎上,外部鏈接通過描述文本傳遞與關鍵詞相關的網站的主題價值,也就是PagePank。PagePank可能被用于評估彼此相關聯的頁面的價值,從而為搜索引擎結果頁面安排出值得“信任”的位置。 外部鏈接的形式有很多,不同形式的外部鏈接,其作用也各有不同。   1. 錨文本形式的外鏈   錨文本形式的外鏈對關鍵詞排名的作用不可小覷,很多SEO工作者在各大論壇、博客發布帶有錨文本的簽名或文章,效果也非常明顯。不過錨文本對谷歌的關鍵詞排名作用很大,而在百度方面效果并不是那么明顯。百度把這個錨文本的排名結果分得更細一些,錨文本對關鍵詞的排名并不能起到決定性的作用,百度更看重網站的整體權重及其他外部鏈接的數量。   2. 超鏈接形式的外鏈   這種外部鏈接是比較優質的外部鏈接, [閱讀全文]

        關閉
        系統提示

        登錄密碼錯誤?。?!

        无线国产资源第一页,无限资源网2018第一页,无限资源国家产片第一页