北京SEO百度排名優化_刷百度排名行業領先-小度SEO一站式SEO服務,幫助企業網站快速排名,快速上首頁!| 網站地圖
首頁
主頁 > SEO技術 > 如何節省搜索引擎蜘蛛的抓取份額?(增加網站曝光率)

如何節省搜索引擎蜘蛛的抓取份額?(增加網站曝光率)

首頁 2020-02-19 14:42 SEO技術 89 ℃


蜘蛛抓取份額
如何節省搜索引擎蜘蛛的抓取份額?
 
抓取份額是搜索引擎蜘蛛花在一個網站上的抓取頁面的總的時間上限。對于特定網站,搜索引擎蜘蛛花在這個網站上的總時間是相對固定的,不會無限制地抓取網站所有頁面。
抓取份額的英文Google用的是crawl budget,直譯是爬行預算,我覺得不太能說明是什么意思,所以用抓取份額表達這個概念。

抓取需求

抓取需求,crawl demand,指的是搜索引擎“想”抓取特定網站多少頁面。
決定抓取需求的主要有兩個因素。一是頁面權重,網站上有多少頁面達到了基本頁面權重,搜索引擎就想抓取多少頁面。二是索引庫里頁面是否太久沒更新了。說到底還是頁面權重,權重高的頁面就不會太久不更新。
頁面權重和網站權重又是息息相關的,提高網站權重,就能使搜索引擎愿意多抓取頁面。

抓取速度限制

搜索引擎蜘蛛不會為了抓取更多頁面,把人家網站服務器拖垮,所以對某個網站都會設定一個抓取速度的上限,crawl rate limit,也就是服務器能承受的上限,在這個速度限制內,蜘蛛抓取不會拖慢服務器、影響用戶訪問。
服務器反應速度夠快,這個速度限制就上調一點,抓取加快,服務器反應速度下降,速度限制跟著下降,抓取減慢,甚至停止抓取。
所以,抓取速度限制是搜索引擎“能”抓取的頁面數。
 

抓取份額是由什么決定的?

抓取份額是考慮抓取需求和抓取速度限制兩者之后的結果,也就是搜索引擎“想”抓,同時又“能”抓的頁面數。
網站權重高,頁面內容質量高,頁面夠多,服務器速度夠快,抓取份額就大。

怎樣節省抓取份額?

當然首先是降低頁面文件大小,提高服務器速度,優化數據庫,降低抓取時間。
然后,盡量避免上面列出的浪費抓取份額的東西。有的是內容質量問題,有的是網站結構問題,如果是結構問題,最簡單的辦法是robots文件禁止抓取,但多少會浪費些頁面權重,因為權重只進不出。
某些情況下使用鏈接nofollow屬性可以節省抓取份額。小網站,由于抓取份額用不完,加nofollow是沒有意義的。大網站,nofollow是可以在一定程度上控制權重流動和分配的,精心設計的nofollow會使無意義頁面權重降低,提升重要頁面權重。搜索引擎抓取時會使用一個URL抓取列表,里面待抓URL是按頁面權重排序的,重要頁面權重提升,會先被抓取,無意義頁面權重可能低到搜索引擎不想抓取。
 
鏈接加nofollow不會浪費抓取份額。但在Google是會浪費權重的。
noindex標簽不能節省抓取份額。搜索引擎要知道頁面上有noindex標簽,就得先抓取這個頁面,所以并不節省抓取份額。
canonical標簽有時候能節省一點抓取份額。和noindex標簽一樣,搜索引擎要知道頁面上有canonical標簽,就得先抓取這個頁面,所以并不直接節省抓取份額。但有canonical標簽的頁面被抓取頻率經常會降低,所以會節省一點抓取份額。
抓取速度和抓取份額不是排名因素。但沒被抓取的頁面也談不上排名。

浪費抓取份額的典型頁面有:

大量過濾篩選頁面。這一點,幾年前關于無效URL爬行索引的帖子里有詳細討論。 
站內復制內容
低質、垃圾內容
日歷之類的無限個頁面
 
 


原標題:如何節省搜索引擎蜘蛛的抓取份額?(增加網站曝光率)

tag標簽: 百度搜索引擎 提高網站收錄

搜索
網站分類
tag標簽
?

15361814538

需要搜索引擎優化服務,請聯系客服:

微信二維碼

添加QQ,提升網站排名:加好友

吉林快三下载安装官网 多乐彩开奖结果查询 江西 山西快乐10分一点技巧没有吗 急速赛车开奖查询 什么是资产配置 青海十一选五中奖规则 秒速赛车是国家开奖吗 中原风采22选开奖今天 九鼎配资 辽宁11选五前三组走势图 舟山体彩飞鱼开奖结果查询 福彩30选5走势图 河南22选5一等奖多少钱 北京pk10软件是多少 快三历史开奖查询江西 股票怎么玩新手入门 内蒙古11选五任三最大遗漏