搜索引擎蜘蛛抓取份额是什么意思

顾名思义，抓取份额是搜索引擎蜘蛛花在 个网站 的抓取页面的 的时间 。对于 定网站，搜索引擎蜘蛛花在这个网站 的 时间是相对固定的，不会 制地抓取网站所有页面。
抓取份额的英文Google用的是crawl budget，直译是爬行预算，我觉得不太能说明是什么意思，所以用抓取份额表达这个概念。

抓取需求
抓取需求，crawl demand，指的是搜索引擎“想”抓取 定网站多少页面。
决定抓取需求的主要有两个因素。 是页面权重，网站 有多少页面达到了基本页面权重，搜索引擎就想抓取多少页面。二是索引库里页面是否太久没 新了。说到底还是页面权重，权重 的页面就不会太久不 新。
页面权重和网站权重又是息息相关的，提 网站权重，就能使搜索引擎愿意多抓取页面。

抓取速度 制
搜索引擎蜘蛛不会为了抓取 多页面，把人家网站服务器拖垮，所以对某个网站都会设定 个抓取速度的 ，crawl rate limit，也就是服务器能承受的 ，在这个速度 制内，蜘蛛抓取不会拖慢服务器、影响用户访问。
服务器反应速度够快，这个速度 制就 调 点，抓取加快，服务器反应速度下降，速度 制跟着下降，抓取减慢，甚至停止抓取。
所以，抓取速度 制是搜索引擎“能”抓取的页面数。

抓取份额是由什么决定的?
抓取份额是考虑抓取需求和抓取速度 制两者之后的结果，也就是搜索引擎“想”抓，同时又“能”抓的页面数。
网站权重 ，页面内容质量 ，页面够多，服务器速度够快，抓取份额就大。
小网站没 要担心抓取份额
小网站页面数少，即使网站权重再低，服务器再慢，每天搜索引擎蜘蛛抓取的再少，通常至少也能抓个几 页，十几天怎么也 站抓取 遍了，所以几千个页面的网站根本不用担心抓取份额的事。数万个页面的网站 般也不是什么大事。每天几 个访问要是能拖慢服务器，SEO就不是主要需要考虑的事了。
大中型网站可能需要考虑抓取份额几十万页以 的大中型网站，可能要考虑抓取份额够不够的问题。
要想网站页面被及时、充分抓取，首先要保证服务器够快，页面够小。如果网站有海量 质量数据，抓取份额将受 于抓取速度，提 页面速度直接提 抓取速度 制，因而提 抓取份额。