搜索引擎蜘蛛的工作 理你知道吗
2018/7/7 9:25:40来源：德道网络
关键词+uRL的管理即不断 化关键词列表。关键词列表主要管理两个内容：关键词本身和目标页面URL。关键词和目标页面uRL 对应，为SEO的落地提供了切实可行的基础。URL可以理解为网络 每个文件的路径，我们打开 个网站页面，在浏览器地址栏看到的 长串字母就是 个URL，如http://www.abc.com/1.html。
随着网站业务的变化，关键词需要不断调整，已 不再关注的关键词需要从表格中删除，新增加的关键词需要补充到表格中。关键词对应的页面URL已 发生了变化的，需要单 新页面URL。关键词+排名的管理即定期 新关键词的排名 息，动态监控关键词的实际 化效果，为SEO工作的效果评估提供了切实的依据。
查看关键词的排名， 直接的办法就是在 度或者谷歌搜索这个词汇，然后手动翻阅查看并记录排名，如果目标页面排在搜索结果 个，那么排名就是l；如果目标结果排名第二个，那么排名结果就是2； 般来说，针对单个搜索词， 度提供760个搜索结果，如果目标页面在这760个结果里面都没有找到，那么就可以认为是没有排名。手动查询+记录这个办法很耗体力，如果管理很多关键词，这是不现实的。
市场 帮助提供关键词排名查询的工具不少， 需要输入关键词，工具会自动帮助你查询在几个搜索引擎中的排名情况。这种工具的 处是能减少部分人力，但是，对于批量的关键词查询问题，还是没有解决。 些公司自己开展了批量查询的工作，但是 常被搜索引擎发现，被当作Spam(搜索引擎垃圾技术)查询而被封IP。
不管怎样，每 个关键词排名的变动，随时都牵动SEO的神 。因此，SEO需要周期性地查看关键词的排名情况，以此来定位工作重点并检验SEO方案的效果。
在查看排名情况的时候， 常需要查看在每个搜索引擎的 排名和名次数据。
通过这些排名数据，可以看到SEO的实际效果，如果和竞争对手进行详细 较，就可以知道自己的弱点在哪里了。
收录的 个环节就是抓取。抓取的过程是搜索引擎应用程序去抓取网站的网页，这里负责搜索引擎抓取网页职能的程序俗称蜘蛛(Spider)，蜘蛛是 个形象的说法，因为互联网就是 张巨大的蜘蛛网，搜索引擎的程序通过网络不断地进行爬行和探索。每个互联网公司都有自己的抓取蜘蛛， 如 度蜘蛛(Baiduspider)、谷歌蜘蛛、搜狗蜘蛛等。
蜘蛛通过网站提交的Sitemap(网页地图)或者在互联网其他地方留下的页面URL 息，爬行到网站对应页面，然后沿着网站页面其他链接 层层往下爬行，发现 多的页面。
蜘蛛抓取网页是收录页面工作的 游，通过蜘蛛对网页的抓取，发现 多页面，同时知道哪些页面已 有了 新，从而实现对互联网页面的抓取和持续 新。
关于蜘蛛抓取系统的工作 理，可以参考 度蜘蛛抓取的说明。
简而言之，蜘蛛抓取系统 括链接存储系统、链接 取系统、DNS解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。Baiduspider通过这种系统的通力合作完成对互联网页面的抓取工作。