网站 化要减少 效URL的爬行和索引
2018/10/9 16:47:04来源：德道网络
：不想收录的URL保持为动态URL，甚至故意越动态越 ，以阻止被爬行和收录。但是，搜索引擎现在都能爬行、收录动态URL，而且技术 越来越不是问题。虽然参数多到 定程度确实不 于收录，但4、5个参数通常还可以收录。我们 法确认需要多少参数才能阻止收录，所以不能当作 个可靠的方法。而且这些URL接收内链，又没有什么排名能力，还是会浪费 定权重。
第二：robots禁止收录。同样，URL接收了内链也就接收了权重，robots文件禁止爬行这些URL，所以接收的权重不能传递出去，页面成为权重 进不出的黑洞。
连向这些URL的链接配合nofollow也不 ，和robots禁止类似，nofollow在Google的效果是这些URL没有接收权重，权重却也没有被分配到其它链接 ，所以权重同样浪费了。 度据称支持nofollow，但权重怎么处理未知。
将这些URL链接放在Flash、JS里也没有用，搜索引擎已 可以爬行Flash、JS里的链接，而且估计以后越来越擅长爬。很多SEO忽略了的 点是，JS中的链接不 能被爬，也能传递权重，和正常连接 样。
也可以将过滤条件链接做成AJAX形式，用户点击后不会访问 个新的URL，还是在 来URL ，URL后面加了#，不会被当成不同URL。和JS问题 样，搜索引擎正在积 尝试爬行、抓取AJAX里的内容，这个方法也不保险。