高吸引力网站要具备什么条件？_博纳网络深圳网站建设公司

当前位置：

发布时间：2018-11-23

文章编辑：网站建设文章来源：推广帮助浏览量：次

Robots协议是放在根目录下的个协议．也是蜘蛛爬行网站的时候需要访问的第个文件．通过解读Robots文件的策略，蜘蛛可以知道哪些页面可以爬行，哪些不可以爬行。一般来说，网站都是可以开发给蜘蛛来抓取的，某些不允许抓取的页面或者频道，只需要在Robots里面设定Disallow（禁止抓取的命令）就可以。但是在实际运营中，可能面临更复杂的情况，比如整站已经在HTTPS下，但是部分页面需要蜘蛛爬行，怎么办？深圳网站建设推广公司有以下几个解决办法。

(1)复制一份到HTTP下。

(2)使用user-agent判断来访者，将蜘蛛引导到HTTP页面。

关于Robots文件，详细说明如下。

(1)特定页面已经不需要蜘蛛抓取，可以进行Disallow
(2)某类集中的页面具有共同的URL参数，可以实现批量禁止抓取功能。在操作批量禁止的时候，需要避免误伤，即具有同样URL特征的功能可能并不在禁止的目的之内，无意中被禁止了。

关于同类特征的URL的个特殊应用就是批量禁止动态URL的抓取。比如一个动态发布内容的网站，初始页面都是动态页面，从SEO角度考虑，这些动态页面全部批量生成了对应的静态页面，如下。

http://www.abc.com/?id:l

http:／／www.abc. cornr?id:2
.....................

（已经批量生成了如下）

http:／／wwabc. com／l.html

http:／／www abc. conl/2.html

如果同时被蜘蛛抓取了动态页面和对应的静态页面，那么网站就存在大量的重复页面，对SEO是不好的。可以通过Robots功能，统一禁止动态URL的抓取，比如在Robots文件里写如下内容。

Disallow：／*？*

在抓取方面，蜘蛛会依据实际情况调整对网站的抓取频次，即分配抓取定额，每天定量抓取网站内容，“定量”这个词意味着是有限的。一个大门户网站如果一次性提交10万条URL，并不意味着蜘蛛会很快把10万条数据抓取回去，因此，必须有耐心跟踪搜索蜘蛛在网站每天的爬行和收录情况。好了，网站建设公司关于Robots协议对网站推广的重要性就分享到这里，谢谢关注。博纳网络编辑整理。

当前文章链接：/promotion/tgbz/1782.html

上一篇：网站推广方法之“口碑推广法” 下一篇：网站推广知识之为什么您的网站需要优化？

返回列表