首页 > 网站建设 >

网站建设制作开发时避免蜘蛛陷阱:不利于搜索引擎抓取和蜘蛛爬行的技术,蜘蛛陷阱

发布时间:2017-07-04 作者:博纳网络

 网站建设制作开发时避免蜘蛛陷阱:不利于搜索引擎抓取和蜘蛛爬行的技术,蜘蛛陷阱。

1.整站首页是大的flash文件,首页前放一个flash动画片头,搜索引擎索引不出任何文字信息,无从判断相关性;

首页放flash动画片头(flash intro),搜索引擎不能读取flash,也无法从flash intro跟踪到html版本页面;

首页中小flash和图片一样,只是代码的一小部分,所以对搜索引擎抓取和收录没有影响;

SWFObject和sIFR技术可以使flash文件更易于被搜索引擎读取;


整站千万不可以是一个大的flash,如果这个效果是必需的,至少也应该在flash文件之外的html代码中加一个通往html版本的链接,搜索引擎跟踪这个链接就可以抓取到后面html页面;

2.session ID(会话ID),每个用户访问网站时都会产生独特唯一的session ID加在URL中。蜘蛛每一次访问也会被当成一个新的用户,每次访问时所得到同一个页面的URL将不一样,这也是最常见的蜘蛛陷阱;

搜索引擎会判断字符串是session ID还是正常参数,判断出来会去掉session ID收录URL。但也经常判断不出来,要么不愿意收录,因为收录多个带有不同session ID内容却一样的URL,会形成大量复制内容;

建议跟踪用户使用cookies不要生成session ID。或者程序判断是蜘蛛还是用户,如果是蜘蛛则不生成session ID;

3.除了301转向以外,搜索引擎对其他形式的跳转都很敏感,如302跳转、java跳转、flash跳转、meta refresh跳转;除非万不得已,尽量不要用301以外的跳转;

有些网站用户访问首页时会被自动转向某个目录下的页面,如果有依据转至合适目录页还好。如果看不出任何理由和目的的跳转,最好避免;

301转向是搜索引擎推荐的、用于网址更改的转向,转移页面权重。其他转向均对蜘蛛爬行不利,涉及到seo黑帽;

4.框架结构:如果你不知道什么是框架结构,那你已经避免了蜘蛛陷阱,如果在网站设计中还是用框架结构应立即取消 ;

网站诞生初期流行,因为网站页面更新维护有一定方便性。但不利于搜索引擎抓取。只能抓取包含调用其他html的代码,并不包含任何文字信息,蜘蛛跟踪其他html文件也经常是不完整的页面,例如没有导航只有正文;

5.动态URL:数据库驱动的网站生成的带有问号、等号及参数的网址。不利于蜘蛛爬行尽量避免使用;

6.不要用java脚本生成导航系统,这是严重的蜘蛛陷阱之一。(尝试解决、困难、简单容易)

有些搜索引擎可以获得java脚本中包含的链接,甚至执行脚本并跟踪,但对低权重的网站,搜索引擎觉得没必要不会去做。网站上的链接必须使用最简单标准的html,尤其是是导航系统,导航的视觉效果可以用css做;

Java在seo中的特殊用途,针对不希望被收录的页面,可以用java阻挡蜘蛛爬行;

7.要求登陆:登陆后才可以查看,需要慎用,蜘蛛无法注册;

8.强制使用cookies,用户浏览器没有启用cookies,页面显示不正常。而蜘蛛相当于一个禁用cookies的浏览器;深圳网站建设公司博纳网络编辑整理了。

文章标题:网站建设制作开发时避免蜘蛛陷阱:不利于搜索引擎抓取和蜘蛛爬行的技术,蜘蛛陷阱
本文地址:https://www.198bona.com/news/600.html
如果您觉得案例还不错请帮忙分享:

网站建设

网络推广

解决方案

域名主机

建站行业资讯