黑帽SEO方法十六：蜘蛛陷阱

　　蜘蛛陷阱是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器再设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍。

　　如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。蜘蛛陷阱也是以前常常使用的黑帽方式之一，就是用一些动态网站代码中，写一个无限循环的页面，使得蜘蛛爬进来后在这个无穷循环中轮回收录，这样虽然会使得网站疾速进步排名，但也会随时给我们网站带来K站的影响，所以百恒网络建议大家最好不要使用。特别是搜索引擎频繁调整算法的时期。
 

　　在此百恒网络也简单为大家介绍几种易导致蜘蛛陷阱的建站技术：

　　1、Flash动画

　　有的网站喜欢在首页放一个Flash动画片头、用户访问网站看完片头后被转向到真正的HTML版本的文字网站首页。但搜索引擎不能读取Flash、一般也没办法从Flash Intro跟踪到HTML版本页面。如果Flash效果是必须得、至少也需要在首页加上一个通往HTML版本的链接。这个链接应该是在Flash文件之外的HTML代码中、搜索引擎跟踪这个链接可以抓取后面的HTML版本页面。
 

　　2、Session ID

　　有些网站使用Session ID跟踪用户访问、每个用户访问网站时都会生成独特唯一得Session ID、加在URL中。搜索引擎蜘蛛的每一次访问也会被当成一个新的用户、URL中会加上一个不同的Session ID，这样搜索引擎蜘蛛每次来访问时所得的同一个页面的URL将不一样、后面带着一个不一样的Session ID。这也是最常见的蜘蛛陷阱之一。这样就会产生了同一个页面但URL不同的情况，但这种方法会产生复制内容页面，造成了高度重复的内容页。
 

　　3、框架结构

　　对搜索引擎来说，访问一个使用框架的网址所抓取的HTML只包含其他HTML文件的代码，并不包含任何文字信息，搜索引擎根本无法判断这个网址的内容是什么。虽然蜘蛛可以跟踪框架中所调用的其他HTML文件，但是这些文件经常是不完整的页面，比如没有导航只是正文。搜索引擎也无法判断框架中的页面内容应该属于主框架，还是属于框架调用文件。
 

　　4、动态URL

　　动态URL指的数据库驱动的网址所生成的，带有问号、等号及参数的网址。一般来说动态URL不利于搜索引擎蜘蛛爬行，应该尽量避免。有的URL会造成蜘蛛的死循环。
 

　　5、JS链接

　　由于Javascript可以创造出很多吸引人的视觉效果，有些网址喜欢用Javascript脚本生成导航系统。这也比较严重的蜘蛛陷阱之一。虽然搜索引擎都在尝试解析JS脚本，不过我们不能寄希望于搜索引擎，自己去克服困难，而要让搜索引擎跟踪爬行链接的工作尽量简单容易。
 

　　6、要求登录

　　有些网站内容放在需要用户登录之后才能看到得会员区域，这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码、也不会注册。
 

　　7、强制使用Cooskies

　　有些网站为了实现某种功能，如记住用户登录信息，跟踪用户访问路径等，强制用户使用Cooskies，用户浏览器如果没有启动Cooskies，页面显示不正常。搜索引擎蜘蛛就相当于一个禁用Cookies的浏览器，强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。