分享好友 资讯首页 资讯分类 切换频道

我来分享: SEOer不得不知的蜘蛛陷阱

2017-09-12 01:34670非凡发发网互联网
 说到蜘蛛陷阱,可能很多SEO新手都没有听过,什么是蜘蛛?蜘蛛陷阱是阻止蜘蛛爬行网站的障碍物或者说是干扰物,很多蜘蛛陷阱是人为的,也有很多是不小心造成的,既然是蜘蛛陷阱那就是对于蜘蛛的陷阱,对用户是没有影响的,所以可能网页界面看起来非常正常,但里面就有可能存在蜘蛛陷阱。如果消除这些蜘蛛陷阱,可以使蜘蛛更好的在网站内部爬行抓取,现在就来看一下一些SEOer不得不知的蜘蛛陷阱!

  1. Flash动画
  有的朋友会问,为什么Flash是蜘蛛陷阱的一种,其实这个问题很简单,就是因为蜘蛛识别不了Flash,很多网站喜欢在首页做一个Flash动画然后再跳向HTML页面,用户可以访问网站看完片头后被转向得真正的HTML网页。但搜索引擎蜘蛛呢?蜘蛛是不能通过这个Flash跟踪到HTML版本页面的。这就是一个陷阱,阻挡了蜘蛛继续抓取网站。如果Flash效果是必需的,木木seo建议在首页Flash文件之外加上一个通往HTML版本的链接,这样蜘蛛可以跟踪这个链接抓取后面得HTML页面。
  2. JS链接
  Javascript可以创造出很多吸引人得视觉效果,有些网站喜欢使用Javascript脚本生成导航系统。这也是比较严重得蜘蛛陷阱之一。蜘蛛对于js也是识别不了的,对于js特效可以加入网站,也可以将不需要被抓取的链接放入js,但是需要进行爬行抓取的链接一定不能放入JS,这会造成蜘蛛不能继续爬行,同时js也不要太多,可以专门建一个js文件。
  3. 动态URL
  我们说现在蜘蛛是可以抓取部分URL链接的,但是动态URL是数据库直接生成的,有的带了问号、等号等多个参数。这类网址不仅不利于搜索引擎蜘蛛爬行,而且还可能造成蜘蛛的死循环,这是一个致命的蜘蛛陷阱。所以大多数情况都是建议大家网址静态化。
  4. Session ID
  有些网站为了跟踪用户访问使用Session ID,每个用户访问网站时都会生成独特唯一得Session ID,也即ID。这个ID都是加在URL中,搜索引擎蜘蛛的每一次访问也会被当成一个新得用户在URL中会加上一个不同的ID,这样蜘蛛每次来访问时所得到的同一个页面会是一个不一样的URL。结果就很明显,这样一来会产生复制内容页面,造成了高度重复的内容页。
  5. frame框架
  框架结构对蜘蛛来说和Flash、js一样都是一道墙,框架结构也会阻碍搜索引擎蜘蛛的爬行和抓取,让蜘蛛掉进陷阱。
  6. 要求登录
  这个是很常见的,有些网站内容放在需要用户登录之后才能看到得到,设置有的整个网站只能登陆进入后才能看,这对于用户当然没什么,而对于蜘蛛就造成陷阱,为什么?因为蜘蛛不能填写用户名、密码、也不会注册,自然而然,蜘蛛不能进来抓取你的内容,所以除非是VIP内容或者是不需要蜘蛛抓取的内容,其它的应该对蜘蛛公开,这样才能抓取。
  7. 强制使用cookies
  有些网站为了实现某种功能、如记住用户登录信息、跟踪用户访问路径等、强制用户使用cookies、用户浏览器如果没有启用cookies、页面显示不正常。搜索引擎蜘蛛就相当于一个禁用cookies得浏览器、强制使用cookies只能造成搜索引擎蜘蛛无法正常访问
  8.各种跳转
  目前比较建议的网站跳转就是301、302重定向,而其它跳转,蜘蛛是非常的敏感。因为黑帽最喜欢用跳转这种手段了,黑了别人的网站,然后在别人的网站上挂上一个指向自己网站的跳转。像js跳转、代码跳转等都不建议大家随便用,特别是如果在做404页面一定要用代码跳转,那建议时间在5秒以上
  9.网站链接结构
  对于蜘蛛而言,我们主要说的就是网站的链接结构,其实网站的链接结构就等于一个房子,链接就是门,而蜘蛛就是我们邀请而来的朋友,网站链接结构槽糕混乱就相当于朋友来到你家后根本就分不清楚东南西北,找不到入口出口。连对应的链接都找不到,蜘蛛怎么进行抓爬?所以链接结构还是需要呈扁平树状结构。
收藏 0
打赏 0
评论 0
站长基础交流之商城网站如何做才能吸引客户
随着互联网时代的到来,很有热爱逛街的人们,已经放弃了到实体店进行购物,开始了他们非同寻常的购物体验,每天在各种购物商城上

0评论2017-12-203993

站长基础交流之网站运营技巧之如何吸引目标客户
很多处于创业初期的企业都会在网站运营时遇到许多问题,最重要的问题之一就是构建企业品牌知名度,而想要出名那就需要在市场中混

0评论2017-12-203966

站长基础交流之 网站关键词排名不上去的原因
1、网站方向定位问题。建设网站之前,首先要了解用户人群以及自己能够提供的服务,同时结合行业特点定制适合自己风格的网站类型; 

0评论2017-12-204047

站长基础交流之研究关键词的意义
研究关键词的意义主要在于以下几个方面:  一、保证关键词是有人搜索的  做SEO优化,其中最重要的就是选择适当的关键词,选

0评论2017-12-203903

站长基础交流之网站无效页面的表现形式
网站中哪些页面被称为无效页面?  一般来说,无效页面对用户来说,就是没有价值的页面,其主要特征为:  1、对搜素引擎来说没

0评论2017-12-204017

站长基础交流之如何识别网站的seo优化效果?
一、主要关键词排名,是否进首页。体现优化的精度。一般做好这个方面,是一个网站的优化的主要标准。  二、多少关键词进排名。

0评论2017-12-203999

站长经验说说之网站优化的时间怎么算的?
百度SEO优化关键词分为冷门关键词、一般关键词、一般偏热门关键词和热门关键词、超级热门。关键词竞争度越大排名到首页的时间越

0评论2017-12-20984

站长基础交流之网站排名助手优化网站结构
网站结构优化注意事项  1、为了减少链接深度,首页和频道页堆砌上千条链接地址,这种情况对于前期网站权重不是很高的前提下基

0评论2017-12-201061

站长基础交流之 三方面告诉你做网站seo有多重要
无论是哪种企业,做网站为的就是希望通过互联网来企业带来更大的利益,seo作为一条比较有效且有价值的营销手段,深受一些企业老

0评论2017-12-20987

站长基础交流之浅谈SEO站内优化的5点技巧
SEO是指通过对网站进行站内优化和站外优化,从而提高网站的关键词排名以及公司产品的曝光度。而今天,我们就一起来学习一下如何

0评论2017-12-20937