seo中影响各大搜索排名的robots如何把控？

     众所周知，各个搜索引擎，特别是百度那些，的机器蜘蛛爬虫是比较喜欢网站自身在自己的网站上提供robots文件，这样有利于节省蜘蛛爬虫的精力是有限的，这样相当于给予爬虫一个导航，让他更好的能够做好爬虫的工作。那什么是robots文件呢？首页网址后面加入“/robots.txt”，即可打开该网站的robots文件，可以将网站中有一些无关紧要的网页，如“给我留言”或“联系方式”等网页，他们并不参与SEO排名，只是为了给用户看，此时可以利用robots文件把他们屏蔽，即告诉搜索引擎不要抓取该页面。从而高效抓取我们需要的页面。对于中大型网站来说，robots文件尤为重要。

   那么robots文件的用法该如何呢？

   robots文件用法：

1.“user-agent：*disallow：/”

    意思表示“禁止所有搜索引擎访问网站的任何部分”，也就是说该网站在搜索引擎里没有记录，也就谈不上排名。

2.“user-agent：*disallow：”

     意思为“允许所有的robots访问”，即允许蜘蛛任意抓取并收录该网站。这里需要注意，前两条语法之间只相差一个“/”。

3.“user-agent：badbot disallow：/”

     意思为“禁止某个搜索引擎的访问”。

4.“user-agent：baiduspider disallow：user-agent：*disallow：/”

      意思为“允许某个搜索引擎的访问”。这里面的“baiduspider”是百度蜘蛛的名称，这条语法即是允许百度抓取该网站，而不允许其他搜索引擎抓取。

robots文件用法案例：

      比如网站改版，就会出现大量404页面、很多死链接，而这些链接以前已经被百度收录，但网站更换后蜘蛛再过来发现这些页面都不存在了，这就会留下很不好的印象。此时可以利用robots文件把死链接全部屏蔽，不让百度访问这些已不存在的页面即可。

robots文件运用注意事项：

      robots文件名必须是robots.txt，其后缀是txt并且是小写的，不可以随便更改，否则搜索引擎识别不了。然后打开该文件，可以直接复制粘贴别人的格式，Robots文件格式是一条命令一行，下一条命令必须换行。还有，“disallow： ”后面必须有一个空格，这是规范写法。

      虽然这几年据说，在360推出搜索业务一年之后，3B大战再次爆发，百度创造性的使用Robots协议白名单禁止360抓取百度百科、百度贴吧和百度知道的内容，并起诉360不遵守Robots协议，但在协议中谷歌、Bing、搜狗和搜搜等搜索引擎还可以自由抓取相关内容。

       百度通过白名单、黑名单的机制，限制360搜索引擎索引其内容，而允许其他搜索引擎索引其内容，既不公平，也违背了Robots协议的初衷，更违背了互联网开放、分享的精神。任其滥用，必将造成行业竞争壁垒，导致搜索引擎信息呈现达不到尽可能完整的目的，阻碍搜索市场的信息自由，损害网民利益。但是百度的robots还是很喜欢的。所以这项工作我们作为seo优化人员应该把它做好。