如何有效的屏蔽百度蜘蛛
@
很多时候,我们都不会去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的网站门户网,有登录页面或者是注册页面,还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成,那么重庆SEO就讲解哈屏蔽百度蜘蛛的具体方法。$@
一、robots协议$@
robots协议相信大家都不陌生,首先既然要用到robots协议,那么我们就要先创建一个记事本,把记事本重命名为robots,然后我们写下robots协议具体如下:$@
User-agent: BadBot$@
Disallow: /$@
然后保存后通过FTP工具上传到网站根目录即可。$@
二、robots Meta标签$@
robots Meta标签也可以屏蔽百度蜘蛛抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robots Meta用来对某几个页面单独设置时使用。其代码是写在“