众所周知，网站优化中的robots.txt文件是在学习了基本的seo之后编写的。作为蜘蛛抓取的第一个文件，如果我们对这些写作技巧不甚了解，则写作不够清晰，就像原始的好天气一样，只需单击“多云到多云”会让我们感到非常尴尬。这个robots.txt文件对我们的网站优化的作用不仅是允许或不允许蜘蛛抓取特定的链接和文件夹，所以我相信我们都知道怎么写，但我们也注意使用技巧。
一：robots的文件大小
网站根目录下作为是蜘蛛首先翻阅的文件，那文件大小需要把控一下，都知道蜘蛛爬取网站喜欢的不是代码，本来没什么，可是你再robot里面写了一大串各种各样的noffollow标签，很妨碍蜘蛛的爬取速度，反而还影响了蜘蛛抓取你网站的爬行速度，所以对我们禁止的noffollow尽量的合理使用。
二：robots中Disallow和Allow先后顺序
robots.txt中Disallow和Allow的先后顺序设置是有先来后到一个说法，蜘蛛爬行我们的文件第一个匹配成功的Disallow和Allow来确定首先访问的是那个url地址。
三：robots.txt写法
设置robots.txt写法的时候//与/两个是核心的一部分，也是我们seo熟知，这里还是讲一下吧，虽然熟知，但是在写法上面稍微不注意少写一个符号那就等于白写了这一条;
写法有以下几种：
Disallow:/asd/(是禁止抓取此文件夹里的所以东西)
Allow: /asd/far(是允许抓取该目录的"far"文件夹)
Disallow: /cgi-bin/*.html(禁止抓取/cgi-bin/目录下的所有以".html"格式的网页(包含子目录))
Disallow: /*?*(是阻止访问网站中所有带有?的动态网址页面)
Allow: .gif$与Disallow: .jpg$(只能抓取gif格式的图片和网页，其他格式的图片被禁止)
四：利用robots里通配符写法贴合蜘蛛喜好
是设置robots里通配符的写法“*”和“$”，其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。贴合蜘蛛喜好来写通配符对于我们网站优化是重点，蜘蛛在抓取我们网站有些东西他们不认识，想要蜘蛛更喜欢我们网站还是的需要我们进行一些摒弃，使用以上通配符来投其所好。
五：使用robots.txt吸引蜘蛛抓取
蜘蛛在打开我们robots，Allow这个代码的运用是很重要的一步，蜘蛛匹配到你想要抓取的某个页面，这里就是能让他开口吃食物的时候，让蜘蛛更快的爬到这样的一条信息他就会着重去抓取，这是一种协议，也是我们需要使用的技巧。
各位兄弟们想要禁止蜘蛛访问的一些内容，我们还是得确定一点，这个文档里面那些是我们该禁止的那些是有利于蜘蛛的，相反很多链接我们需要使用站长工具才能查都知道死链对于网站的危害，反之我们有些链接是对蜘蛛有益的，看到这是不是知道该怎么去处理这些链接呢?
作者：凯夜seo(QQ：577438643)
如需转载请注明出处
文章来源：未知 文章标题：利用[robots.txt]写法技巧吸引蜘蛛 本文地址：