搜索引擎蜘蛛是什么?优化教学分享
@
搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。$@
搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。$@
国内各大搜索引擎蜘蛛名称:$@
百度:百度spider$@
谷歌:googlebot$@
搜狗:sogou spider$@
搜搜:Sosospider$@
360搜索:360Spider$@
有道:YodaoBot$@
雅虎:Yahoo Slurp$@
必应:msnbot$@
Msn:msnbot$@
以上是常见的搜索引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。$
文章来源:未知
文章标题:搜索引擎蜘蛛是什么?优化教学分享
本文地址: