Robots.txt文件的基本用法大家都知道但高级用法很多人不了解。高级用法包括以下几个。第一是使用通配符User-agent后面的Disallow和Allow可以使用通配符来匹配一类URL。比如Disallow: /*.pdf$可以禁止抓取所有PDF文件。第二是针对不同的搜索引擎设置不同的规则。比如可以对Googlebot和Baiduspider设置不同的抓取规则。第三是使用Crawl-delay指令控制爬虫的抓取频率避免爬虫抓取太快影响服务器性能。但要注意不是所有搜索引擎都支持这个指令。第四是在robots文件中添加sitemap的URL告诉搜索引擎sitemap的位置。第五是使用robots meta标签对单个页面进行更精细的控制。比如noindex标签可以阻止页面被索引nofollow标签可以阻止页面上的链接被跟踪。robots文件要放在网站的根目录下文件名必须是小写的robots.txt。 转化率优化