网站制作robots.txt作用
1.可以让蜘蛛更高效地爬行网站
2.可以阻止蜘蛛爬行动态页面，从而解决重复收录的问题
3.可以减少蜘蛛爬行无效页面，节省服务器带宽
4.可以搜索引擎收录一些隐私页面或者临时页面
 
网站制作创建Robots.txt注意点
1.必须是txt结尾的纯文本文件
2.文件名所有字母必须小写
3.文件必须放在网站的根目录下
4.文件内的冒号必须是英文状态的半角  
网站制作robots,Uesr-agent
用于描述搜索引擎蜘蛛的名字
例：描述所有蜘蛛
Uesr-agent:*   (描述所有蜘蛛)
Uesr-agent: Baiduspider

百度  Badiduspider
谷歌  Googlebot
搜狗  Sougou web spider
好搜  360Spider
MSN  MSNBot
有道  YoudaoBot
宜搜  EasouSpider  
网站制作robots,Disallow
用于描述不允许搜索引擎的蜘蛛和爬行的url
使用技巧
1.在Robots.txt中至少有一条disallow
2.Disallow后面为空时，则表示所有页面允许被抓取
3.使用disallow每个目录必须单独分开声明
4.Disallow: /abc/   和disallow:/abc  区别
 
Disallow: /abc/1.html 允许被抓取
Disallow: /abc/new/1.html 不允许被抓取
Disallow: /abc   表示此目录下所有都不被抓取
 
网站制作robots,Allow
用于描述允许搜索引擎的蜘蛛和爬行的url
使用技巧
搜索引擎默认所有的是allow
Allow: /
 
网站制作robots,Sitemap
向搜索引擎提交网站地图，增加网站收录
1.地图类型推荐xml或者txt。不推荐.xml.gz或者.html
2.地图的路径绝对路径
3.注意网址的大小写
 
网站制作robots,$匹配行结束符
指定蜘蛛禁止抓取jpg类型
Disallow: /*.jpg$
禁止所有的htm页面，单不禁止html页面
Disallow: /*.htm$
 
网站制作robots,* 匹配0或者多个字符
禁止蜘蛛访问动态的url
Disallow: /*?*
禁止蜘蛛爬行abc开头的目录
Disallow: /abc*
 
网站制作Robots.txt写法，相信大家都没问题了，如果有疑问可以拨打成都网站制作龙兵科技官网电话进行咨询。