robots.txt协议文件怎么写?

robots.txt协议介绍:obots协议,也称为爬虫协议、机器人协议等,其全称[...