最详细的robots文件的写法解析（符合搜索需求）

一、robots.txt文件它的作用是什么，为什么要写？

robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候，它首先会检查网站是否存在robots.txt，如果有则会根据文件命令访问有权限的文件。

每个网站需要根据自身的要求写好robots.txt文件，robots.txt文件长什么样子？我们可以看看几个网站的robots.txt文件。