要想建设出一个优秀的网站，掌握不同的建网站知识是必不可少的。ROBOTS文件作为网站文件类型的其中一种，它主要用于搜索引擎抓取限制的设定，通过创建纯文本文件robots.txt，可让网站的部分或全部内容不被不让搜索引擎收录。那么除了有这样的好处以外，还有什么好处呢？
一、可提高访问速度
由于搜索引擎在进行抓取时会耗费服务器带宽，如果网站页面过多，那么就会导致网站的加载速度变慢，从而会影响爬虫的抓取以及用户的浏览。如果您通过添加Robots文件来设置一些不那么重要的页面，那么就可以提高蜘蛛抓取的效率，同时也可以节省更多的带宽，提高访问速度。
二、提高收录效果
每个网站都有重点页面和非重点页面，如果对于非重点页面通过Robots.txt来进行设置，那么就可以让蜘蛛爬行把重点放在重点页面的抓取上，从而让这些重点页面得到更多的权重，对网站的友好度也会有所提高。另外在进行建网站时，可能会产生一些临时页面，而如果没有对这些临时页面配置Robots.txt文件的话，搜索引擎可能也会抓取这些临时页面，影响对重点页面的抓取。
三、节省文件提交时间
在建网站时如果将网站地图链接放在Robots.txt文件里，那么就可以节省去各大搜索引擎提交sitemap文件的时间了。因为各大搜索引擎都有多网站地图的支持方式，在Robots.txt文件里直接添加包括sitemap文件的链接即可。
如果您想了解更多自己建网站的相关知识，那么上述与Robots.txt文件相关的知识您可以了解一下。