前些年，网站制作行业的程序猿们一定有听说过robots协议，而且360与百度两竞价索引擎关于“robots”协议也一直存在争议，百度这边呢，指责360违反商业道德，不遵守“robots协议”，而360又觉得百度借助该协议作为不正当角逐的工具，想要垄断整个搜索引擎市场。那样到底robots协议功能是什么？有哪些功能？那就跟随吉林博久网络网站制作公司一块儿认识下吧！
第一，robots协议全名是Robots Exclusion Protocol，翻译过来是机器人排除协议，又称为爬虫协议、机器人协议，是指网站所有者通过一个置于网站根目录下的文本文件，即robots.txt，提示搜索引擎的互联网机器人什么网页不应被抓取，什么网页可以抓取。从本质上来讲，robots协议是受访网站与搜索引擎之间的一种交互方法。
假如把网站比作一个对公众开放的博物馆，robots协议就等于在博物馆入口处悬挂的提示牌，告知游客什么地区不对游客开放，如网站建设robots协议应该遵守么网站建设robots协议应该遵守么？目前链接：
