网站及其小游戏的robots协议

Robots协议

robots 协议（也被称作 网络爬虫 相关 协议 以及 机器人 相关 协议 等） 的 全名 是 " 网络 爬虫 排除 准则 " （ robots exclusion protocol ）， 网站 利用 robots 协议 向 搜索 引擎 表明 可被 访问 的 网页 信息 以 及 不可 访问 的 内容 。

关键词意思：

User-agent: * 表示所有搜索引擎类型
Disallow: /ABC/ 定义上禁止爬取位于ABC目录下的子目录
Disallow:/ab/adc.html 完全禁止从ab文件夹中的adc.html文件进行抓取
Allow: /cgi-bin/ 该设置允许对cgi-bin目录及其子目录进行抓取
Allow:/tmp 完全允许对tmp目录内的所有资源进行抓取
Sitemap: 网站地图 提醒抓虫此页面为sitemap

robots 协议是网站为了保障自身安全与隐私而特意制定的一项规定,旨在防止搜索引擎获取敏感数据.该协议体现了互惠互利的原则,要求互联网企业严格遵守方能确保用户隐私不受侵犯. robots 协议作为维护网络信息安全的重要法规,其有效性毋庸置疑,它通过自我约束机制,实现了网站与搜索引擎之间的良性互动,从而实现双方利益的均衡发展.

文章目录

• 机器人协议
• 亚马逊（中国）
• 淘宝