谷云秒收录

首页 > 秒收录 > 文章资讯

什么是机器人 怎么写?

知道了什么是搜索引擎蜘蛛之后,就应该知道robots.txt是什么了,因为搜索引擎蜘蛛是根据链接进行抓取的,有时候我也不想让搜索引擎蜘蛛去抓取和抓取,比如一个网站的后台文件。如果地址被抓取暴露,后果不是很严重吗:那么有没有什么规则或者文件限制搜索引擎蜘蛛呢:

什么是robots.txt:

当搜索引擎抓取到一个网站时,首先要检查的文件是robots.txt,看它是否存在。如果存在,网站的哪些文件不允许爬网。就像道路交通一样,有些道路是无法通行的。Robots.txt和交警一样,明确表示某条路无法通行。如果它不存在,网站的所有页面都可以被蜘蛛抓取和记录。

如何编写robots.txt

Robots.txt必须放在网站的根目录下,文件名必须全部小写。格式,例如:

用户代理: *

不允许:/管理员/后台管理文件。

不允许:/要求/程序文件。

不允许:/附件/附件。

不允许:/图像/图片。

不允许:/数据/数据库文件。

不允许:/模板/模板文件。

不允许: /css/样式表文件。

不允许: /lang/编码文件。

不允许:/脚本/脚本文件。

用户代理:遵循的规则。

不允许阻止:个网页。