谷云秒收录

首页 > 秒收录 > 文章资讯

什么是搜索引擎蜘蛛和机器人?

在了解搜索引擎的蜘蛛之前,让我们回顾一下什么是互联网。通俗地说,可以理解为互联网就像一个非常大的蜘蛛网。但是,搜索引擎是如何在互联网上发现并收集上亿个网页的呢:这就是我们今天要介绍的,搜索引擎蜘蛛或机器人(网络爬虫)。当你看一些SEO文章或者教程的时候,你会经常发现我们做SEO是为了解释和带领蜘蛛,所以就是这个意思。

我们来看看搜索引擎蜘蛛的字面意思:

搜索引擎蜘蛛是一个自动提取网页的程序。它从互联网上为搜索引擎下载网页,是搜索引擎的重要组成部分。传统爬虫从一个或几个初始网页的网址开始,获取初始网页上的网址。在抓取网页的过程中,他们不断从当前网页中提取新的网址,并将其放入队列中,直到满足系统的某些停止条件。搜索引擎蜘蛛抓取的网页将被系统存储、分析、过滤和索引,供以后查询和检索。

中国常见搜索引擎蜘蛛名称:

谷歌蜘蛛:谷歌机器人。

百度蜘蛛:百度蜘蛛。

雅虎蜘蛛:思乐普

搜搜蜘蛛:搜搜蜘蛛。

Msn spider: msnbot。

有句话说:YodaoBot和OutfoxBot。

搜狗蜘蛛:搜狗蜘蛛。