SEO基石知识(四)：了解搜索引擎爬虫及User agent

搜索引擎爬虫就是搜索引擎用来从互联网上下载内容的程序。这个程序会自动化全天候运行，用于抓取整个互联网上的信息。如果将互联网比作是一张网的话，那每一个网页即是这张网上的一个节点，而连接这每一个节点的路径即是网页之间的超链接。搜索引擎爬虫通过网页之间的超链接不断地去下载这些网页内容。

搜索引擎及主流AI工具的爬虫原则上只能抓取互联网上公开的内容且Robots协议所允许的内容。
如果网页上的内容需要登录后才能访问或者被robots禁止访问，搜索引擎爬虫可能依然会抓取，但一般情况是不支收录的，就算收录也会在一段时间后删除掉。

这段信息的含义是：Googlebot是Google的爬虫，版本号是2.1，后面还有一个链接，指向了Google爬虫的说明页面。通过User Agent，网站可以识别爬虫，决定是否允许它抓取网站内容。

搜索引擎为了更高效地抓取互联网上的内容，爬虫可能按平台、功能分为不同的类型。
对于搜索引擎的爬虫，按终端分类为PC端爬虫、移动端爬虫，按抓取文件的类型可分为主爬虫、图片爬虫、视频爬虫、新闻爬虫等。

在搜索引擎市场份额一文中，我们介绍了全球主流搜索引擎（ Google，Bing，YANDEX，Yahoo!，DuckDuckGo，Naver，CocCoc，Ecosia，seznam，Qwant ），下面是这搜索引擎爬虫对应User Agent信息.

不是传统的搜索引擎有自己强大的爬虫，为了更好的响应用户需求，目前主流生成式AI工具也有自己的爬虫，AI爬虫可以抓取互联网上公开数据用作问题答案的数据来源。与搜索引擎爬虫类似，它们也有自己独有的User Agent，如下所示：

因为搜索引擎爬虫是根据链接不断搜集要抓取的新网页，想要网页能被更快地抓取到可采取两种方法：一是在爬虫较活跃的网站添加你想要被抓取的网页链接，这样的链接越多，被搜索引擎爬虫搜集到你的网页URL的概率就会越大，也会越早发现你的网页，然后添加到后续抓取队列中，这通常也是网站优化初期发布外链的一个主要目的； 二是在谷歌站长管理工具（GSC）后台直接通过“URL Inspection”功能提交网页索引请求，可以加快网页的抓取与收录，但这种方式一般仅用于少量网页，对于网页量较大情况不太适用。

第二种是分别在不同的搜索引擎后台查看爬虫的抓取情况，比如在谷歌站长后台（GSC）就能很清晰地看到谷歌搜索引擎爬虫在网站上的抓取趋势、抓取数量、抓取状态及抓取页面分布等信息，如下图示。