SEO基础知识(五):屏蔽搜索引擎爬虫与限制搜索结果展示
在进行谷歌SEO优化的时,SEO不仅需要让有效页面能够被快速抓取与收录,很多时候也需要限制搜索引擎对某些页面的抓取或收录,或者需要移除搜索结果中的某个展示项。 这些情况一般包括: 1)一些企业私有数据,不想在搜索引擎中能被公开搜索 2)因URL参数或业务需求而产生的内容重复网页,不想要被搜索引擎抓取收录 3)正确建设中的网页,暂时不想被爬虫抓取 4)一些与SEO无关的垃圾页面,但抓取量很大的情况 5)某些搜索引擎或爬虫过度抓取网站内容,访问频率过高,导致服务器带宽压力过大的情况 6)搜索结果中有侵权、违法或其它不符合谷歌信息展示要求的相关内容的情况 下面分别对不同程度的搜索引擎爬虫及展示限制进行说明。 [...]











