#2 Google Chrome 浏览器的“改善搜索和浏览体验”选项默认开启，即大部分没有修改过默认设置的浏览器就是 Google 的爬虫。 这就是为什么一些极小众的或者是需要鉴权才能访问的网站，Google 搜索也能索引到的原因。
@gentrydeng 来源请求这些 Chrome 收集的 URL 数据被用于 Google Search 的爬虫 按照隐私政策 https://support.google.com/chrome/answer/13730681 “Make searches and browsing better / Sends URLs of pages you visit to Google” 主要是是用于展示一些 page insights, safe browsing 之类的，并未提到数据会用于 Search
