网站有十几万数据,不想被抓取

查看 74|回复 0
作者:小小布丁   
担心被采集,取消了穷举显示,随即显示部分,搜索才能看到全部,这样虽然防止被穷举采集,也影响了搜索抓取,百度取消了提交sitemap,有什么好办法

穷举, 十几

您需要登录后才可以回帖 登录 | 立即注册

返回顶部