Yoo趣儿

Yoo趣儿 › 探索分享 › 问与答 › google 爬虫太疯狂了，屏蔽它又没排名，放开又被爬死， ...

google 爬虫太疯狂了，屏蔽它又没排名，放开又被爬死，还不能控制它的爬取频率，怎么办？

查看 115|回复 8
作者：herozzm   
google 爬虫爬起来真的就是 cc 攻击，以前的 google 的站长后台可以控制爬取频率，被下了，真是无语，在服务端 nginx 控制频率不理想，因为限制了 google 爬虫的频率，大部分时候是返回 502 ，google 站长后台就一直提示 502 ，不给排名
qqjt   
怎么能被 bot 爬死啊，这体量羡慕了
dzdh   
同问。啥体量能让 bot 爬死。啥服务器配置啊。
potatowish   
字节的 bot 才叫疯狂
daohanghao   
我都多来爬一下，你倒好，不需要。。。
herozzm
OP
  
@qqjt
@dzdh
数据是即时的，爬虫真的很疯狂，每秒估计有上百的并发
herozzm
OP
  
@potatowish 字节的反而不咋地，一天 10 个以内，流量根本没有
darkengine   
谷歌一秒上百次的爬？什么站这么牛啊 。。。
herozzm
OP
  
@darkengine 不是一个站，是几个站放在一台服务器，每个站 10 个左右，加起来的并发，他们共用 cpu 资源
返回列表
您需要登录后才可以回帖 登录 | 立即注册

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

公告

标签|小黑屋|Yoo趣儿

GMT+8, 2025-2-16 22:26 , Processed in 0.011384 second(s), 12 queries , Gzip On, MemCached On.

Powered by Discuz! X3.2

The happiest thing in the world is to strive for an ideal.

返回顶部