Yoo趣儿

Yoo趣儿 › Geek › 站长 › FacebookBot不遵守robuts协议

FacebookBot不遵守robuts协议

查看 22|回复 0
作者：石头   
robuts.txt已经禁止爬取了，还天天爬，这FacebookBot是真的非死不可么？有什么办法阻止爬取

协议, 有什么办法

相关帖子

返回列表
您需要登录后才可以回帖 登录 | 立即注册

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

公告

标签|小黑屋|Yoo趣儿

GMT+8, 2025-2-8 02:57 , Processed in 0.174834 second(s), 9 queries , Gzip On, MemCached On.

Powered by Discuz! X3.2

The happiest thing in the world is to strive for an ideal.

返回顶部