能不能容robots单独屏蔽头条或者必应的蜘蛛?

查看 177|回复 12
作者:皮皮虾   
缪斯的情人   
可以啊,搜下他们的蜘蛛名称,然后屏蔽。。
只为书生   
User-agent: Bingbot
Disallow: /
User-agent:Bytespider
Disallow: /
User-agent: *
Disallow:
皮皮虾
OP
  
只为书生 发表于 2024-3-15 09:03
User-agent: Bingbot
Disallow: /
User-agent:Bytespider
Disallow: /
User-agent: *
Disallow:

最后一行后面要不要加个符号 /
旅游   
肯定是可以屏蔽的呀
只为书生   
皮皮虾 发表于 2024-3-15 09:15
最后一行后面要不要加个符号 /

不要加                  
散落漫天   
写了也不好使
胖子   
2楼老哥可以的
nixi2021   
肯定可以屏蔽的
辉煌   
可以的,用代码
您需要登录后才可以回帖 登录 | 立即注册

返回顶部