robots.txt文件写法求教

查看 74|回复 5
作者:凯少已认证   
蜘蛛总是爬    域名/wp-content/themes/ceomax/nav_user.php
我文件robots.txt写上如下:
Disallow:/wp-content/themes/ceomax/nav_user.php
Disallow:/wp-content/themes*
Disallow:/wp-content/themes/ceomax/*
Disallow:/wp-content/themes/ceomax/nav_user.*
用百度抓取模拟总是200,请教怎么写

文件, 写法

小贝   
https://tool.ip138.com/robots/
凯少已认证
OP
  
小贝 发表于 2023-7-13 20:41
https://tool.ip138.com/robots/

试过了不行
颤抖的大白兔   
这个需要时间的,并不是你写了就立马生效。他下次读取了robots,才有可能不爬
含光   
之前抓取了
清风十月   
用GPT写不好吗,直接告诉他他直接帮你写出来了,看我签名!
您需要登录后才可以回帖 登录 | 立即注册

返回顶部