网站只有2个目录A目录和B目录，这个时候生成了一个页面，给他的id是111，并且分配到A目录，这个时候https:/XXXX/A/111.html打开是正常的，百度蜘蛛过来抓取也是正常的；但是百度蜘蛛也顺道自己抓取了一个https:/XXXX/B/111.html，因为这个页面的id只分配到了A目录，百度蜘蛛如果抓取到B目录，B目录是没有这个id的，势必会导致百度蜘蛛过来抓取的B目录的111.html是404 如果再在A目录产生了一个页面id是222 百度蜘蛛会抓取https:/XXXX/A/222.html还有https:/XXXX/B/222.html（因为B目录没有id222,所以这个页面百度蜘蛛过来抓取是404） 类推就是产生了10个页面，蜘蛛会抓取20次，A目录抓取10次，B目录抓取10次， 但是在B目录的都是抓取的404. 这种有没有大佬可以解决的啊！ 目录, 蜘蛛
