新手小白 爬取小说

查看 54|回复 4
作者:Timothys   
[Python] 纯文本查看 复制代码import requests
from bs4 import BeautifulSoup
import time
import random
def fetch_and_write_content(url, file, max_retries=3):
    retry_count = 0
   
    while retry_count
目前存在问题:
1、爬取速度太慢,太快了被封IP,不知道怎么解决,所以加了暂停
2、这个网站貌似不支持搜索,所以固定了URL
3、第一次发帖,有问题请删贴

章节, 名称

vaycore   

封 IP 可以考虑加个代{过}{滤}理池,还有就是加个 User-Agent 列表,然后每次请求随机 User-Agent 值
liutao0474   


非常牛啊,感谢楼主

xiaoyingang   

感谢大佬
lishuichen   

有些网站会检测 封个十几分钟 去搞个爬取代{过}{滤}理的 做个池 封了换ip
您需要登录后才可以回帖 登录 | 立即注册

返回顶部