某网站小说爬取程序,多线程极速下载!

查看 114|回复 9
作者:pnnhnjh   
网站小说爬取程序,多线程极速下载,运行后打开网站,选取你喜欢的小说,打开小说的目录页面(
[color=]小说目录页
),复制网址(
[color=]如:https://www.88xiaoshuo.net/Partlist/291840/“)
后粘贴到输入提示窗口回车即可。
[color=]注:不输入任何内容直接回车则开始示例小说下载!
[color=]8月12日修复了原来章节内容应该分段而不分段的问题!!
[Python] 纯文本查看 复制代码import os
import re
import time
import requests
import threading
from queue import Queue
from lxml import etree
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
}
def get_chaptercontent(chapter_url, temp_file, queue, max_retries=5):
    # 发送请求获取章节内容
    retry_count = 0
    chaptercontent=''
    while retry_count

章节, 重试

pnnhnjh
OP
  


开创者 发表于 2024-8-10 14:14
好的,感谢分享,有后续功能没有?
比如我下了一部小说,没有更新完,再下就接着新更新的下载?

解决办法1、把089行的12改成"12+你已经下载的章节数量"就只下载后面的章节。解决方法2、重新下载,反正下载的速度足够快!
Asunaku   

谢谢分享
开创者   

这是又升级了一下吗?
DYBSL   

这还是要有书源吧
pnnhnjh
OP
  


开创者 发表于 2024-8-9 17:54
这是又升级了一下吗?

改成多线程下载,速度飞快,我这里一部2000多章的小说1分钟下载完!
pnnhnjh
OP
  


DYBSL 发表于 2024-8-9 18:58
这还是要有书源吧

限于指定的小说网站
开创者   


pnnhnjh 发表于 2024-8-10 10:02
改成多线程下载,速度飞快,我这里一部2000多章的小说1分钟下载完!

好的,感谢分享,有后续功能没有?
比如我下了一部小说,没有更新完,再下就接着新更新的下载?
zlp123   

下载速度很快,感谢楼主分享
luxingyu329   


开创者 发表于 2024-8-10 14:14
好的,感谢分享,有后续功能没有?
比如我下了一部小说,没有更新完,再下就接着新更新的下载?

这个可以
https://www.52pojie.cn/thread-1949702-1-1.html
您需要登录后才可以回帖 登录 | 立即注册

返回顶部