python使用grequests爬取豆瓣Top250

查看 98|回复 9
作者:大白baymax   
grequests是K神基于gevent+requests编写的一个并发发送请求的库,使用起来非常简单。语法和requests类似。使用这个
grequests可以节省不少的时间。
使用前需要安装grequests库,安装方法如下:
pip install
grequests
话不多说,直接上代码:
[Python] 纯文本查看 复制代码import grequests
import re
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"
}
for i in range(0,226,25):
    lists = grequests.get(f"https://movie.douban.com/top250?start={i}&filter=",headers=headers),
    re_m = grequests.map(lists)
    result = re_m[0].text
    every = re.findall("
[img][/img]
由于本人技术太菜,大神们轻喷。

豆瓣, 代码

ltgb   

运行结果
Traceback (most recent call last):
File "/data/user/0/coding.yu.pythoncompiler
.new/files/default.py", line 3, in
import grequests
ModuleNotFoundError: No module named 'greques
ts'
[Process completed (code 1)- press Enter]
sai609   

爬虫采集的目的是什么?
southerlywindly   

学习一下、
shiqiangge   

请教大神:可否用python爬喜马的全部音频?
大白baymax
OP
  


ltgb 发表于 2024-2-17 09:00
运行结果
Traceback (most recent call last):
File "/data/user/0/coding.yu.pythoncompiler

CMD中输入
pip install grequests
次谐波   

我估计,妥妥的触发反爬
大白baymax
OP
  


次谐波 发表于 2024-2-17 09:23
我估计,妥妥的触发反爬

测试过才敢贴代码,测试过再回复行嘛。
milu1123   

这个库不会用啊。突然接触这个库,感觉很难用
大白baymax
OP
  


milu1123 发表于 2024-2-17 10:28
这个库不会用啊。突然接触这个库,感觉很难用

语法和requests类似。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部