练习爬虫的时候遇到的坑

查看 76|回复 3
作者:milu1123   
各位大大,我在用52练习爬虫的时候,
爬出的帖子标题不跟着更新,我这是哪里写出错了吗???
[Asm] 纯文本查看 复制代码import requests
from lxml import etree
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'}
url = 'https://www.52pojie.cn/forum.php?mod=guide&view=newthread'
resp = requests.get(url,headers=head)
resp.encoding=resp.apparent_encoding
e = etree.HTML(resp.text)
names = e.xpath('//*[@id="threadlist"]/div[2]/table/tbody/tr/th/a[1]/text()')
print(names)

爬虫, 这是

T4DNA   

带上cookies,不带cookies 52的更新会更慢
[i]
善良的果仁   

很简单,登录跟未登录不一样。
[i]
[i]
[i]
善良的果仁   

你爬虫程序没有携带登录信息,有用的话帮忙评个分,给个热心值
您需要登录后才可以回帖 登录 | 立即注册

返回顶部