PHP curl 无法获取到西瓜视频网页内容?

查看 94|回复 5
作者:bdcpc   
今天用curl爬西瓜视频网页内容,一直获取不到内容。添加了 请求头,还是不能获取,求解。。。。

内容, 西瓜

fei5788   

防爬虫机制:许多网站采取了防爬虫的措施,可能会检测到您的请求并拒绝提供内容。这些防爬虫机制可能包括验证码、请求频率限制等。您可以尝试模拟真实用户行为,例如添加随机的延迟时间、模拟浏览器标识等。
Cookie和会话:某些网站可能要求您提供有效的Cookie或会话信息才能正常访问页面内容。您可以使用Curl命令中的--cookie参数来添加Cookie,或者先通过登录获取有效的Cookie,然后在请求中包含它们。
JavaScript渲染:如果西瓜视频使用了JavaScript来渲染页面内容,而您的Curl请求只是简单地获取HTML源代码,那么您可能无法获得完整的页面内容。在这种情况下,您可以尝试使用带有JavaScript渲染功能的工具,如Puppeteer或Selenium。
玩名堂   

是不是你ip被封了,换个ip试试,我电脑上直接用curl是可以获取到的
bdcpc
OP
  


玩名堂 发表于 2023-6-25 15:30
是不是你ip被封了,换个ip试试,我电脑上直接用curl是可以获取到的

你看下获取到的是不是跳转后的源码
freelive   


bdcpc 发表于 2023-6-25 18:03
你看下获取到的是不是跳转后的源码

需要设置referer参数的值。
https://bbs.csdn.net/topics/392017794
bdcpc
OP
  


fei5788 发表于 2023-6-25 18:25
防爬虫机制:许多网站采取了防爬虫的措施,可能会检测到您的请求并拒绝提供内容。这些防爬虫机制可能包括验 ...

应该是你说的,就是不知道这么突破!
您需要登录后才可以回帖 登录 | 立即注册

返回顶部