Yoo趣儿

Yoo趣儿 › 探索分享 › 分享创造 › 我把 AI 用到了爬虫上，做了一款工具

我把 AI 用到了爬虫上，做了一款工具

查看 522|回复 98
vita666   
@jerfoxu 有一些政府网站拦截了服务器 IP ，我们正在升级技术，马上就可以抓了。您可以在首页加入我们的服务群，版本更新后会第一时间在群里通知
xujinkai   
有点慢 不清楚你是如何实现的, 我最近在做一个产品其中的一个流程就是分析网页并抓取用户指定的信息,读取源码丢给大模型,通常网站也就是 2s 左右,非常复杂的也不超过 5s. 刚刚同样的网站在你这里处理了 3 分钟左右.
yaodd   
@Enivel 可以试试速度快的小模型, 在这种场景下表现都比较好了
dearmymy   
牛，我先试试看
yaodd   
@Enivel 速度我们还会继续优化 /抱拳/抱拳
lswlray   
收藏一下
zhangk23   
这个最大的风险是法律风险，一定要注意。
muguan   
如果能通过他访问被墙的网站，那你这相当于卖 vpn 了
YJi   


https://github.com/BlueFisher/SHU-selfreport/issues/100
muguan   
如果目标网站需要登录，或者加了 cloudflare turnstile 的话，能支持爬吗？
下一页 »
12345678910下一页
返回列表
您需要登录后才可以回帖 登录 | 立即注册

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

公告

标签|小黑屋|Yoo趣儿

GMT+8, 2026-1-26 13:16 , Processed in 0.011737 second(s), 10 queries , Gzip On, MemCached On.

Powered by Discuz! X3.2

The happiest thing in the world is to strive for an ideal.

返回顶部