Yoo趣儿

Yoo趣儿 › 探索分享 › 问与答 › Best Instagrammer

Best Instagrammer

查看 21|回复 0
作者：zou8944   
最近在抓取 Instagram 数据，基本需求是：寻找一些指定国家、指定类别的用户。
研究了 Instagram ，功能如下
  • 部分支持直接搜索，比如搜索 usa makeup ，能够直接出来一批帖子
  • 支持搜索标签，跳转到标签页。但不支持同时搜索多个标签
  • 支持搜索地点，但在地点中不支持进一步搜索定制

    结合我的需求，其限制如下
  • 直接搜索出来的比较随机，有些关键词无法搜出帖子，因此这是一个不稳定的功能
  • 不支持多维度搜索，即指定多个标签、同时指定标签和帖子等

    于是要实现我的需求，比较靠谱的方案是
  • 抓取指定国家下的帖子，然后从中按照标签筛出想要的帖子，再解析其用户
  • 抓取指定标签下的帖子，然后从中按照用户地点筛选

    我使用 AccessibilityService 对 Instagram 客户端做了自动化操作，然后使用 MITMProxy addon 在代理层解析数据包入库，方便后续统计，但这里又遇到一些问题
  • 在帖子列表页面下拉两千个帖子左右时，就可能被卡住，无法加载更多帖子。且约到后面，加载出来的帖子和重复度越高，使得我无法得到足够多的帖子
  • 随着帖子加载越来越多，Instagram 的网络我访问就变得很慢，导致没法继续抓取工作

    总之就是我目前很难在短时间内获取足够的帖子，导致无法进行下一步获取到足够多的符合要求的用户。
    请问有人有 Instagram 爬虫经验吗？或者要实现我的需求还有别的方法吗？（排除直接从数据平台直接购买的方式）
    • 返回列表
    您需要登录后才可以回帖 登录 | 立即注册

    AD1

    热门主题

    热门板块

    问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

    公告

    标签|小黑屋|Yoo趣儿

    GMT+8, 2025-7-5 20:06 , Processed in 0.010237 second(s), 11 queries , Gzip On, MemCached On.

    Powered by Discuz! X3.2

    The happiest thing in the world is to strive for an ideal.

    返回顶部