某东直播弹幕实时抓取

查看 158|回复 10
作者:公过水蚊   
这次案例用的版本是9.2的,9.2以后的版本有frida检测。一.抓包,查找sign对于已经拿到sign只想看弹幕的部分直接跳到4。用的抓包工具是HttpCanary,随便进入一间直播间,可以看到弹幕走的是websocket,携带的url参数token来自于下面post返回的结果,经过分析只有st,sign,sv三个参数会变,其余都不变





既然分析完了,那就从sign开始入手。当时我找这个sign找了一会没找出来,由于sign会跟其它参数拼接成url,所以我就搜其它参数wifiBssid,搜出来很明显就在第一个。

这里hook这个getReportString方法,把它的调用堆栈打印出来,然后去查看。

这里我就直接贴出来了,省得大家浪费时间去找,眼尖的可以看到里面有signature,不就跟我们要的sign很像吗,这里把b方法三个参数hook打印一下,
进到signature这个方法,可以看到这只是接口,那就搜索这个类,看它在哪里被实现。


被getSignFromJni方法实现了,再深入看一下,可以看到加密过程在so里面。


这里就直接hook这个函数打印参数,多调用几次,然后跟抓到的数据做对比,看哪些参数不变。经过我的测试,这些参数不用修改,可以直接拿过来用,而且都是string类型的,也不用做什么类型转换。返回值的st,sign,sv都是组成url需要的参数,而且这里的参数v3是post的body的值。

二.使用rpc进行调用这里就直接使用rpc进行调用就可以了,根据它的参数照搬就可以了。[Python] 纯文本查看 复制代码import frida
import json
rpc_sign = """
rpc.exports = {
    getsign: function(function_id, body_string, uuid){
      var sig = "";
      Java.perform(
        function(){
            //拿到context上下文
            var currentApplication = Java.use('android.app.ActivityThread').currentApplication();
            var context = currentApplication.getApplicationContext();
            var BitmapkitUtils = Java.use('com.jingdong.common.utils.BitmapkitUtils');
            sig = BitmapkitUtils.getSignFromJni(context, function_id, body_string, uuid, 'android', '9.2.0');
        }
      )
       return sig;
    }
};
"""
def get_sign(function_id, body_string, u):
    process = frida.get_remote_device().attach('com.jingdong.app.mall')
    script = process.create_script(rpc_sign)
    script.load()
    sign = script.exports.getsign(function_id, body_string, u)
    return sign
body_data = {"appId":"jd.mall","content":"tbV8seY199tCdw6GllmkWyCNNENuGsgwLByA7svt5HbPXvlI9wQhHMk3dT7f0ldfpq6M0MCiUD+A\nVrY390Yct0FSub03INUml9n1bS9rZSF3XT0q1kQdehKPO4CccMiEA6NQXYiqYn9wLsDDYEIjmkVA\nEbXI88CwO0K7uhwemdhQMZrcIFj6jMmyiDNDxSA1OjFw88hR0oSCF0m8ll9o9iU2MVSHDipF5ZDn\nFR4E+82mwfRYIxamafB+nWG8GuHcKhiQOWGbChTcG3TxcGT053wfcc6uuMD7+L4PcsNRQjM9syFc\nXR6FBu/sCV/kH/3rT8w/m3zV1c9JpW9lq/7WVzCVvAIj7RNt2zzYFisymCE="}
body_string = json.dumps(body_data, ensure_ascii=False).replace(" ", "")
function_id = 'liveauth'
u = '-a08d16f38776'
sign = get_sign(function_id, body_string, u)
print(sign)
结果:
[Plain Text] 纯文本查看 复制代码st=1608288325570&sign=bf449b04f88afea4c08e18006127cace&sv=121
三.构造请求拿到认证
上面只是拿到了sign,还得拼接url进行请求,这里就不展示了,要的参数基本都有了,其它不变的参数照搬就行,我就直接post请求拿结果了。
[Plain Text] 纯文本查看 复制代码{'code': 0, 'msg': '鉴权成功', 'data': {'liveUrl': 'wss://live-ws4.jd.com', 'token': 'amQubWFsbF_muLjlrqJfOTMxMTE0MzY4NDNfMTYwODI3OTE4NzA5NGxTNkViVw=='}}
4.建立WebSocket
保存刚才请求websocket,打开可以看到它请求的参数。
[Plain Text] 纯文本查看 复制代码{  "app": "com.jingdong.app.mall",  "host": "live-ws4.jd.com",  "remoteIp": "106.39.169.212",  "remotePort": 443,  "sessionId": "c77ac6e9-019d-4ac9-8611-92f24eb29851",  "time": "2020-12-19 23:48:18",  "url": "wss://live-ws4.jd.com/?token\u003damQubWFsbF_muLjlrqJfMjg5NDU0ODc3NDZfMTYwODI3Mjg5ODE0NFdSb0xibw\u003d\u003d"}
怎么建立WebSocket连接呢?
这里就需要用到python的aiowebsocket库。
详细的说明和使用方法请看:https://zhuanlan.zhihu.com/p/82089648
代码如下:
[Python] 纯文本查看 复制代码import asyncio
import logging
from datetime import datetime
from aiowebsocket.converses import AioWebSocket
import LiveBarrage
import json
async def startup(uri):
    async with AioWebSocket(uri) as aws:
        converse = aws.manipulator
        # 客户端给服务端发送消息
        a = {
            "aid": "dongdong",
            "body": {"ext":
                        {"appid":"jd.mall",
                        "entrace":"6",
                        "ver":"1.1"},
                    "groupid":"3092724", # 这个是房间号
                    "nickName":"神秘观众",
                    "type":"join_live_broadcast"},
            "from":{"app":"jd.live",
                    "clientType":"android",
                    "dvc":"-a08d16f38776",
                    "pin":""},
            "id":"df09a645-8e9b-4aad-b699-d44753ca8738",
            "type":"chat_group_message",
            "ver":"9.3.2"
        }
        # 把json转换为字符串
        body_string = json.dumps(a, ensure_ascii=False).replace(" ", "")
        # print(body_string)
        await converse.send(body_string)
        while True:
            mes = await converse.receive()
            # 设置编码
            mes = mes.decode('utf8')
            # nickName是用户名,判断nickName可以过滤非弹幕消息
            if 'nickName' in mes:
                print('{time}-Client receive: {rec}'
                    .format(time=datetime.now().strftime('%Y-%m-%d %H:%M:%S'), rec=mes))
if __name__ == '__main__':
    token = LiveBarrage.token()  # 这里返回的是post请求后拿到的token
    #remote = 'wss://api.bbxapp.vip/v1/ifcontract/realTime'
    print(token)
    try:
        asyncio.get_event_loop().run_until_complete(startup(token))
    except KeyboardInterrupt as exc:
        logging.info('Quit.')
运行结果如下:


可以看到是实时抓取的,到这里就结束了。
五.其它接口
这个app的接口参数都是一样的,不同的接口由functionId这个参数决定的。

这里我就把其它的接口名发出来,就省得大家去找了。然后post的参数hook查看一下照搬就可以了。
[color=]搜索search
[color=]商品评价列表getCommentListWithCard
[color=]问答getQuestionList
[color=]直播带货商品liveCartDetail
[color=]弹幕liveauth

参数, 可以看到

公过水蚊
OP
  


asdanny 发表于 2021-3-2 21:15
按照您的意思可能是sign的算法更新了,需要重新hook下看看?

只要新版本才会用新的算法,老版本不会改的,我现在还可以用
asdanny   

您好,我按照您所说的方法获得京东app的sign值,京东版本号也是9.2.0,但是提交请求后返回“{"code":"600","echo":"signature verification failed"}”
请问您有遇过类似问题吗
fishfly520   

学习了。谢谢。
氓之嗤嗤   

请问楼主模拟器安卓 frida版本是多少呀?
神枪泡泡丶   

mark刚好有兴趣学习直播间方面的东西
蚂蚁打老虎   

学习了。谢谢。
lx771602764   

学习到了
addqcx   

学习到了
CouponAide   

有点意思
您需要登录后才可以回帖 登录 | 立即注册