- 需求:爬取封闭 APP 中的公开数据,比如微信内公众号的数据、朋友圈数据、美团内的商家数据等。
- 问题:这些数据场景的共同特征是无法通过 HTTPS 抓包的方式获取,且相关 APP 都没有开放可以爬取的 H5 页面,或 H5 版本的页面信息不足。
-
方案:
- 通过 Appium 抓取(方案待实践验证);
- 通过自动脚本录屏后,由 AI 根据特征对进行视频内画面信息提取实现数据爬取(尚未发现此类工具)。
针对这两个方案,有建议或其他思路,恳请赐教。🌹🌹🌹
针对这两个方案,有建议或其他思路,恳请赐教。🌹🌹🌹
1
q11391 Dec 4, 2023 via iPhone
怎么可能抓不了包
|
2
Gilmty Dec 4, 2023
微信 MMTLS ,美团 TCP
|
4
x86 Dec 4, 2023
截屏再 ORC
|
5
dapang1221 Dec 4, 2023
root 了么,用 frida 加 hook ,或者去内存里捞吧
|
6
owen800q Dec 5, 2023 via iPhone
@dapang1221 現在新的 app 大部分都是 flutter, 沒法用 frida hook dart
|
7
ming61177 Dec 5, 2023
autoxjs + clip 技术
|
8
luzihang Dec 5, 2023 实现过,运行半年没什么问题。airtest+阿里云手机+百度飞桨 ocr+自己代码调度整体流程
|
9
ahhhhhh888 OP @luzihang #8 这个不错,赞!
|
10
capehorn Dec 6, 2023
App 爬虫 Android 无障碍爬即可。 联系我 linode16
|