淘宝美团常用的 app ，都没有 API ，agent 没法直接调用。走 ADB 容易被风控，豆包手机那条路似乎也很坎坷不好走。
我想，如果能用硬件直接托管 iPhone ，用摄像头观察屏幕，用机械臂点击，或许能绕过大部分风控检测。搞了几个月，agent 跑通了，使用起来还可以。
目前，最大的问题不是可行性的问题，是 token 太贵，点击一次 token 花费 0.2 元。
大家觉得这种 agent 有商业前景吗？
项目地址： https://github.com/physiclaw/PhysiClaw
硬件组装手册和代码都开源，硬件 DIY 成本 1000 元左右。
 |
101
1273712403 Jul 27 via iPhone
感觉没必要，这一块豆包手机之前做的效果你应该也知道，总有一天这块苹果会自己做的
|
 |
102
fkdtz Jul 27
效果挺牛逼的，完成度很高
但速度慢，费用高，真的放到生产环境可能不太能落地 |
 |
103
fzuccq OP @1273712403 这块大厂做肯定有许多优势，尤其是 Apple ，但是各家都推出自己的 agent ，然后互相屏蔽对方，反倒割裂，用户不方便。
|
 |
104
shuijingAGI Jul 27
如果需要 token 可以私
https://www.v2ex.com/t/1230103?p=1#reply1 |
 |
106
winglight2016 Jul 27
很早就看到这种设备，就是手机农场了——而且实现技术已经升级了几代了，现在就是用那种机械装置来点屏幕。有没有用 AI 我不知道，但是这个技术已经非常成熟了。
|
|
107
fzuccq OP @shuijingAGI 多谢好意哈，但是 agent 每一步都需要发送手机屏幕图片，涉及用户重要隐私数据，不太可行哈。
|
|
108
fzuccq OP @winglight2016 至少硬件层应该是已经很成熟了。
|
 |
109
notommorrow Jul 27
我想要一套，不过我不擅长组装硬件，可以从你这边订购一套吗？你定个价格
|
|
110
fzuccq OP @notommorrow 非常抱歉哈，我这边不出售成品。零件需自行购买组装，组装手册可以在线查看，每一个步骤都非常详细。如果装配遇到困难，可以联系我，我可以提供帮助。
|
 |
111
DiamondYuan Jul 27
|
|
112
fzuccq OP @DiamondYuan 电磁铁的线不够长，需要延长线焊接。但焊接不是必须，胶带捆扎也行，但不如焊接牢固。
|
 |
113
Exception615 Jul 27
让 codex 操作 iPhone 镜像 这种也还可以
 |
|
114
fzuccq OP @Exception615 利用 iPhone 镜像，对 Apple 耦合度太高一旦 Apple 政策变动，开源项目就很被动。个人使用镜像肯定没问题的。
|
 |
115
tho Jul 27
没看完，不过按键精灵 20 年前就有了。
灰产一个小机房上万台都这样跑。 |
|
116
fzuccq OP @tho 硬件机械结构大同小异，背后的设计理念和应用目的却差异很大，灰产用简单的视觉算法，主要用于刷量，大批量执行重复简单的动作。我的思路是一个 agent 可以可靠使用手机的大部分常用 app ，能自动适应不同 app 和小程序页面导航，成为个人的生活助理。
|
 |
117
Unitent Jul 27
请教下 为什么你 b 站发了一个视频就能火
|
 |
118
mulu Jul 27 via Android  1
star 支持
|
 |
119
txican Jul 27
极客湾 用得着 也有钱
|
 |
120
zerovoid Jul 28
机械臂+外置大模型，
太麻烦太贵， 大模型厂商做手机不行， 但是手机厂商自己做内置大模型可以， 比如小米有 mimo ， 华为有盘古， 苹果也有自己的大模型。 |
 |
123
byte10 Jul 28
楼主可以看看安卓的 autojs 的原理，安卓有辅助 api ，应该会容易很多，而且正规一些。
|
 |
128
qwer666df Jul 28
这种理论上是不是能做看抖音那种广告视频, 然后自动滑
 , 最近正打算做这种没想到已经有了 |
|
129
fzuccq OP @byte10 我刚开始做的时候，想过贴膜方式完成触控点击，搜索发现还处在学术试验阶段，分辨率和稳定性都达不到，成本也很高。收集数据用 api ，android 还可以，iPhone 应该是做不到，Apple mirror 耦合太强。但软件技术栈，量大起来，随时被封杀。
|
|
131
fzuccq OP @qwer666df 我硬件开源了，组装手册可以在线查看。如果纯刷抖音广告视频，建议 agent 后端不要接入大模型，token 太贵，直接视觉算法驱动或者简单 python 脚本驱动硬件点击滑动刷视频，性价比就很高了。
|
 |
132
imqiyue Jul 28
@fzuccq 如果只是让 AI 来做这些事情，是不是可以不用考虑用什么系统？安卓就行？另外 iPhone 在 macOS 上有一个软件叫 iPhone 镜像，通过 macOS 连接真机，可以在 macOS 上直接通过鼠标操控手机。
|
 |
134
Blanke Jul 28
android root 后注入系统服务，系统层面获取截图和注入事件，不要碰和注入目标进程，可以试试
|
 |
136
qiaoqianda Jul 28
@Blanke root 过不了硬件的强校验，自己 hack 一下还行，让其他人一起用的开源项目，这个路线太过激进。
|
|
137
qiaoqianda Jul 28
@ca2oh4 豆包是在操作系统底层抓取虚拟屏幕和底层事件注入，这种路线问题不在于技术，而在于生态。没有大厂愿意 app 被其他厂 agent 操作，放弃和用户的直接交互，广告可是他们的收入大头。
|
 |
138
bluesenzhu Jul 28
挺好的创意，也可以考虑使用本地部署的端侧多模态的模型
|
 |
139
liushui Jul 28
glm 有一个手机操作的模型
|
|
140
qiaoqianda Jul 28
@bluesenzhu 如果本地部署的模型能力能跟上，那 token 成本就可以忽略了，应用场景就很多了。
|
 |
141
taonyx Jul 28
kickstarter 看看 nanokvm-go ，单线 type-C
|
 |
143
duanxianze Jul 28
不需要你这么搞啊，马上下一代 AI 手机就出来了，超级小爱现在就能做到你说的这些事
|
|
144
fzuccq OP @Torpedo 目前是摄像头拍照后，scale 缩小，本地 OCR 和 icon 检测，把预处理结果和图片一起发给大模型。大模型做规划和识图，返回给 agent 执行。
|
|
145
fzuccq OP @duanxianze 超级小爱不知道能做到哪个程度，点外卖，购物都没问题吗？
|
 |
146
sanmuisme Jul 28 1
夸一下楼主的执行力，我也有基本差不多的想法，一直没有去实际尝试执行
|
 |
147
Latin Jul 28
|
 |
148
runking Jul 28
可以走电脑的蓝牙模拟成键盘鼠标的吧
|
|
151
duanxianze Jul 28
@fzuccq #145 可以，只不过限制比较多，更多的不是技术问题，还是法律问题
|
|
152
fzuccq OP @duanxianze 大厂做事情，除了技术，要考虑很多问题，法律、声誉，个人做开源项目，就没那多顾忌了。
|
 |
153
xidianlz Jul 28
楼主做了我一直想做的，不过我最近发现 macos 其实有个功能是「 iPhone 镜像」，不是可以不用硬件了。
|
 |
154
oma1989 Jul 28
直接 硬件 HID 啊
|
 |
155
simo Jul 28
研究方案，自己搞着玩玩还行
真用的话，成本、效率都不行，还是看使用场景。 这套好玩的是，不只是操作手机，可以扩展很多现实中的其他动作 |
|
159
simo Jul 28
@fzuccq
比如，出远门，家里小动物没人管，托管到外面不放心，可以弄个看护的，投喂、逗玩、开关电器。有精力，可以再配个移动底座，加上远控，可以大模型托管，也可以人工管控。 另外你现在这个，每次都要移走，才能看屏幕，可以改进下，如果能通过屏幕通过截图的方式来，iphone 不知道有什么方案，android 肯定没问题，这样不用每次都移动才能看到屏幕。 |
|
160
fzuccq OP @simo 你列举的场景非常有启发性，哈哈。agent 其实支持截屏，在摄像头拍摄不清晰时，agent 会调用截屏。但是截屏事件，app 是可以检测的，京东 app 在商品详情页截屏后会触发分享弹窗，所以我在提示词中要 agent 尽量避免截屏。
|
 |
161
codeface Jul 29
巧了，我们也做了一个方案： https://github.com/AidenAI-IO/aiden-firmware
不过不需要通过摄像头，而是通过手机 C 口转 HDMI 获取屏幕，通过 USB HID 进行操控。 |
 |
164
kkfe Jul 29 1
专门注册了个号来回复一下。提一点小意见。可以不用摄像头拍屏幕。苹果手机接投屏线，投屏线接 HDMI 采集卡，采集卡的 USB 接电脑上，电脑上就有手机的实时图像了。截屏读取就行了，不需要用摄像头拍照。这样你的操作手可以一直在屏幕上，上下的位移可以很小，放中间，前后左右的位移也会很少。
|
|
165
fzuccq OP @liulin75127512 非常感谢您的意见。投屏线 @codeface #163 楼就是这个方案，和您的建议非常一致。我的思路是，对手机完全零侵入，不外接任何设备，不安装任何软件，手机放上就能用，这样能尽量规避风控检测。不过硬件尺寸是否能做的更小，我再认真考虑一下改进方案。感谢～
|
Select Language