dsh-mobile-use

Copy the command, or hand the whole task to your harness agent.

From the README

A cleaned excerpt from the project's own documentation.

dsh-mobile-use · 把真手机装进 DSH 右栏就是你手机的画面：点一下是设备上点一下，圈一处再写一句话，带圈图和圈内控件一起回到会话。 模型不用截图也知道屏上有哪些字、哪个按钮能点、刚才点了之后变了什么。装一次，DSH 里所有会话都能用——不需要 MCP 行、不需要额外 agent、不上传任何画面。 环境变量（都可选）： ADB （adb 路径）、 ANDROID SERIAL （默认设备）、 FFMPEG （转码路径）。见 .env.example 。 宿主需要 adb （Android platform-tools）；镜像还要 ffmpeg 。设备端辅助程序（uiautomator2）随包附带，首次使用自动推送。 三个真正不同的地方 ① 实时镜像，不是截图循环。 侧栏「实时ADB」走 screenrecord H.264 → 宿主 ffmpeg 抽帧转 fMP4 → MSE 播放：首帧 1380 ms ，画面一变到上屏 +163 ms ，静止时约 1 帧/秒（内容驱动），最后一个观众走后留 20 秒，重开实测 2440 ms → 18 ms 。点按按真实媒体矩形归一化，缩放、平移、横竖屏同一套算法。 ② 圈选标注，把「这里」说清楚。 在画面上圈一块，连 圈图 + 圈内控件 + 前 12 秒操作时间线 + 最近 6 秒 6 帧拼图 一起推回当前会话。拼图取自内存最近 40 帧，265 ms 建好、112 KB，不碰设备、不 seek 还在写的录屏文件。 ③ 读界面，不截图。 设备端常驻 uiautomator2： adb ui 一次 120 ms 返回「文字 + 资源 id + 中心坐标 + ref」，压成 200–1300 token 纯文本；同样一次确认， screencap -p 要 0.5–3.2 s、0.3–8.9 MB，再花一次带图推理。自绘/Flutter 文本树为空时自动补一层本机 Vision OCR 兜底。不想走视觉模型时还有两条免视觉通道： adb look 把屏幕压成颜色网格并给出区域差异（热 32–41 ms）， adb ocr 直接认右栏直播帧（热 110–116 ms）。 作品牌差异一句话：…

Project details

Repository

regrevia/dsh-mobile-use

by

regrevia

License

MIT

stars

4

Forks

1

Updated

Nov 8, 2026

Created

Oct 27, 2026

Language

JavaScript

Indexed from

topic