vram-switcher

Copy the command, or hand the whole task to your harness agent.

From the README

A cleaned excerpt from the project's own documentation.

VRAM Switcher English · Releases · IndexTTS 集成 · GPU 兼容性 · 和 llama-swap / berth 的区别 为本地 AI 情感陪伴（AstrBot / DeepSeek Harness）原生接入的 GPU 调度器 —— 让人设对话、IndexTTS 语音和自拍/改图在同一张 12 GB 卡上轮流用卡。 它不是通用 GPU 租约系统：不换客户端、不加代理、不读 nvidia-smi ，只在宿主的事件边界上停/起你明确列出的进程。 在 12 GB 卡上，它把本地 LLM、IndexTTS 和 ComfyUI 从「互相换页」变成「轮流独占」——实测 s2mel 从 30 s/步回到 0.12 s/步 ，预填从 0.2 tok/s 回到 1300 tok/s 。 它只负责这些「停/起」的 顺序 。不是模型、不是路由、也不是要你重写的启动器：所有机器相关的参数都在一个 JSON profile 里。 为什么需要它 12 GB 卡上通常是这样： 服务 常驻显存 --- --- llama-server （Qwen3.6-35B-A3B MoE，256K 上下文） 4.9 GB IndexTTS webui 2.3–5.3 GB ComfyUI + SD/Flux 6–7 GB 桌面 + 宿主程序 2 GB 前三个里任意两个加桌面就会溢出。Windows 不会当场报错，而是开始把显存换页到内存—— 这不会崩，只会慢 100 倍 。在写下它的那台机器上实测： s2mel 扩散从 0.12 s/步 变成 30 s/步 ，一张图跑了 543 秒 ，预填从 1300 tok/s 掉到 0.2 tok/s 。进程一直是活的。 这套东西最初就是给一个本地 AI 陪伴机器人写的：…

Project details

Repository

xiaoxiao150/vram-switcher

by

xiaoxiao150

License

MIT

stars

69

Forks

0

Updated

Oct 29, 2026

Created

Oct 26, 2026

Language

Python

Indexed from

topic