Llama.cpp 在越狱 PS5 上原生运行任意 GGUF 模型

你的 PS5 运行语言模型。你网络上的每台设备都可以使用它。
llama.cpp 运行在主机的 GPU 上，兼容 OpenAI 和 Anthropic 的 API,并配有为电视设计的界面。

新增：由 Ollaya 提供支持的决策模型。 PS5LM 现已可在 GPU 上运行类似 Jev 的决策模型（d1、Clef、OpenJev 等），并使用与 Ollaya 相同的 /v1/systemone API：在不到一秒的时间内返回带有校准概率的类型化决策。

PS5LM 面向拥有已破解 PS5 并希望在家搭建私有模型服务器的用户。它将 GGUF 模型加载到主机的 GPU 上,并提供给笔记本电脑、手机和编程工具使用。运行期间无需电脑、无需云端,也无须账号。

_{Qwen 3.5 9B 在 PS5 Slim 上响应来自笔记本电脑的请求。点击查看视频。}

_{电视上的主页、模型、控制台、API 和设置。}

电视柜下的一台模型服务器

它在 GPU 上运行。 llama.cpp 的 Vulkan 后端运行在主机的 RDNA 2 GPU 上,共享内存中的 11.4 GB 用于模型及其上下文。llama.cpp 所支持的每种架构与量化方式均可直接使用。
它响应你的网络。 OpenAI 的 /v1/chat/completions、Anthropic 的 /v1/messages（Claude Code 兼容）以及任意浏览器中的聊天页面。将客户端指向 http://<console>:8081 并使用任意模型名称,当前加载的模型即可应答。
它也能做决策。 加载决策模型后,主机可响应 TypeSafe 的 /v1/systemone:对文本和图像进行选择、评分和是非判断,即 Ollaya 在 PC 上提供的 API。
它展示其工作过程。 每个请求都以聊天的形式在电视上实时显示:来自哪台设备、请求了什么,以及正在生成的回复。Square 发送一个演示,Triangle 打开一个键盘,这样坐在沙发上也能试用主机。
它监控主机的状态。 Console 页面以图表形式展示过去两分钟或过去一小时的温度、功耗、GPU 与 CPU 负载,旁边附有每次读数的表格。
它自动选择合适的配置。 调度器会读取每个 GGUF,并在剩余内存范围内为其分配最长的上下文与最佳缓存。Suggested 列表包含在主机上实测过的模型,应用会自行从 Hugging Face 下载模型,保存到内置存储、M.2 硬盘或 USB 驱动器。
它能识别图像。 带有图像投影层的模型（Gemma 4、MiniCPM-V、d1）可在聊天和决策中处理图片。

模型	大小	在 PS5 Slim 上
Qwen 3.5 0.8B, Q4_K_M	0.5 GB	每秒 207 个 token
Qwen 3.5 9B, Q4_K_M	5.3 GB	每秒 55 个 token
Qwen 3.8 27B, UD-Q2_K_XL	9.2 GB	约每秒 20 个 token,64k 上下文
d1 Omni 600M,决策模型	1.1 GB	0.3 秒内回答 3 个问题;一张 720p 图片加 7 个问题在 2.9 秒内完成

由 Ollaya 提供支持的决策模型

Ollaya 在 PC 上运行开源决策模型,方式与 Ollama 运行语言模型相同。 PS5LM 将同样的理念带到主机上:决策模型读取状态,在一次前向传播中回答类型化的问题,不生成任何文本。

curl http://<console>:8081/v1/systemone -H 'Content-Type: application/json' -d '{
  "state": "I was charged twice this month. Refund me or I cancel.",
  "questions": {
    "intent": {"type": "choice", "instructions": "What does the customer want?",
               "criteria": {"refund": null, "information": null, "cancel": null}},
    "angry":  {"type": "noul", "instructions": "Is the customer angry?"}
  }
}'

Suggested 列表包含 d1 Omni 600M、d1 3B 和 Clef Flash。任何带有 llama.cpp 决策元数据的 GGUF 都可同样加载,应用会将其标记为决策模型。

试试看

你需要一台固件版本在 7.00 至 13.60 之间、已破解的 PS5,并加载以下 payload:

Payload	用途
kstuff-lite	为 homebrew 提供运行所需的内核补丁	必需
etaHEN	自制软件支持	必需
ShadowMountPlus	将 PS5LM 放到主屏幕上，来自 `/data/homebrew`	必需
elfldr（端口 9021）	温度、功耗与实际剩余空间，通过 ps5-exporter	推荐
ftpsrv（端口 2121）	安装应用、从电脑复制模型	推荐

从最新发布下载 ps5lm-app-vX.Y.Z.zip 并解压。
通过 FTP 将 PPSA99575 文件夹复制到 /data/homebrew。ShadowMountPlus 会将 PS5LM 添加到主屏幕。
打开 PS5LM，进入 模型 > 推荐 并获取一个模型。或者将 .gguf 复制到 /data/PS5LM/models，或复制到 USB 驱动器上的 PS5LM/models。
加载它。一旦主页显示"就绪"，在浏览器中打开 http://<console>:8081，或将你的 OpenAI 或 Anthropic 客户端指向它。

要更新时，将新文件夹覆盖到旧文件夹上。设置、模型和下载内容保留在 /data/PS5LM 中。从编程工具（opencode、Codex、Claude Code）使用它的方法见 docs/CLI.md。

位置	按键	作用
任意位置	L1 / R1	主页、模型、API、控制台、设置
主页	×键	更换模型
主页	□键 / △键	发送演示请求 / 输入消息
模型	方向键、×键	选择分类和模型；加载、卸载或下载
模型、搜索	L2 / R2、□键	切换搜索；检查文件是否合适
模型、下载	×键、□键	暂停或继续；取消（按两次）或清除
控制台	L2 / R2	最近两分钟 / 最近一小时
设置	方向键、×键	选择类别和行；翻转它，或从其列表中选择
设置、诊断	□键、△键	应用或服务器日志；仅错误

想动手折腾？

使用 ps5-homebrew-ui 的 C++，在 PS5_Vulkan 的 RADV 上运行带 ggml-vulkan 的 llama.cpp，在 Linux 上构建。

构建 · 控制台说明 · 移植 · 研究 · 适合的模型 · 路线图 · 更新日志 · 原始 payload

致谢

abhi245y，他构建了本项目所基于的原生 GPU 应用（PS5LM Plus）。
llama.cpp 和 ggml，承担实际工作。
Mihawk-99 提供了 PS5 上的 PS5_Vulkan 和 RADV，PS5CEMU-HAR 提供了 patches/mesa 中的驱动补丁。
BlackBearReloaded 提供了 ps5-homebrew-ui、ps5-opengl 和 ps5-homebrew-dev-protocol，John Törnblom 提供了 SDK。
Marice 提供了 ps5-exporter，本应用携带了它。
Manrope（OFL）提供了字体，PocketVibe 提供了界面音效。

GPL-3.0 或更高版本，见 LICENSE。llama.cpp 保留其 MIT 许可，Manrope 保留其 OFL 许可。本仓库不含任何 Sony SDK 文件、密钥、固件或模型权重。

PS5LM 与 Sony Interactive Entertainment 没有任何关联。"PlayStation" 和 "PS5" 是 Sony Interactive Entertainment 的商标。