想在手机上离线跑大模型，不经过云端、不上传聊天记录，难点从来不在想法，而在手机端能不能真的把模型跑起来。OfflineLLM 就是一款面向 Android 的本地聊天应用：它用 llama.cpp 在设备端加载 GGUF 模型，聊天、推理全过程都在本机完成，适合想在手机上验证离线大模型可用性的用户和开发者。
GitHub 国内访问较慢，如打不开可多刷新几次
项目信息表
| 项目名称 | OfflineLLM |
| 适用平台 | Android 13 及以上 |
| 模型格式 | GGUF，由用户在运行时导入 |
| 推理引擎 | llama.cpp，设备端推理 |
| 界面技术 | Kotlin 与 Jetpack Compose |
| 加速路径 | CPU SIMD 内核，可选 Vulkan GPU 分层卸载 |
上手指南
- 先确认手机或平板运行 Android 13 或更高版本，再从项目提供的 APK 发布入口获取构建产物，旧系统不在项目明确支持范围内，装上了也可能跑不起来。
- 提前准备好 GGUF 模型文件，注意手机剩余存储和内存空间，模型规模越大，对存储和内存的要求越高，导入前先留出余量。
- 打开应用后通过文件选择器导入 GGUF 模型，导入完成后再开始对话，模型只在运行时由用户导入，应用本身不内置模型。
- CPU 推理可以按设备 SoC 选择 dotprod、fp16、i8mm 或 SVE 等内核路径，第一次用建议先用默认路径跑通一轮对话，再根据实际速度微调。
- 设备支持 Vulkan 时可以尝试可选的 GPU 分层卸载，收益因硬件而异，如果出现异常或速度反而变慢，就退回 CPU 路径继续用。
- 正式使用前开一个多轮对话实测：连续追问几轮，观察流式输出、增量提示处理和 KV 缓存是否正常，再决定这个模型和这台设备是不是长期组合。
明确取舍：先判断这三点再装
OfflineLLM 的定位很专：它只解决 Android 端离线跑 GGUF 这一件事，边界之外的需求不要指望它顺带解决：
| 你的情况 | 建议 |
| 只要在 Android 手机上离线跑 GGUF 模型聊天 | 适合优先检查，路径覆盖完整 |
| 需要 iOS、桌面端或云端同步 | 暂不适合，项目只面向 Android 本地场景 |
| 需要服务端 API、插件系统或明确的性能指标 | 暂不适合，公开信息没有提供这些依据 |
| 设备是 Android 13 以下的旧机型 | 暂不适合，先确认系统版本再评估 |
另外提醒一点许可上的细节：项目 README 展示 Apache 2.0 标识，但 GitHub API 返回的许可证字段为 NOASSERTION，商用或二次分发前务必先核对仓库里的许可证文件，以文件为准。
常见问题
问：不用联网真的能聊天吗？
答：可以。推理在设备端通过 llama.cpp 完成，项目说明中称应用不申请 INTERNET 权限，聊天内容不需要发往云端，适合离线场景和隐私敏感的使用方式。
问：对话体验和云端聊天应用差多少？
答：基础能力都有：多轮对话、流式输出、对话搜索、系统提示词和高级采样参数，还有 Markdown 渲染、系统 TTS 和多组主题配色。速度和可加载的模型规模则完全取决于本机硬件，没有统一性能数据可以参考。
问：Vulkan 加速是不是开了就一定更快？
答：不一定。Vulkan 只是可选路径，兼容性和实际收益都要在目标硬件上验证，应用本身也支持按设备检测并在必要时回退到 CPU，跑不顺就退回 CPU 路径。
问：除了 GGUF 还能导入别的模型格式吗？
答：项目只明确支持 GGUF 模型，其他格式能否直接加载需要查看 README 或源码确认，导入前先确认手头的模型文件确实是 GGUF 格式。
关注「软件教程管家」
回复软件名即取即下：网盘下载链接 + 提取码，一步直达，不用再跳转。
本站资源仅供个人学习交流，请勿用于商业用途。软件与资料版权归原作者所有；如有侵权，请通过公众号「软件教程管家」联系我们，我们将在 24 小时内下架处理。查看免责声明 ›
