PocketPal 手机本地离线运行开源大模型与GGUF参数微调工具 开源版

核心功能介绍

使用场景说明

软件优势分析

1. 彻底摆脱对云端服务器依赖，即使飞行模式下也能顺畅交流；
2. 完全开源无商业推广，绝不上传用户任何个人聊天隐私；
3. 针对不同安卓 SoC 进行了 GPU 加速适配，每秒吐字速度优异；
4. 支持从 Hugging Face 直接搜索下载模型，免去复杂的电脑中转传输。

软件缺点

1. 运行 7B 以上大体积模型对手机运存（RAM）配置有一定硬件要求；
2. 资源打包为 XAPK 格式，建议使用专业安装工具一键安装。

常见问题解答

Q：我的手机应该选择多大参数的模型运行？

A：6GB~8GB 运存手机建议选择 1B~3B 参数的 Q4 量化模型（如 Qwen2.5-1.5B/3B、Llama-3.2-3B）；12GB 及以上旗舰机型可流畅运行 7B/8B 规格模型。

Q：下载模型时提示连接失败怎么处理？

A：由于 Hugging Face 属于海外模型源，如直接下载速度慢，可通过电脑下载好对应的 .gguf 模型文件后传入手机本地存储，在软件内直接浏览导入。

更新日志

v1.22.0

1. 升级底层 llama.cpp 推理内核，显著提升模型加载与首字生成响应速率；
2. 优化多模态视觉小模型（SmolVLM 等）的图片理解解析兼容性；
3. 增强针对高通 Adreno 与天玑 Mali GPU 的 OpenCL/Vulkan 加速稳定性；
4. 完善模型管理面板的断点续传队列与存储空间预警提示；
5. 修复低内存设备在长文本上下文持续生成时偶现的闪退问题。

总结

想在手机上不联网体验最新开源 AI 大模型？PocketPal 是一款开源强大的移动端本地大模型运行与推理工具。支持直接载入 Qwen、Llama 等主流 GGUF 模型，依托端侧 GPU 硬件加速，支持参数自定义与角色人设构建，全程 100% 本地离线运行，开启完全私密的口袋 AI 时代。