阿里开源173MB模型！手机断网也能跑AI

11月4日公告 参数规模与手机运行数据

中英文能力 评测表与使用范围

基础模型 微调版本与部署格式入口

INT4模型文件 运行配置与设备测速

F16 Q8与Q4文件及llama.cpp用法

架构 训练 量化与端侧测试方法

模型卡提供的iPhone演示素材

模型导出 引擎编译与推理配置

模型下载 本地聊天与应用构建步骤

安装入口 设备提示与应用构建步骤

GGUF模型的本地运行工具与硬件支持

PyTorch解释训练中模拟量化的方法

内存 延迟 功耗与应用体积的部署要求

数值精度 量化误差与常见量化方法