苹果在WWDC 2025中发布了Foundation Models ，支持端云两种形式的LLM模型，这里重点看一下端侧的本地模型的结构和特点。 端侧模型总大小约3B，支持视觉和文本输入，支持LoRA 。主干部分采用2bit QAT 量化，视觉编码和Embedding部分采用 4bit QAT量化，KV Cache使用8 bit量化。