我整理了一套小模型，可在Mac Mini或个人笔记本上顺畅运行，上下文充足且不会卡机。

我整理了一套小模型，可在Mac Mini或个人笔记本上顺畅运行，上下文充足且不会卡机。

日常使用模型

Qwen3.5 9B / GGUF / Q4_K_M
日常驱动。聊天、草稿、研究、翻译。只选一个就选它。

DeepSeek-R1 Distill Qwen 7B / GGUF / Q4_K_M
推理引擎。数学、逻辑、分步骤问题。速度慢但需要真正思考时值得。

专业工作模型

Qwen2.5 Coder 7B / GGUF / Q4_K_M
代码专家。补全、重构、调试、代码库问答。编码任务强于通用模型。

Llama 3.1 8B / GGUF / Q4_K_M
长上下文工作者。RAG、文档聊天、代码库问答。输出不顶级但上下文强。

Phi-4 Mini Reasoning / GGUF / Q4_K_M
紧凑思考者。逻辑、结构化答案、数学、短代码。上下文有限是缺点。

高效模型

Gemma 4 E4B / GGUF / Q4_K_M
轻量全能。写作、聊天、轻智能体、结构化输出。

Phi-3.5 Mini / GGUF / Q5_K_M
口袋助手。摘要、提取、文档聊天。易配合大模型。

Qwen3.5 2B / GGUF / Q4_K_M
摘要、标记、改写、轻量助手工作。

微模型

Qwen3.5 0.8B / GGUF / Q5_K_M
分类、关键词路由、二进制决策、分类。

Gemma 4 E2B-it / GGUF / Q4_K_M
轻量聊天、快速问答、摘要、微型智能体。

我的单模型选择：Qwen3.5 9B

两个模型选Qwen3.5 9B + Qwen2.5 Coder 7B编码，或Qwen3.5 9B + Phi-3.5 Mini辅助任务