📚 新版内容

🔥

Qwen3 系列

阿里最新开源，支持视觉、代码、嵌入，2.1M+ 下载量，领跑开源模型榜单。

🖼️

视觉理解

QWEN3-VL、GLM-OCR、DeepSeek-OCR 等原生多模态模型，支持图片理解与 OCR。

🧠

思考模式

LFM2.5-Thinking、Qwen3.5 等支持深度推理，适合复杂问题分析与代码生成。

🔧

工具调用

Nemotron-3、GLM-4.7-FLASH 等支持 Function Calling，可集成外部 API。

⚡

MoE 架构

Nemotron-3-Super (120B MoE)、LFM2 等专家混合模型，性能更强。

🌏

中文优化

Qwen3、GLM-5、MiniMax-M2.5 等中文能力最强，适合国内开发者。

🔄 Ollama 工作流程

用户请求
→
Ollama Server
→
模型加载
→
GPU 推理
→
流式响应

🧠 什么是思考模式 (Thinking Mode)

💡 定义

思考模式是新一代大语言模型的高级特性，让模型能够分步推理、自我纠错、深度思考复杂问题，而非直接给出答案。

🎯 为什么要引入

  • 复杂问题：数学证明、逻辑推理需要多步思考
  • 自我纠错：模型可以回顾并修正错误
  • 可解释性：展示推理过程，增加可信度
  • 更准答案：思考后再回答，准确率显著提升

🔄 思考模式 vs 普通模式

普通模式
问题
直接回答
→
答案
思考模式
问题
理解问题
→
分解任务
→
逐步推理
→
验证结果
→
优质答案

💻 最优硬件配置指南

🖥️ 消费级 GPU 配置

GPU 型号显存推荐运行模型
RTX 4060 Ti8GBqwen3:8b, phi3, lfm2.5
RTX 407012GBqwen3:14b, qwen3:32b
RTX 408016GBqwen3:72b, nemotron-nano
RTX 409024GBqwen3:72b (Q4), glm-5
RTX 3090/409024GB x2多模型并行, 大模型

🏢 专业级 GPU 配置

GPU 型号显存推荐运行模型
A100 40GB40GBqwen3:72b, nemotron
A100 80GB80GBqwen3:235b, 多模型
A600048GBqwen3:72b, 大模型
H100 80GB80GB最大模型, 高速推理
多卡集群多卡企业级部署

💾 内存与存储

组件最低要求推荐配置
系统内存16GB32GB+
模型存储50GB200GB+ (SSD)
推荐存储NVMe SSDPCIe 4.0/5.0

🍎 Mac 配置

芯片统一内存推荐运行模型
M1 Pro16GBqwen3:8b, phi3
M1 Max32GBqwen3:14b
M2 Max64GBqwen3:32b
M3 Max64-128GBqwen3:72b

⚡ 硬件加速状态检查

# 检查 Ollama GPU 支持
ollama list

# 查看 GPU 是否工作 (Linux)
nvidia-smi

# macOS Metal 加速 (自动启用)
# 无需额外配置

# Windows WSL2 + CUDA
# 确保安装 NVIDIA 驱动

🎯 场景化硬件方案

🏠 个人开发者

  • RTX 4070 (12GB) + 32GB RAM
  • 预算: ¥5000-7000
  • 可运行: qwen3:14b-32b

🏢 小团队

  • RTX 4090 (24GB) + 64GB RAM
  • 预算: ¥15000-20000
  • 可运行: qwen3:72b, 多模型

🏭 企业部署

  • A100/H100 80GB x 多卡
  • 预算: ¥200000+
  • 可运行: 任意大模型, 并行服务

📱 Mac 用户

  • M3 Max 64GB+ 统一内存
  • 预算: ¥25000+
  • 可运行: qwen3:32b-72b

🚀 最大化 Ollama 性能完全指南

💻 硬件选择与优化

场景推荐配置模型
日常对话≥8GB VRAMqwen3:8b, phi3
代码开发≥16GB VRAMqwen3:32b, qwen3-coder
专业推理≥24GB VRAMqwen3:72b, nemotron
轻量部署≥4GB VRAMlfm2.5-thinking, phi3.5

⚡ GPU 加速配置

# 检查 GPU 是否启用
ollama list

# 强制使用 GPU
OLLAMA_GPU_LAYERS=128 ollama run qwen3

# NVIDIA GPU 优化
nvidia-smi # 查看 GPU 状态

🎯 模型选择策略

根据任务选模型

  • 通用对话 → qwen3, glm-4.7-flash
  • 代码生成 → qwen3-coder-next, devstral
  • 视觉理解 → qwen3-vl, glm-ocr
  • 深度推理 → lfm2.5-thinking, nemotron-nano
  • 知识库 → qwen3-embedding + qwen3

根据硬件选量化

  • Q4_K - 推荐，平衡质量与速度
  • Q5_K - 高质量，内存稍多
  • Q8_0 - 接近原始质量
  • F16 - 完整精度，内存占用大

🔧 参数调优指南

参数场景推荐值说明
temperature创意写作0.8-1.2越高越有创意
temperature精确问答0.1-0.3越低越确定
top_p平衡0.9核采样阈值
num_ctx长文档4096-8192上下文长度
repeat_penalty避免重复1.1-1.3重复惩罚

🔄 进阶使用技巧

1. 保持模型常驻

# 首次运行后模型会缓存
# 避免重复加载

2. 批量处理

# 使用 API 批量请求
# 减少网络开销

3. 流式输出

# stream: true
# 减少等待时间

4. 多模型组合

# 嵌入模型 + 对话模型
# OCR 模型 + 理解模型

5. 系统提示词优化

# 用 Modelfile 固化
# 设定角色和行为

6. 内存管理

# 及时释放不需要的模型
ollama stop model-name
Ollama 性能优化流程
明确任务
→
选择模型
→
配置参数
→
优化硬件
→
测试调优
→
生产部署

⚡ 热门命令

📦 下载最新模型

ollama pull qwen3         # 基础模型
ollama pull qwen3:8b     # 8B 参数
ollama pull qwen3-vl     # 视觉模型
ollama pull qwen3-embedding

▶️ 运行模型

ollama run qwen3
ollama run qwen3-vl
ollama run nemotron-nano

🧠 思考模式

ollama run qwen3:8b
# 使用 /Think 开启深度思考

🖼️ 视觉理解

ollama run qwen3-vl
# 上传图片进行理解

🏆 最热门模型 TOP 5

排名 模型 参数量 下载量 特点
1 QWEN3-VL 2B - 235B 2.1M 视觉+推理
2 QWEN3.5 0.8B - 122B 1.8M 通用对话
3 Qwen3-Embedding 0.6B - 8B 1.2M 向量嵌入
4 LFM2.5-Thinking 1.2B 971K 深度推理
5 LFM2 24B 949K MoE 架构