Ollama （官网https://ollama.com/）是一个专注于本地化部署和运行大型语言模型（LLM）的工具，旨在让用户能够在自己的设备上高效地运行和微调模型。

Ollama 专注于简化本地 LLM 部署，采用"命令行优先"的设计理念。它把复杂的模型运行环境打包成简单的可执行工具，让用户只需几条命令就能在本地运行 Llama、Mistral、Gemma 等主流开源模型。

核心价值在于，无需依赖云端服务，所有数据和计算都在你自己的设备上完成，能从根本上保护数据隐私。作为一款在 GitHub 上已收获超 15 万星标的热门项目，它极大地降低了普通用户和开发者使用大模型的门槛。

1. 极简安装与使用

跨平台支持：提供 macOS、Windows 和 Linux 版本，Linux 可通过一条命令安装：curl -fsSL https://ollama.com/install.sh | sh

一键拉取模型：通过 ollama pull 模型名 即可下载模型，类似 Docker 的体验

即时运行：使用 ollama run 模型名 直接进入对话模式

2. 开发者友好的架构

轻量级运行时：内存占用仅为模型大小 + 约 100MB 开销，远低于带 GUI 的同类工具

OpenAI 兼容 API：提供本地 HTTP API（默认端口 11434），支持 Chat Completions、Embeddings、流式输出等，可直接替换现有应用的 OpenAI 调用

Modelfiles 配置：允许通过配置文件自定义模型行为、系统提示词和参数，无需重新训练

3. 性能优化

Go 语言构建：利用 Go 的并发模型（goroutines）高效处理多请求，在高并发测试中达到 12,500 请求/秒、2.5ms 平均延迟

量化模型支持：自动支持 Q4、Q8 等量化格式，让大模型能在消费级硬件上运行

Flash Attention：新版本默认启用，可降低 40% 内存使用，提升推理速度。