如果你曾希望在自己的机器上运行大型语言模型——无需应用程序接口密钥，无云端账单，数据不离开你的笔记本电脑——Ollama 是实现这一目标的最简单方式。它将模型权重、运行时（基于 llama.cpp 构建）以及一个简单的命令行界面/表述性状态转移应用程序接口打包成一个工具，在 macOS、Linux 和 Windows 上的工作方式相同。
本指南涵盖安装、运行你的第一个模型、你将实际使用的核心命令、为你的硬件选择合适的模型，以及通过其应用程序接口将 Ollama 集成到你自己的代码中。
为什么要在本地运行模型？
- 隐私 — 你的提示词和数据永远不会离开你的机器。
- 成本 — 没有按令牌计费。你只需一次性投入硬件成本（如果你已经有一台不错的笔记本电脑，则无需额外花费）。
- 离线 — 可在飞机上、在敏感信息隔离设施中，或在任何没有无线网络的地方工作。
- 控制 — 交换模型、调整参数、微调行为，且没有任何速率限制。
权衡之处在于：本地模型通常较小，且在原始能力方面略落后于前沿的云端模型（如 GPT、Claude、Gemini）——尽管这一差距正在迅速缩小。
安装
macOS
从 ollama.com/download 下载应用程序，或使用 Homebrew：
brew install ollama
Linux
curl -fsSL https://ollama.com/install.sh | sh
这将安装 ollama 二进制文件并设置一个 systemd 服务，使其在后台运行。检查其是否正常运行：
systemctl status ollama
Windows
从 ollama.com/download 下载 OllamaSetup.exe 并运行——无需管理员权限。最新版本提供带有聊天窗口的完整桌面应用程序，因此如果你愿意，完全可以跳过终端操作。此外，还为 Windows-on-Arm 设备提供了原生 ARM64 版本。
Docker
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
如果你拥有 NVIDIA 图形处理器并已安装 NVIDIA 容器工具包，请添加 --gpus=all。
验证是否正常工作
ollama --version
ollama list
在全新安装后，列表为空是正常现象——这仅确认守护进程已启动并正在响应。
运行你的第一个模型
ollama run llama3.2
这将拉取模型（几吉字节，仅需下载一次）并进入交互式聊天会话。输入提示词，按回车键，即可获取响应。使用 Ctrl+D 或 /bye 退出。
核心命令速查表
| 命令 | 功能说明 |
|---|---|
ollama run <model> |
拉取模型（如有需要）并与模型进行聊天 |
ollama pull <model> |
下载模型
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
关于我们
热门推荐
合作伙伴
免责声明：本站部分资讯来源于网络，如有侵权请及时联系客服，我们将尽快处理
长按屏幕识别二维码 打开手机扫描二维码
友情链接: 爱名网 杭州电子商务研究院 企通社 epower企服引擎 二十二科技集团 第一商务 域名交易 爱名奖 LTD方法论 营销SaaS 22知协 .Co.Ltd数字门户 ToB总监联盟 网站编辑器 官微名片 丽水山泉 浙工大校友企业家联谊会 站点智能 DMP 西湖龙井茶官网 标诺网 欧朋不锈钢全屋定制 通用站点案例库 索易软件 巨量星球 衡源升业称重 恒齿传动股份 更多
|
