大型语言模型（LLM）在文本生成、翻译、问答等任务中表现出色，但对于没有GPU的普通用户来说，部署这些模型却是一个巨大的挑战。今天，我们将介绍一个超火的开源项目——​Ollama​，它能让本地部署大模型变得简单又轻松，堪称“平民化”的大模型部署工具。

项目简介

Ollama 是一个开源的大型语言模型（LLM）服务工具，旨在简化在本地运行大语言模型的过程。无论你是否有GPU，只要你的电脑满足基本配置，就能用 Ollama 轻松部署像 Llama3、Phi4、Gemma2、DeepSeek 等热门大模型。它不仅开源免费，还提供了简单的命令行界面和服务器，让你能够轻松下载、运行和管理各种开源LLM。

目前在 GitHub 上已经收获了 ​119K star​！

性能特色

• ​模型丰富​：涵盖 Llama3、Phi4、Gemma2、DeepSeek 等众多热门开源LLM，支持一键下载和切换。
• ​本地化运行​：无需依赖网络，随时随地使用模型，再也不用担心网络问题。
• ​隐私保护​：模型在本地设备上运行，确保数据隐私安全。
• ​成本节省​：无需支付云端服务费用，省钱又高效。
• ​灵活性高​：可根据需求调整和优化模型，满足个性化需求。
• ​量化技术​：减少模型大小和计算需求，让资源有限的设备也能流畅运行。
• ​模型并行和数据并行​：提高训练速度和推理效率，提升整体性能。

快速安装使用

使用 Ollama 非常简单，只需几步即可轻松上手。

1. 安装

• ​Linux/macOS​：在终端输入以下命令，一键安装：

curl -fsSL https://ollama.com/install.sh | sh

• ​Windows​：下载 Ollama Windows 版安装包，双击运行安装程序即可.

2. 基础命令

• ​启动 Ollama 服务​：ollama serve（默认端口 11434）。
• ​下载模型​：ollama pull <模型名>，例如下载 Deepseek：

ollama pull Deepseek

• ​运行模型​：ollama run <模型名>，开启对话模式。

• ​管理模型​：

  • ollama list：查看已下载模型。
  • ollama rm <模型名>：删除模型。
  • ollama help：查看所有命令。

3. 通过 API 调用模型

• ​cURL 生成文本示例​：

curl http://localhost:11434/api/generate -d '{
  "model": "Deepseek",
  "prompt":"蛇年有趣的祝福"
}'

• ​Python 调用示例​：

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={"model": "Deepseek", "prompt": "蛇年有趣的祝福"}
)
print(response.json()["response"])

项目体验展示

最近试用了超火的 DeepSeek R-1，体验非常棒！

按照官网的指示安装了 Ollama，然后在模型库中找到了 DeepSeek R-1。选择了 1.5B 的模型，直接用 ollama run deepseek-r1:1.5b 命令启动。运行起来非常流畅，回答得又快又好，简直就像有个智能助手在身边。而且，Ollama 的社区非常活跃，遇到问题随时能找到帮助，这种感觉太棒了！

总结

Ollama 是一个非常实用且易用的开源项目。它让我们这些“小白”也能轻松地在本地部署和管理大语言模型。无论你是开发者、研究人员还是爱好者，只要你对AI感兴趣，Ollama 都是一个值得尝试的工具。特别是最近超火的 Deepseek 模型，更是让 Ollama 的魅力倍增！

更多细节功能，感兴趣的可以到项目地址查看：

​项目地址​：https://github.com/ollama/ollama