DeepSeek已成为当前热门话题之一,其蒸馏模型能够在低成本情况下实现高质量推理,使得我们能够在小型化的本地硬件上使用大模型这一强大AI工具。本文将详细介绍如何通过Ollama部署DeepSeek R1模型的方法。由于网络环境的特殊性,本文提供的步骤可能与常规安装流程略有不同。
安装Ollama
以下是关于Ollama的简要介绍:
Ollama是一个开源工具,旨在在本地运行、管理和部署大型语言模型(LLMs)。它简化了LLMs的安装、配置和运行流程,支持多种流行的开源模型(如LLaMA、Mistral、DeepSeek等),适合开发者和研究人员在本地环境中快速实验和开发。
Ollama的官网地址为:官方链接。您可以先从官网下载适合您本地环境的版本,Linux、Windows和MacOS都有相应版本。
如果您在使用Linux下载时出现如下报错:
curl: (22) The requested URL returned error: 403
请尝试以下方案。如果未出现报错,您可以直接跳到下一个章节。首先,用curl下载安装脚本:
$ curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
接着,给该脚本添加可执行权限:
$ chmod +x ollama_install.sh
然后使用以下指令将默认的Ollama下载地址指向Github:
$ sed -i 's|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.7/|' ollama_install.sh
请注意,上述命令中的版本号为编写本文时的最新版本号,您也可以自行查找最新版本进行替换。接下来执行安装脚本:
$ sh ollama_install.sh
安装过程大致如下:
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
############################################## 57.7%
一旦安装完成,您可通过以下命令验证安装结果:
$ ollama --help
成功的安装信息如下所示:
Large language model runner
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
下载DeepSeek模型
Ollama拉取和使用模型的操作类似于Docker。如果您有使用容器的经验,使用起来将会相对简单。请访问Ollama官方模型库中的DeepSeek-R1:模型库链接,选择适合您本地硬件条件的版本并使用以下指令进行拉取:
$ ollama pull deepseek-r1:14b
接下来,会有一段稍长的等待,成功示例如下:
$ ollama pull deepseek-r1:14b
pulling manifest
pulling 6e9f90f02bb3... 100% ▕██████████████████████████▏ 9.0 GB
...
success
Ollama支持断点续传,因此即使中途中断了,也可以继续拉取。拉取完成后,您可以直接运行模型进行对话:
$ ollama run deepseek-r1:14b
>>> who are you?
支持中英文输入。
安装Chatbox
Chatbox是一个对话工具,可以导入各种大模型平台的API,也支持本地部署模型的API。其主页地址为:Chatbox主页。您可以在这里下载适合您本地操作系统的桌面应用程序。如果您使用的是Windows系统,下载后将是一个安装工具,请按照提示完成安装。如果是Linux平台,下载后得到一个APPImage文件,您需要手动配置可执行权限:
$ chmod +x chatbox.AppImage
安装完成后,打开Chatbox即可配置本地Ollama API下的DeepSeek模型。随后,您就可以启动对话进行交互。
远程部署
如果您在远程计算机上部署了Ollama和DeepSeek,并希望在本地计算机使用Chatbox调用远程Ollama的API,您只需在远程计算机上进行一些配置。首先暂停Ollama服务:
$ sudo systemctl stop ollama
接着,修改配置文件:
$ sudo vi /etc/systemd/system/ollama.service
在配置文件的[Service]
下添加以下两行:
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
若您不清楚如何执行上述操作,可使用以下脚本:
$ sudo sed -i '/\[Service\]/a Environment="OLLAMA_HOST=0.0.0.0"\nEnvironment="OLLAMA_ORIGINS=*"' /etc/systemd/system/ollama.service
确认修改内容后,重新加载Ollama服务:
$ systemctl daemon-reload
$ systemctl restart ollama
之后,本地计算机可以通过指定的IP地址和端口访问远程Ollama服务。
资源占用
DeepSeek的一个重大优势是对资源消耗低,即使是14b模型在两张显卡上运行也没有太大压力,每张显卡大约占用不到6G显存:
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.183.01 Driver Version: 535.183.01 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
|=========================================+======================+======================|
| 0 xxxxxxxxxxxxxxx Off | 00000000:03:00.0 On | N/A |
| 30% 56C P0 99W / 125W | 6800MiB / 8192MiB | 38% Default |
|-----------------------------------------+----------------------+----------------------+
| 1 xxxxxxxxxxxxxxx Off | 00000000:A6:00.0 Off | N/A |
| 30% 49C P0 63W / 125W | 5716MiB / 8192MiB | 38% Default |
+-----------------------------------------+----------------------+----------------------+
在不配置显卡的情况下,使用CPU进行推理也可行,但本文不进行相关测试。
总结
本文介绍了在Ubuntu Linux平台上通过Ollama部署DeepSeek模型的详细步骤,以及如何使用Chatbox调用本地Ollama API进行对话。通过这些步骤,您可以快速搭建起一个本地AI助手,提升工作效率。
希望这次的文章能够符合您的需求,如有进一步的问题,请随时告诉我!