DeepSeek已成为当前热门话题之一,其蒸馏模型能够在低成本情况下实现高质量推理,使得我们能够在小型化的本地硬件上使用大模型这一强大AI工具。本文将详细介绍如何通过Ollama部署DeepSeek R1模型的方法。由于网络环境的特殊性,本文提供的步骤可能与常规安装流程略有不同。

安装Ollama

以下是关于Ollama的简要介绍:

Ollama是一个开源工具,旨在在本地运行、管理和部署大型语言模型(LLMs)。它简化了LLMs的安装、配置和运行流程,支持多种流行的开源模型(如LLaMA、Mistral、DeepSeek等),适合开发者和研究人员在本地环境中快速实验和开发。

Ollama的官网地址为:官方链接。您可以先从官网下载适合您本地环境的版本,LinuxWindowsMacOS都有相应版本。

如果您在使用Linux下载时出现如下报错:

curl: (22) The requested URL returned error: 403

请尝试以下方案。如果未出现报错,您可以直接跳到下一个章节。首先,用curl下载安装脚本

$ curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

接着,给该脚本添加可执行权限:

$ chmod +x ollama_install.sh

然后使用以下指令将默认的Ollama下载地址指向Github:

$ sed -i 's|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.7/|' ollama_install.sh

请注意,上述命令中的版本号为编写本文时的最新版本号,您也可以自行查找最新版本进行替换。接下来执行安装脚本:

$ sh ollama_install.sh

安装过程大致如下:

>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
##############################################                                     57.7%

一旦安装完成,您可通过以下命令验证安装结果:

$ ollama --help

成功的安装信息如下所示:

Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

下载DeepSeek模型

Ollama拉取和使用模型的操作类似于Docker。如果您有使用容器的经验,使用起来将会相对简单。请访问Ollama官方模型库中的DeepSeek-R1模型库链接,选择适合您本地硬件条件的版本并使用以下指令进行拉取:

$ ollama pull deepseek-r1:14b

接下来,会有一段稍长的等待,成功示例如下:

$ ollama pull deepseek-r1:14b
pulling manifest
pulling 6e9f90f02bb3... 100% ▕██████████████████████████▏ 9.0 GB
...
success

Ollama支持断点续传,因此即使中途中断了,也可以继续拉取。拉取完成后,您可以直接运行模型进行对话:

$ ollama run deepseek-r1:14b
>>> who are you?

支持中英文输入。

安装Chatbox

Chatbox是一个对话工具,可以导入各种大模型平台的API,也支持本地部署模型的API。其主页地址为:Chatbox主页。您可以在这里下载适合您本地操作系统的桌面应用程序。如果您使用的是Windows系统,下载后将是一个安装工具,请按照提示完成安装。如果是Linux平台,下载后得到一个APPImage文件,您需要手动配置可执行权限:

$ chmod +x chatbox.AppImage

安装完成后,打开Chatbox即可配置本地Ollama API下的DeepSeek模型。随后,您就可以启动对话进行交互。

远程部署

如果您在远程计算机上部署了Ollama和DeepSeek,并希望在本地计算机使用Chatbox调用远程Ollama的API,您只需在远程计算机上进行一些配置。首先暂停Ollama服务:

$ sudo systemctl stop ollama

接着,修改配置文件:

$ sudo vi /etc/systemd/system/ollama.service

在配置文件的[Service]下添加以下两行:

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

若您不清楚如何执行上述操作,可使用以下脚本:

$ sudo sed -i '/\[Service\]/a Environment="OLLAMA_HOST=0.0.0.0"\nEnvironment="OLLAMA_ORIGINS=*"' /etc/systemd/system/ollama.service

确认修改内容后,重新加载Ollama服务:

$ systemctl daemon-reload
$ systemctl restart ollama

之后,本地计算机可以通过指定的IP地址和端口访问远程Ollama服务。

资源占用

DeepSeek的一个重大优势是对资源消耗低,即使是14b模型在两张显卡上运行也没有太大压力,每张显卡大约占用不到6G显存:

+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.183.01             Driver Version: 535.183.01   CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|=========================================+======================+======================|
|   0  xxxxxxxxxxxxxxx                Off | 00000000:03:00.0  On |                  N/A |
| 30%   56C    P0              99W / 125W |   6800MiB /  8192MiB |     38%      Default |
|-----------------------------------------+----------------------+----------------------+
|   1  xxxxxxxxxxxxxxx                Off | 00000000:A6:00.0 Off |                  N/A |
| 30%   49C    P0              63W / 125W |   5716MiB /  8192MiB |     38%      Default |
+-----------------------------------------+----------------------+----------------------+

在不配置显卡的情况下,使用CPU进行推理也可行,但本文不进行相关测试。

总结

本文介绍了在Ubuntu Linux平台上通过Ollama部署DeepSeek模型的详细步骤,以及如何使用Chatbox调用本地Ollama API进行对话。通过这些步骤,您可以快速搭建起一个本地AI助手,提升工作效率。


希望这次的文章能够符合您的需求,如有进一步的问题,请随时告诉我!

END
本文作者:
文章标题: 在本地Ubuntu Linux部署DeepSeek R1模型的完整指南
本文地址: https://www.haovps.top/archives/393.html
版权说明:若无注明,本文皆 高性能VPS推荐与IT技术博客 | Haovps.Top 原创,转载请保留文章出处。
cc
最后修改:2025 年 02 月 08 日
如果觉得我的文章对你有用,请随意赞赏