DeepSeek 部署完整教程｜生产环境实测

本文面向希望在企业内网、私有云或自有服务器上部署 DeepSeek 大模型的开发者、运维工程师和技术负责人，内容覆盖部署方案选择、硬件规划、环境准备、模型下载、推理服务搭建、接口调用、性能优化、生产环境加固、监控与常见问题排查。
示例以 Linux 服务器、NVIDIA GPU、Docker、Ollama / vLLM / OpenAI Compatible API 为主，适合生产环境参考落地。

一、为什么要私有化部署 DeepSeek？

DeepSeek 系列模型在代码生成、中文理解、数学推理、通用问答等场景中表现较好，很多企业希望将其部署到自己的服务器中，主要原因包括：

1. 数据安全与合规要求
   企业内部文档、客户资料、代码仓库、财务数据等通常不能直接发送到公网 API。私有化部署可以让数据留在内网，降低数据泄露风险。

2. 成本可控
   当调用量较大时，长期使用公有云 API 成本可能较高。自建推理服务虽然前期硬件投入较大，但在高频调用场景下，单位 Token 成本可能更低。

3. 可定制化能力更强
   私有部署后，可以结合企业知识库、RAG 检索增强、微调、Agent 工具调用、权限系统等，打造更贴合业务的 AI 应用。

4. 稳定性可控
   对于核心业务系统来说，将模型服务部署在自有环境中，可以减少外部服务不可用、网络波动、接口限流等问题带来的影响。

二、DeepSeek 模型选择建议

DeepSeek 有多个模型版本，不同模型对硬件资源的要求差异很大。部署前需要先明确使用场景。

1. 常见模型类型

2. 生产环境选型建议

如果只是做内部知识库问答、客服助手、文档总结，可以优先选择较小参数或量化版本，例如 7B、14B、32B 级别模型。

如果对复杂推理能力要求较高，比如数学题解、复杂代码生成、智能决策分析，可以考虑 R1 系列更大规模版本，但要注意显存成本。

如果部署在单张消费级显卡上，例如 RTX 4090 24GB，建议优先使用量化模型，例如 Q4、Q5、Q8 等版本。

如果有多张 A100、H100 或 L40S，可以考虑部署更大模型，并使用 vLLM、Tensor Parallel 等方式提升吞吐能力。

三、硬件配置规划

部署大模型最关键的是 GPU 显存。CPU、内存、磁盘和网络也会影响整体体验。

1. 单机测试环境推荐

2. 生产环境推荐

3. 显存估算说明

模型参数越大，需要的显存越高。量化可以显著降低显存占用。

大致可以参考：

注意：实际显存还会受到上下文长度、Batch Size、KV Cache、推理框架等因素影响。生产环境不能只看模型权重大小，还要预留足够显存给并发请求。

四、部署方案对比

目前部署 DeepSeek 常见方案有三种：Ollama、vLLM、Transformers。生产环境一般更推荐 vLLM。

1. Ollama

Ollama 使用简单，适合快速验证、个人使用、轻量级内网应用。

优点：

• 安装简单；
• 模型管理方便；
• 支持本地 API；
• 对新手友好。

缺点：

• 高并发能力有限；
• 生产级监控、调度能力较弱；
• 对复杂多卡场景支持不如 vLLM。

2. vLLM

vLLM 是当前生产环境部署大语言模型非常常见的推理框架，支持高吞吐、PagedAttention、OpenAI API 兼容接口、多卡张量并行等能力。

优点：

• 推理吞吐高；
• 支持 OpenAI Compatible API；
• 支持连续批处理；
• 适合生产服务；
• 多卡部署相对成熟。

缺点：

• 环境配置比 Ollama 稍复杂；
• 对 CUDA、驱动、PyTorch 版本有一定要求。

3. Transformers

Transformers 更适合研发调试、模型实验、微调验证。

优点：

• 灵活；
• 生态丰富；
• 适合研究和二次开发。

缺点：

• 直接用于生产推理性能通常不如 vLLM；
• 需要自行封装服务、优化并发和资源管理。

五、系统环境准备

以下示例以 Ubuntu 22.04 为例。

1. 更新系统

sudo apt update
sudo apt upgrade -y
sudo apt install -y curl wget git vim htop net-tools unzip

2. 检查 GPU 驱动

nvidia-smi

如果输出类似下面内容，说明驱动正常：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 535.xx       Driver Version: 535.xx       CUDA Version: 12.x      |
| GPU Name                Memory-Usage                                        |
+-----------------------------------------------------------------------------+

如果提示找不到命令，需要先安装 NVIDIA 驱动。

3. 安装 Docker

curl -fsSL https://get.docker.com | bash
sudo systemctl enable docker
sudo systemctl start docker

将当前用户加入 Docker 用户组：

sudo usermod -aG docker $USER

重新登录后验证：

docker version

4. 安装 NVIDIA Container Toolkit

如果要在 Docker 中调用 GPU，需要安装 NVIDIA Container Toolkit。

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

测试 Docker 是否可以识别 GPU：

docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

六、方案一：使用 Ollama 快速部署 DeepSeek

Ollama 适合快速搭建一个可用的本地 DeepSeek 服务。

1. 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

安装完成后检查服务：

ollama -v

2. 拉取 DeepSeek 模型

以 DeepSeek-R1 蒸馏模型为例：

ollama pull deepseek-r1:7b

如果显存较大，也可以尝试：

ollama pull deepseek-r1:14b
ollama pull deepseek-r1:32b

3. 命令行测试

ollama run deepseek-r1:7b

输入：

请用中文解释一下什么是 RAG。

如果能够正常回复，说明模型已经可以运行。

4. API 调用测试

Ollama 默认监听本地 11434 端口。

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:7b",
  "messages": [
    {
      "role": "user",
      "content": "请写一段关于企业知识库建设的介绍"
    }
  ],
  "stream": false
}'

5. 允许局域网访问

编辑 systemd 服务：

sudo systemctl edit ollama

加入：

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

重新加载配置：

sudo systemctl daemon-reload
sudo systemctl restart ollama

检查端口：

ss -lntp | grep 11434

此时局域网其他机器可以通过：

http://服务器IP:11434

访问 Ollama 服务。

七、方案二：使用 vLLM 部署生产级 DeepSeek 服务

如果目标是生产环境，建议使用 vLLM。它可以直接提供兼容 OpenAI 的接口，方便业务系统接入。

1. 创建工作目录

mkdir -p /data/deepseek
cd /data/deepseek

2. 准备 Hugging Face 模型

如果模型托管在 Hugging Face，可以使用 huggingface-cli 下载。

安装工具：

pip install -U huggingface_hub

登录：

huggingface-cli login

下载模型示例：

huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
  --local-dir /data/models/DeepSeek-R1-Distill-Qwen-7B

也可以从 ModelScope 下载，适合国内网络环境。

pip install modelscope

下载示例：

modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
  --local_dir /data/models/DeepSeek-R1-Distill-Qwen-7B

实际模型名称可能会随着官方发布变化，请以模型平台页面为准。

3. 使用 Docker 启动 vLLM

docker run -d \
  --name deepseek-vllm \
  --gpus all \
  --ipc=host \
  -p 8000:8000 \
  -v /data/models:/models \
  vllm/vllm-openai:latest \
  --model /models/DeepSeek-R1-Distill-Qwen-7B \
  --served-model-name deepseek-r1 \
  --host 0.0.0.0 \
  --port 8000 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9

参数说明：

4. 查看日志

docker logs -f deepseek-vllm

如果看到类似：

Uvicorn running on http://0.0.0.0:8000

说明服务已经启动成功。

5. OpenAI 兼容接口测试

查看模型列表：

curl http://localhost:8000/v1/models

聊天接口测试：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1",
    "messages": [
      {
        "role": "user",
        "content": "请用三点说明私有化部署大模型的优势"
      }
    ],
    "temperature": 0.6,
    "max_tokens": 1024
  }'

如果返回正常 JSON，即表示部署完成。

八、Python 客户端调用示例

由于 vLLM 提供 OpenAI 兼容接口，业务系统可以直接使用 OpenAI SDK 接入。

1. 安装依赖

pip install openai

2. 调用代码

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://服务器IP:8000/v1"
)

response = client.chat.completions.create(
    model="deepseek-r1",
    messages=[
        {"role": "system", "content": "你是一个专业的企业 AI 助手。"},
        {"role": "user", "content": "请生成一份大模型私有化部署方案。"}
    ],
    temperature=0.6,
    max_tokens=1500
)

print(response.choices[0].message.content)

生产环境中建议不要在代码里硬编码地址、密钥和模型名，而是通过配置中心或环境变量管理。

九、Nginx 反向代理配置

在生产环境中，不建议业务系统直接访问模型服务端口。可以使用 Nginx 做反向代理、访问控制、HTTPS 和日志记录。

1. 安装 Nginx

sudo apt install -y nginx

2. 配置反向代理

创建配置文件：

sudo vim /etc/nginx/conf.d/deepseek.conf

写入：

server {
    listen 80;
    server_name deepseek.example.com;

    client_max_body_size 50m;

    location / {
        proxy_pass http://127.0.0.1:8000;
        proxy_http_version 1.1;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_read_timeout 600s;
        proxy_send_timeout 600s;
    }
}

检查配置：

sudo nginx -t

重启：

sudo systemctl reload nginx

如果需要 HTTPS，可以使用企业证书或 Let's Encrypt。

十、生产环境安全加固

模型服务部署完成后，不能直接裸奔到公网，否则可能被滥用，造成算力被刷爆、数据泄露或服务不可用。

1. 网络访问控制

建议：

• 仅允许内网访问；
• 使用安全组限制来源 IP；
• 通过 VPN、堡垒机或 API 网关访问；
• 禁止模型端口直接暴露公网。

如果使用云服务器，可以在安全组中只放行业务服务器 IP。

2. API 鉴权

vLLM 默认可以配置 API Key，例如：

--api-key your-secret-key

启动示例：

docker run -d \
  --name deepseek-vllm \
  --gpus all \
  --ipc=host \
  -p 8000:8000 \
  -v /data/models:/models \
  vllm/vllm-openai:latest \
  --model /models/DeepSeek-R1-Distill-Qwen-7B \
  --served-model-name deepseek-r1 \
  --host 0.0.0.0 \
  --port 8000 \
  --api-key your-secret-key

调用时增加请求头：

-H "Authorization: Bearer your-secret-key"

3. 日志脱敏

如果用户请求中包含手机号、身份证号、合同编号、客户姓名等敏感信息，应在网关层或业务层进行脱敏处理。

例如：

• 手机号：138****8888
• 身份证：110101********1234
• 邮箱：abc***@example.com

4. 限流与熔断

建议在 API 网关或 Nginx 层增加限流规则，例如：

• 单用户每分钟请求数限制；
• 单 IP 并发连接限制；
• 最大输入 Token 限制；
• 超时自动断开；
• 服务异常时自动熔断。

十一、性能优化实测经验

以下是生产环境中比较常见、也比较有效的优化方向。

1. 控制上下文长度

--max-model-len 越大，KV Cache 占用越高，并发能力越低。如果业务并不需要超长上下文，不建议盲目设置到 32K、64K。

例如内部知识库问答场景，一般 4K-8K 已经可以满足大多数请求。

--max-model-len 8192

2. 合理设置显存使用率

--gpu-memory-utilization 0.9

如果设置过高，可能导致 OOM；如果设置过低，则资源利用不足。生产环境可以从 0.85 开始测试，观察稳定性后再提升。

3. 使用量化模型

对于显存有限的场景，量化模型非常重要。常见量化方式包括：

• INT4；
• INT8；
• GPTQ；
• AWQ；
• GGUF。

量化会带来一定精度损失，但可以显著降低显存占用，提高部署灵活性。

4. 增加并发前的压测

上线前一定要压测，不要只用单请求测试判断服务能力。可以关注：

• 首 Token 延迟；
• 平均响应时间；
• Tokens/s；
• GPU 利用率；
• 显存占用；
• 请求失败率；
• 并发数提升后的排队情况。

5. 避免输出过长

业务系统应限制 max_tokens，否则用户一个请求可能生成非常长的内容，占用大量算力。

例如：

{
  "max_tokens": 1024
}

对于简单客服问答，甚至可以限制到 512。

十二、使用 Docker Compose 管理服务

生产环境建议使用 Docker Compose 管理模型服务，便于重启、升级和维护。

创建 docker-compose.yml：

version: "3.9"

services:
  deepseek-vllm:
    image: vllm/vllm-openai:latest
    container_name: deepseek-vllm
    restart: always
    ipc: host
    ports:
      - "8000:8000"
    volumes:
      - /data/models:/models
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    command: >
      --model /models/DeepSeek-R1-Distill-Qwen-7B
      --served-model-name deepseek-r1
      --host 0.0.0.0
      --port 8000
      --max-model-len 8192
      --gpu-memory-utilization 0.9
      --api-key your-secret-key

启动：

docker compose up -d

查看日志：

docker compose logs -f

停止：

docker compose down

十三、监控与告警

生产部署不能只关注“能不能跑”，还要关注“是否稳定”。

1. GPU 监控

可以使用：

watch -n 1 nvidia-smi

重点关注：

• GPU Util；
• Memory Usage；
• Power Usage；
• Temperature；
• Processes。

更完善的方式是使用 DCGM Exporter + Prometheus + Grafana。

2. 服务监控

建议监控以下指标：

3. 告警策略

建议配置：

• GPU 显存连续 5 分钟超过 95% 告警；
• 服务 5xx 错误率超过阈值告警；
• 接口 P99 延迟异常升高告警；
• 容器异常退出告警；
• 磁盘空间不足告警。

十四、常见问题排查

1. Docker 容器无法使用 GPU

检查：

docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

如果失败，通常是 NVIDIA Container Toolkit 未安装或 Docker runtime 配置异常。

2. 启动时报 CUDA out of memory

解决方向：

• 换更小模型；
• 使用量化模型；
• 降低 --max-model-len；
• 降低并发；
• 降低 --gpu-memory-utilization；
• 使用多卡张量并行。

3. 请求很慢

可能原因：

• 模型太大，GPU 性能不足；
• 上下文太长；
• 并发过高；
• 输出 Token 太多；
• 使用了 CPU 推理；
• 磁盘或网络存在瓶颈。

4. 模型回复质量不稳定

可以尝试：

• 调整 temperature；
• 调整 top_p；
• 优化 Prompt；
• 使用更适合场景的模型；
• 引入知识库检索；
• 对输出格式进行约束。

5. 中文回答不理想

建议在 system prompt 中明确要求中文回答，例如：

你是一个专业、严谨的中文 AI 助手。除非用户明确要求其他语言，否则请始终使用简体中文回答。

十五、上线前检查清单

正式上线前建议逐项确认：

• [ ] GPU 驱动正常；
• [ ] Docker 可调用 GPU；
• [ ] 模型文件完整；
• [ ] vLLM 服务可正常启动；
• [ ] OpenAI Compatible API 可调用；
• [ ] Nginx 反向代理正常；
• [ ] API Key 鉴权已开启；
• [ ] 安全组未暴露不必要端口；
• [ ] 日志中不保存明文敏感数据；
• [ ] 已完成并发压测；
• [ ] 已配置监控和告警；
• [ ] 已制定重启和回滚方案；
• [ ] 已限制最大输入和输出长度；
• [ ] 已准备故障应急预案。

十六、推荐生产架构

一个相对稳妥的生产架构如下：

用户 / 业务系统
      |
      v
API 网关 / Nginx / Ingress
      |
      v
鉴权、限流、日志脱敏
      |
      v
DeepSeek 推理服务集群
      |
      v
GPU 服务器 / Kubernetes / Docker
      |
      v
Prometheus + Grafana + 日志平台

如果结合企业知识库，可以增加：

用户问题
  |
  v
问题改写 / 意图识别
  |
  v
向量数据库检索
  |
  v
文档片段召回
  |
  v
Prompt 组装
  |
  v
DeepSeek 生成答案
  |
  v
引用来源 / 权限过滤 / 输出审核

常见向量数据库可以选择 Milvus、Qdrant、Elasticsearch、pgvector 等。

十七、总结

DeepSeek 私有化部署并不只是“把模型跑起来”，真正的生产落地需要同时考虑模型选型、硬件规划、推理框架、并发性能、安全合规、监控告警和业务集成。

如果是个人测试或小团队验证，可以优先使用 Ollama，部署简单、上手快。如果是企业生产环境，建议使用 vLLM 提供 OpenAI 兼容接口，再配合 Nginx、API Key、限流、日志脱敏和监控系统，形成完整的服务闭环。

生产环境中最容易踩坑的地方主要有三个：

1. 显存估算不足
   模型能加载不代表能高并发服务，KV Cache 和上下文长度会显著影响显存占用。

2. 服务安全不足
   大模型接口不能直接暴露公网，必须做好鉴权、限流和访问控制。

3. 缺少压测和监控
   单次请求成功不代表系统可上线，必须通过压测确认吞吐和延迟，并配置完善告警。

总的来说，推荐路径是：先用 Ollama 快速验证模型效果，再用 vLLM 构建生产推理服务，最后结合网关、监控、知识库和业务系统完成企业级落地。这样既能降低初期试错成本，也能保证后续扩展能力和生产稳定性。