DeepSeek 部署完整教程｜生产环境实测

本文面向希望在企业内网、私有云或生产服务器中部署 DeepSeek 模型的开发者、运维工程师与技术负责人。内容覆盖环境准备、模型选择、部署方案、API 服务化、性能优化、监控告警、安全加固、常见问题排查等环节，尽量以生产环境可落地为目标，而不是仅停留在“能跑起来”的层面。

一、为什么要在生产环境部署 DeepSeek？

DeepSeek 系列模型在代码生成、中文理解、数学推理、文档问答、智能客服、知识库检索增强生成等场景中表现较好。相比直接调用第三方 API，企业选择私有化部署通常有以下原因：

1. 数据安全要求高
   企业内部文档、客户信息、合同、研发代码、财务数据等不适合发送到外部平台。

2. 成本可控
   当调用量较大时，自建推理服务在长期使用中可能比按量调用 API 更经济。

3. 可定制化能力强
   可以结合内部知识库、业务系统、权限体系、审计系统进行深度集成。

4. 服务稳定性可控
   对于核心业务系统，企业往往希望掌控模型服务的部署、扩容、降级与容灾策略。

5. 满足合规要求
   金融、政务、医疗、教育等行业经常需要数据本地化处理。

不过需要注意的是，DeepSeek 私有化部署并不是简单下载模型就结束。生产环境需要关注硬件资源、并发能力、上下文长度、显存占用、接口限流、日志审计、异常恢复、监控告警等一系列问题。

二、部署方案概览

目前常见的 DeepSeek 部署方式主要有以下几类：

如果你是初学者，建议先用 Ollama 快速体验；如果你要做企业生产环境服务，推荐优先考虑 vLLM；如果你需要复杂推理编排、Agent、多轮并发与高性能调度，可以进一步评估 SGLang。

本文重点以 vLLM + Docker + OpenAI Compatible API 的方式进行生产部署说明，同时补充 Ollama 快速部署方案。

三、模型选择建议

DeepSeek 模型版本较多，不同版本适合不同业务场景。生产部署前，需要先明确你要解决什么问题。

1. 常见模型类型

2. 如何选择模型大小？

一般来说，模型参数越大，效果越好，但对硬件要求也越高。生产环境不建议盲目追求最大模型，而应根据业务场景选择合适规格。

如果只是做企业内部问答、客服辅助、文档总结，可以优先选择中等规模模型；如果要做复杂推理、代码生成、数学分析，可以选择能力更强的模型；如果硬件资源有限，可以考虑蒸馏版或量化版模型。

3. 量化模型是否适合生产？

量化模型可以显著降低显存占用，例如 INT4、INT8、AWQ、GPTQ 等方式。但量化会带来一定精度损失，具体影响取决于模型、量化方法和业务场景。

生产环境建议：

• 对答案准确性要求极高的场景，先谨慎评估量化模型；
• 对客服、摘要、改写、常规问答场景，量化模型通常可接受；
• 一定要用真实业务数据进行 A/B 测试，而不是只看公开榜单。

四、硬件环境准备

1. 推荐服务器配置

以下是一个生产环境参考配置，并非唯一标准：

CPU：32 核及以上
内存：128GB 及以上
GPU：NVIDIA A100 / A800 / H100 / H800 / L40S / 4090 等
显存：根据模型大小选择，建议 24GB 起步
磁盘：NVMe SSD，至少 500GB
网络：千兆起步，推荐万兆内网
系统：Ubuntu 22.04 LTS

如果只是测试环境，单张 RTX 4090 也可以部署中小模型；如果是生产环境且有较高并发，建议使用多卡服务器，并预留扩容空间。

2. 显存估算

模型部署时，显存主要消耗在以下几部分：

1. 模型权重；
2. KV Cache；
3. 框架运行开销；
4. 批处理与上下文长度带来的额外占用。

很多人只关注模型权重大小，却忽视了 KV Cache。生产环境中，长上下文和高并发往往才是显存杀手。

例如：

• 单用户、短上下文：显存压力较小；
• 多用户、高并发、长上下文：KV Cache 会快速增长；
• 上下文长度从 4K 提升到 32K，显存需求会明显增加。

因此，生产部署时不要只问“这个模型需要多少显存”，而应该结合：

模型参数量
精度类型
最大上下文长度
最大并发数
平均输入长度
平均输出长度
是否开启流式输出

综合评估。

五、系统环境初始化

以下以 Ubuntu 22.04 为例。

1. 更新系统

sudo apt update
sudo apt upgrade -y

2. 安装基础工具

sudo apt install -y git curl wget vim htop net-tools unzip \
    build-essential software-properties-common

3. 检查 GPU

nvidia-smi

如果能看到 GPU 型号、驱动版本、显存信息，说明驱动基本可用。

4. 安装 Docker

curl -fsSL https://get.docker.com | bash
sudo systemctl enable docker
sudo systemctl start docker

将当前用户加入 Docker 用户组：

sudo usermod -aG docker $USER

重新登录后验证：

docker version

5. 安装 NVIDIA Container Toolkit

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

测试容器是否可以访问 GPU：

docker run --rm --gpus all nvidia/cuda:12.3.2-base-ubuntu22.04 nvidia-smi

如果输出 GPU 信息，说明 Docker GPU 环境准备完成。

六、使用 Ollama 快速部署 DeepSeek

如果你的目标是快速体验 DeepSeek，可以使用 Ollama。它适合本地测试、演示、小团队内部使用。

1. 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

2. 拉取模型

例如：

ollama pull deepseek-r1

如果需要指定模型规模，可以根据 Ollama 官方模型库中的名称选择。

3. 启动对话

ollama run deepseek-r1

4. API 调用

Ollama 默认提供本地 API 服务，通常监听：

http://localhost:11434

示例请求：

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1",
  "prompt": "请用中文解释什么是向量数据库",
  "stream": false
}'

Ollama 的优势是简单，但在生产环境中，如果你需要更高并发、更完善的调度、更接近 OpenAI API 的兼容接口，建议使用 vLLM。

七、使用 vLLM 部署 DeepSeek 生产服务

vLLM 是目前大模型推理部署中非常常用的高性能框架，支持连续批处理、PagedAttention、OpenAI API 风格接口，适合生产环境。

1. 拉取 vLLM 镜像

docker pull vllm/vllm-openai:latest

如果生产环境追求稳定性，不建议长期使用 latest 标签，应该固定具体版本，例如：

docker pull vllm/vllm-openai:v0.6.6

实际版本请根据模型兼容性、CUDA 版本、驱动版本进行测试确认。

2. 准备模型目录

假设你已经从 Hugging Face、ModelScope 或企业内部模型仓库下载了 DeepSeek 模型，存放路径如下：

/data/models/deepseek

目录中通常包含：

config.json
tokenizer.json
tokenizer_config.json
model-00001-of-000xx.safetensors
model-00002-of-000xx.safetensors
...

如果服务器无法访问外网，建议在有网络的机器上提前下载模型，再通过内网传输到目标服务器。

3. 启动 vLLM 服务

单卡部署示例：

docker run -d \
  --name deepseek-vllm \
  --gpus all \
  --ipc=host \
  --restart=always \
  -p 8000:8000 \
  -v /data/models/deepseek:/model \
  vllm/vllm-openai:latest \
  --model /model \
  --served-model-name deepseek \
  --host 0.0.0.0 \
  --port 8000 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.90

参数说明：

4. 多卡部署示例

如果模型较大，需要多卡张量并行：

docker run -d \
  --name deepseek-vllm \
  --gpus all \
  --ipc=host \
  --restart=always \
  -p 8000:8000 \
  -v /data/models/deepseek:/model \
  vllm/vllm-openai:latest \
  --model /model \
  --served-model-name deepseek \
  --host 0.0.0.0 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.90

其中：

--tensor-parallel-size 4

表示使用 4 张 GPU 做张量并行。该值通常需要与实际 GPU 数量匹配。

八、验证 API 服务

vLLM 默认提供 OpenAI Compatible API，因此可以用类似 OpenAI 的方式调用。

1. 查看模型列表

curl http://localhost:8000/v1/models

如果返回模型信息，说明服务已启动。

2. 非流式调用

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek",
    "messages": [
      {
        "role": "system",
        "content": "你是一个专业的中文技术助手。"
      },
      {
        "role": "user",
        "content": "请解释 vLLM 的 PagedAttention 是什么。"
      }
    ],
    "temperature": 0.7,
    "max_tokens": 1024,
    "stream": false
  }'

3. 流式调用

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek",
    "messages": [
      {
        "role": "user",
        "content": "请写一段 Python 代码实现快速排序。"
      }
    ],
    "temperature": 0.6,
    "max_tokens": 1024,
    "stream": true
  }'

流式输出适合聊天机器人、智能客服、代码助手等场景，可以显著改善用户感知延迟。

九、Python 客户端调用示例

由于 vLLM 支持 OpenAI 兼容接口，可以直接使用 OpenAI SDK。

1. 安装依赖

pip install openai

2. 示例代码

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://127.0.0.1:8000/v1"
)

response = client.chat.completions.create(
    model="deepseek",
    messages=[
        {"role": "system", "content": "你是一个严谨的企业级技术顾问。"},
        {"role": "user", "content": "请给出 DeepSeek 私有化部署的注意事项。"}
    ],
    temperature=0.7,
    max_tokens=1024
)

print(response.choices[0].message.content)

如果部署在服务器上，需要将 base_url 改为服务器地址，例如：

base_url="http://10.0.0.12:8000/v1"

生产环境不建议直接暴露 8000 端口到公网，应通过网关、Nginx、API 鉴权系统或内网访问控制进行保护。

十、使用 Nginx 做反向代理

在生产环境中，通常不会让业务系统直接访问 vLLM 容器端口，而是通过 Nginx 统一代理。

1. 安装 Nginx

sudo apt install -y nginx

2. 配置反向代理

创建配置文件：

sudo vim /etc/nginx/conf.d/deepseek.conf

写入：

server {
    listen 80;
    server_name deepseek.example.com;

    client_max_body_size 20m;

    location / {
        proxy_pass http://127.0.0.1:8000;
        proxy_http_version 1.1;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_set_header Connection "";

        proxy_connect_timeout 60s;
        proxy_send_timeout 600s;
        proxy_read_timeout 600s;
    }
}

测试配置：

sudo nginx -t

重载 Nginx：

sudo systemctl reload nginx

3. 支持流式输出的注意事项

如果使用流式输出，Nginx 不应缓存响应。可以补充：

proxy_buffering off;
proxy_cache off;

完整配置示例：

location / {
    proxy_pass http://127.0.0.1:8000;
    proxy_http_version 1.1;

    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Connection "";

    proxy_buffering off;
    proxy_cache off;

    proxy_connect_timeout 60s;
    proxy_send_timeout 600s;
    proxy_read_timeout 600s;
}

十一、生产环境性能优化

DeepSeek 能否稳定服务，不仅取决于模型大小，还取决于推理框架参数和业务请求模式。

1. 控制最大上下文长度

很多部署失败或显存不足的问题，都是因为最大上下文长度设置过高。例如：

--max-model-len 32768

会比：

--max-model-len 8192

消耗更多 KV Cache。实际生产中，应根据业务需求设置合适的上下文长度。普通客服问答、知识库问答通常 4K 到 8K 已经足够；长文档分析可能需要 16K 或更高。

2. 设置合理的 max_tokens

业务侧应限制最大输出长度。例如：

"max_tokens": 1024

如果不限制，模型可能输出过长内容，导致请求耗时变长、吞吐下降、显存占用增加。

3. 使用流式输出改善体验

流式输出并不会减少总计算量，但可以降低用户等待第一段回复的时间。对于用户交互型产品，建议默认启用流式输出。

4. 控制 temperature

对于知识问答、客服、企业助手，建议使用较低温度：

"temperature": 0.2

对于创意写作、文案生成，可以适当提高：

"temperature": 0.7

5. 批处理与并发

vLLM 会自动进行连续批处理，但业务侧仍然需要限流。如果所有请求无限制涌入，可能导致排队时间过长甚至服务不可用。

建议在 API 网关层设置：

• 单用户 QPS；
• 单租户 QPS；
• 全局并发上限；
• 最大请求体大小；
• 超时时间；
• 黑白名单策略。

6. 监控 TTFT 和 TPOT

生产环境建议关注以下指标：

对于用户体验来说，TTFT 很重要；对于整体吞吐来说，TPS 和并发能力更重要。

十二、日志、监控与告警

生产环境部署完成后，必须建立监控体系。只要是线上服务，就不能只靠人工查看日志。

1. 查看容器日志

docker logs -f deepseek-vllm

如果服务启动失败，通常日志会提示模型加载错误、显存不足、CUDA 不兼容、配置文件缺失等信息。

2. GPU 监控

基础命令：

watch -n 1 nvidia-smi

可以观察：

• GPU 利用率；
• 显存占用；
• 温度；
• 功耗；
• 进程占用情况。

3. Prometheus + Grafana

生产环境建议使用 Prometheus 和 Grafana 监控服务状态。可以通过以下方式采集：

• Node Exporter：采集服务器 CPU、内存、磁盘、网络；
• DCGM Exporter：采集 NVIDIA GPU 指标；
• 应用侧埋点：采集请求耗时、错误率、token 数量；
• Nginx Exporter：采集网关请求情况。

4. 告警规则建议

建议配置以下告警：

GPU 显存使用率持续超过 95%
GPU 利用率长时间为 0 但服务仍有请求
接口 5xx 错误率超过阈值
平均响应时间超过阈值
请求队列长度持续升高
磁盘空间低于 10%
容器异常重启
服务端口不可访问

十三、安全加固建议

生产环境中，大模型服务同样需要安全加固。不要因为它只是“AI 服务”就忽略安全风险。

1. 不要直接暴露公网

除非有明确安全策略，否则不建议将 vLLM 服务直接暴露到公网。推荐架构：

业务系统 / API 网关 / Nginx / vLLM 服务

vLLM 只监听内网地址，由网关统一控制访问。

2. 增加鉴权

vLLM 本身可以配置 API Key，但企业生产环境更建议在网关层做统一鉴权，例如：

• JWT；
• OAuth2；
• API Key；
• 企业内部 SSO；
• IP 白名单；
• mTLS 双向认证。

3. 请求审计

建议记录以下信息：

• 请求用户；
• 请求时间；
• 模型名称；
• 输入 token 数；
• 输出 token 数；
• 响应耗时；
• 请求来源 IP；
• 是否命中敏感策略；
• 错误码。

注意：日志中是否记录完整 prompt 需要根据合规要求决定。如果 prompt 中可能包含敏感数据，应做脱敏或只记录摘要。

4. 防止 Prompt 注入

如果 DeepSeek 用于知识库问答或 Agent 场景，需要注意 Prompt 注入风险。用户可能通过输入诱导模型泄露系统提示词、绕过规则或执行危险操作。

建议：

• 系统提示词中明确边界；
• 工具调用前进行权限校验；
• 对模型输出进行安全过滤；
• Agent 动作必须经过业务规则验证；
• 不要让模型直接决定高风险操作。

5. 内容安全

对于面向外部用户的应用，需要加入内容安全审核，例如：

• 敏感词检测；
• 违法违规内容过滤；
• 个人隐私检测；
• 输出合规审查；
• 高风险主题拦截。

十四、容器编排与高可用部署

如果只是单机单容器部署，故障恢复能力有限。生产环境建议使用 Kubernetes 或至少使用 Docker Compose 管理服务。

1. Docker Compose 示例

创建 docker-compose.yml：

version: "3.9"

services:
  deepseek-vllm:
    image: vllm/vllm-openai:latest
    container_name: deepseek-vllm
    restart: always
    ports:
      - "8000:8000"
    volumes:
      - /data/models/deepseek:/model
    ipc: host
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    command:
      - --model
      - /model
      - --served-model-name
      - deepseek
      - --host
      - 0.0.0.0
      - --port
      - "8000"
      - --max-model-len
      - "8192"
      - --gpu-memory-utilization
      - "0.90"

启动：

docker compose up -d

查看状态：

docker compose ps

停止服务：

docker compose down

2. Kubernetes 部署思路

Kubernetes 适合多节点、多实例、弹性扩容和统一运维。大致架构如下：

Ingress / API Gateway
        ↓
Service
        ↓
DeepSeek vLLM Pod
        ↓
GPU Node

需要注意：

• GPU 节点必须安装 NVIDIA Device Plugin；
• 模型文件可以通过 PVC、宿主机挂载或对象存储同步；
• 大模型启动慢，Readiness Probe 要设置足够宽松；
• 不建议频繁滚动重启大模型服务；
• 多副本部署时需要考虑模型加载对磁盘和网络的压力。

十五、常见问题排查

1. 服务启动时报 CUDA 错误

可能原因：

• NVIDIA 驱动版本过低；
• CUDA 版本与容器不匹配；
• NVIDIA Container Toolkit 未安装或配置失败；
• 容器未正确添加 --gpus all。

排查命令：

nvidia-smi
docker run --rm --gpus all nvidia/cuda:12.3.2-base-ubuntu22.04 nvidia-smi

2. 模型加载失败

可能原因：

• 模型文件不完整；
• 路径挂载错误；
• 权限不足；
• config.json 不兼容；
• vLLM 版本不支持该模型结构。

解决建议：

ls -lh /data/models/deepseek
docker logs -f deepseek-vllm

确认模型目录完整，并尝试更换 vLLM 版本。

3. 显存不足 OOM

常见解决方法：

• 降低 --max-model-len；
• 降低 --gpu-memory-utilization；
• 使用量化模型；
• 减少并发；
• 增加 GPU 数量；
• 使用张量并行；
• 换更小模型。

例如：

--max-model-len 4096

比 8192 更省显存。

4. 首次请求很慢

大模型服务首次启动或首次推理时可能存在 warm-up 过程。可以在服务启动后主动发送一次测试请求进行预热。

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek",
    "messages": [{"role": "user", "content": "你好"}],
    "max_tokens": 16
  }'

5. 流式输出被 Nginx 阻塞

通常是 Nginx 开启了缓冲。需要配置：

proxy_buffering off;
proxy_cache off;

并确保客户端正确处理 SSE 流。

6. 响应质量不稳定

可以从以下方面排查：

• Prompt 是否清晰；
• temperature 是否过高；
• 是否使用了不合适的量化模型；
• 是否传入了过长且混乱的上下文；
• RAG 检索结果是否准确；
• 系统提示词是否与用户问题冲突。

十六、生产环境推荐架构

一个较完整的企业级 DeepSeek 部署架构如下：

用户 / 业务系统
      ↓
API 网关
      ↓
鉴权、限流、审计
      ↓
Nginx / Ingress
      ↓
DeepSeek 推理服务 vLLM
      ↓
GPU 服务器集群
      ↓
日志系统 / 监控系统 / 告警系统

如果结合知识库问答，还可以增加：

文档上传
  ↓
文本切分
  ↓
Embedding 模型
  ↓
向量数据库
  ↓
检索召回
  ↓
Prompt 拼接
  ↓
DeepSeek 生成答案

推荐组件包括：

十七、实测部署经验总结

在真实生产环境中，DeepSeek 部署最容易踩坑的地方并不是“命令怎么写”，而是资源规划和稳定性治理。

1. 不要一开始就追求最大模型

很多团队一上来就想部署最大参数模型，结果发现显存不够、并发很低、响应时间过长。实际业务中，中等模型配合良好的 Prompt、RAG 和业务规则，往往已经能满足大多数需求。

2. 上下文长度不要盲目拉满

长上下文很有吸引力，但成本也很高。上下文越长，显存和推理延迟都会上升。建议先分析业务真实需求，再设置合理的 max_model_len。

3. Prompt 工程仍然重要

部署了强模型并不代表结果一定好。系统提示词、输入格式、知识库检索质量、输出约束都会影响最终效果。尤其在企业场景中，答案是否可控往往比模型本身能力更关键。

4. 要有降级方案

生产系统必须考虑故障场景。例如：

• GPU 服务不可用时，是否切换备用模型；
• 高峰期是否限制长文本请求；
• 是否提供排队提示；
• 是否切换到云端 API；
• 是否返回模板化回答。

5. 建议建立评测集

上线前应准备一批真实业务问题，形成固定评测集。每次更换模型、修改 Prompt、调整量化方式、升级推理框架时，都用同一批问题测试效果和性能。

评测维度包括：

• 准确性；
• 完整性；
• 幻觉率；
• 响应时间；
• token 成本；
• 用户满意度；
• 安全合规性。

十八、结语

DeepSeek 私有化部署并不复杂，使用 Ollama 可以快速体验，使用 vLLM 可以较好地满足生产环境推理服务需求。但真正的生产部署，重点不只是把模型跑起来，而是要让它稳定、安全、可监控、可扩展、可回滚。

如果你正在做企业级部署，建议按照以下顺序推进：

1. 先明确业务场景和效果目标；
2. 选择合适模型，而不是盲目选择最大模型；
3. 在测试环境完成基础部署；
4. 使用真实业务数据进行评测；
5. 优化上下文长度、并发、限流和 Prompt；
6. 接入监控、日志、告警和鉴权；
7. 小流量灰度上线；
8. 持续评估和迭代。

只要资源规划合理、部署参数得当、运维体系完善，DeepSeek 完全可以成为企业内部知识助手、代码助手、智能客服、数据分析助手和业务自动化系统的重要基础能力。