DeepSeek 生产环境部署指南｜附源码

随着大模型应用在企业内部知识库、智能客服、代码助手、数据分析等场景中的落地，越来越多团队开始关注如何将 DeepSeek 类大语言模型稳定、安全、高效地部署到生产环境中。相比本地体验或 Demo 级部署，生产环境更关注 高可用、并发能力、权限控制、日志审计、资源利用率、成本控制与可维护性。

本文将以一个较完整的工程化视角，介绍 DeepSeek 在生产环境中的部署方案，并给出可直接参考的源码示例。本文默认你已经具备 Linux、Docker、Python、Nginx 等基础知识。

一、部署目标与整体架构

在生产环境中，我们通常不会直接把模型服务暴露给业务系统，而是采用分层架构：

用户 / 业务系统
      |
      v
Nginx / API Gateway
      |
      v
应用服务层 FastAPI
      |
      v
模型推理服务 vLLM / Ollama / Transformers
      |
      v
GPU 服务器 / 模型文件 / 日志系统

推荐生产架构如下：

1. Nginx：负责 HTTPS、限流、反向代理、基础访问控制。
2. FastAPI 应用层：负责统一 API、鉴权、参数校验、日志记录、业务封装。
3. 模型推理服务：负责加载 DeepSeek 模型并提供推理能力。
4. 监控与日志系统：如 Prometheus、Grafana、ELK、Loki 等。
5. 容器化部署：使用 Docker 或 Kubernetes 管理服务生命周期。

二、模型选择建议

DeepSeek 生态中存在不同规模和用途的模型，例如：

• DeepSeek-V2 / V3 系列
• DeepSeek-R1 推理模型
• DeepSeek-Coder 代码模型
• 各种蒸馏版本，如 1.5B、7B、14B、32B、70B 等

生产环境选型时，不应只看参数规模，而应综合考虑：

如果是企业内部知识库、客服助手等通用场景，可以优先考虑 7B、14B 或 32B 蒸馏模型；如果是复杂推理任务，可以考虑 DeepSeek-R1 相关模型；如果主要做代码生成和代码分析，可以考虑 DeepSeek-Coder 系列。

三、服务器环境准备

生产环境建议使用 Ubuntu 22.04 LTS 或 Rocky Linux 9。GPU 服务器建议满足以下条件：

检查 GPU 状态：

nvidia-smi

安装 Docker：

curl -fsSL https://get.docker.com | bash
systemctl enable docker
systemctl start docker

安装 NVIDIA Container Toolkit：

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container-toolkit.list \
  | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
  > /etc/apt/sources.list.d/nvidia-container-toolkit.list

apt update
apt install -y nvidia-container-toolkit

nvidia-ctk runtime configure --runtime=docker
systemctl restart docker

验证容器 GPU 是否可用：

docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi

四、使用 vLLM 部署 DeepSeek 模型

生产环境推荐使用 vLLM 作为模型推理服务，因为它在吞吐、并发、显存优化方面表现较好，并且兼容 OpenAI API 格式，便于业务系统接入。

1. 下载模型

可以从 Hugging Face 或 ModelScope 下载模型。以 Hugging Face 为例：

mkdir -p /data/models
cd /data/models

git lfs install
git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B

如果服务器无法访问 Hugging Face，可以使用 ModelScope 镜像或提前离线下载后上传。

2. 启动 vLLM 服务

docker run -d \
  --name deepseek-vllm \
  --gpus all \
  --restart always \
  -p 8000:8000 \
  -v /data/models:/models \
  vllm/vllm-openai:latest \
  --model /models/DeepSeek-R1-Distill-Qwen-7B \
  --served-model-name deepseek-r1-7b \
  --host 0.0.0.0 \
  --port 8000 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

参数说明：

验证服务：

curl http://127.0.0.1:8000/v1/models

五、FastAPI 网关服务源码

虽然 vLLM 已经兼容 OpenAI API，但在生产中仍建议增加应用层服务，便于统一鉴权、日志、限流、参数治理和业务扩展。

项目结构如下：

deepseek-gateway/
├── app.py
├── config.py
├── requirements.txt
├── Dockerfile
└── docker-compose.yml

1. requirements.txt

fastapi==0.115.0
uvicorn[standard]==0.30.6
httpx==0.27.2
pydantic==2.8.2
python-dotenv==1.0.1

2. config.py

import os
from dotenv import load_dotenv

load_dotenv()

VLLM_BASE_URL = os.getenv("VLLM_BASE_URL", "http://127.0.0.1:8000")
API_KEY = os.getenv("API_KEY", "change-me")
DEFAULT_MODEL = os.getenv("DEFAULT_MODEL", "deepseek-r1-7b")
REQUEST_TIMEOUT = int(os.getenv("REQUEST_TIMEOUT", "120"))

3. app.py

import time
import uuid
from typing import List, Optional

import httpx
from fastapi import FastAPI, Header, HTTPException, Request
from fastapi.responses import StreamingResponse
from pydantic import BaseModel

from config import VLLM_BASE_URL, API_KEY, DEFAULT_MODEL, REQUEST_TIMEOUT

app = FastAPI(title="DeepSeek Gateway", version="1.0.0")


class Message(BaseModel):
    role: str
    content: str


class ChatRequest(BaseModel):
    messages: List[Message]
    model: Optional[str] = None
    temperature: Optional[float] = 0.7
    top_p: Optional[float] = 0.9
    max_tokens: Optional[int] = 2048
    stream: Optional[bool] = False


def check_api_key(authorization: Optional[str]):
    if not authorization:
        raise HTTPException(status_code=401, detail="Missing Authorization header")

    prefix = "Bearer "
    if not authorization.startswith(prefix):
        raise HTTPException(status_code=401, detail="Invalid Authorization format")

    token = authorization[len(prefix):]
    if token != API_KEY:
        raise HTTPException(status_code=403, detail="Invalid API key")


@app.get("/health")
async def health():
    return {
        "status": "ok",
        "service": "deepseek-gateway",
        "time": int(time.time())
    }


@app.post("/v1/chat/completions")
async def chat_completions(
    body: ChatRequest,
    request: Request,
    authorization: Optional[str] = Header(default=None)
):
    check_api_key(authorization)

    request_id = str(uuid.uuid4())
    client_ip = request.client.host if request.client else "unknown"

    payload = {
        "model": body.model or DEFAULT_MODEL,
        "messages": [m.model_dump() for m in body.messages],
        "temperature": body.temperature,
        "top_p": body.top_p,
        "max_tokens": body.max_tokens,
        "stream": body.stream
    }

    print({
        "request_id": request_id,
        "client_ip": client_ip,
        "model": payload["model"],
        "stream": payload["stream"],
        "message_count": len(payload["messages"])
    })

    url = f"{VLLM_BASE_URL}/v1/chat/completions"

    if body.stream:
        async def stream_generator():
            async with httpx.AsyncClient(timeout=REQUEST_TIMEOUT) as client:
                async with client.stream("POST", url, json=payload) as response:
                    if response.status_code != 200:
                        error_text = await response.aread()
                        yield error_text
                        return

                    async for chunk in response.aiter_bytes():
                        yield chunk

        return StreamingResponse(
            stream_generator(),
            media_type="text/event-stream"
        )

    async with httpx.AsyncClient(timeout=REQUEST_TIMEOUT) as client:
        response = await client.post(url, json=payload)

    if response.status_code != 200:
        raise HTTPException(
            status_code=response.status_code,
            detail=response.text
        )

    return response.json()

4. Dockerfile

FROM python:3.11-slim

WORKDIR /app

COPY requirements.txt /app/requirements.txt

RUN pip install --no-cache-dir -r requirements.txt \
    -i https://pypi.tuna.tsinghua.edu.cn/simple

COPY . /app

EXPOSE 9000

CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "9000", "--workers", "2"]

5. docker-compose.yml

version: "3.9"

services:
  deepseek-gateway:
    build: .
    container_name: deepseek-gateway
    restart: always
    ports:
      - "9000:9000"
    environment:
      VLLM_BASE_URL: "http://host.docker.internal:8000"
      API_KEY: "your-production-api-key"
      DEFAULT_MODEL: "deepseek-r1-7b"
      REQUEST_TIMEOUT: "120"
    extra_hosts:
      - "host.docker.internal:host-gateway"

启动应用层服务：

docker compose up -d --build

测试请求：

curl http://127.0.0.1:9000/v1/chat/completions \
  -H "Authorization: Bearer your-production-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1-7b",
    "messages": [
      {
        "role": "user",
        "content": "请用三句话介绍 DeepSeek。"
      }
    ],
    "temperature": 0.7,
    "max_tokens": 512
  }'

六、Nginx 反向代理配置

生产环境不建议直接暴露 FastAPI 服务端口，而应通过 Nginx 统一入口。

安装 Nginx：

apt install -y nginx

配置文件 /etc/nginx/conf.d/deepseek.conf：

server {
    listen 80;
    server_name deepseek.example.com;

    client_max_body_size 20m;

    location / {
        proxy_pass http://127.0.0.1:9000;
        proxy_http_version 1.1;

        proxy_set_header Host $host;
        proxy_set_header Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_read_timeout 300s;
        proxy_connect_timeout 60s;
        proxy_send_timeout 300s;
    }
}

重载配置：

nginx -t
systemctl reload nginx

如果需要 HTTPS，可以使用 Certbot：

apt install -y certbot python3-certbot-nginx

certbot --nginx -d deepseek.example.com

七、生产环境安全建议

模型服务一旦上线，安全问题必须重点考虑。

1. 不要直接暴露 vLLM 端口

vLLM 默认没有业务级鉴权，如果直接暴露到公网，可能被恶意调用，导致 GPU 资源耗尽甚至产生敏感信息风险。建议：

• vLLM 只监听内网或本机；
• 外部请求必须经过 API Gateway；
• 使用防火墙限制端口访问。

示例：

ufw allow 22
ufw allow 80
ufw allow 443
ufw deny 8000
ufw enable

2. API Key 管理

不要把 API Key 写死在代码中，应使用环境变量、密钥管理系统或 Kubernetes Secret。并且要支持定期轮换。

3. 输入输出审计

对于企业场景，应记录必要日志，例如：

• 调用方身份；
• 请求时间；
• Token 用量；
• 模型名称；
• 响应耗时；
• 异常状态码。

但要注意不要直接记录用户隐私、密码、身份证、合同等敏感数据。可以采用脱敏策略。

4. 防止提示词攻击

大模型应用容易受到 Prompt Injection 影响。建议：

• 在系统提示词中明确权限边界；
• 对外部文档内容做隔离；
• 不允许模型直接执行高危操作；
• 对工具调用结果进行后端校验；
• 重要业务流程必须有人审或规则兜底。

八、性能优化建议

1. 合理设置上下文长度

--max-model-len 越大，显存压力越高。很多业务并不需要 32K 或 64K 上下文。生产环境中建议根据真实业务设定，例如：

--max-model-len 4096

或：

--max-model-len 8192

2. 控制 max_tokens

很多系统默认 max_tokens 设置过大，导致单次请求占用时间过长。建议在应用层限制最大值：

if body.max_tokens and body.max_tokens > 4096:
    raise HTTPException(status_code=400, detail="max_tokens too large")

3. 使用流式输出

对于交互式聊天场景，推荐开启 stream=true。这样用户可以更快看到首字响应，显著改善体验。

4. 批处理与并发

vLLM 已经具备较好的 continuous batching 能力。如果并发继续升高，可以考虑：

• 多 GPU 张量并行；
• 多实例部署；
• Kubernetes HPA；
• 按模型大小拆分服务；
• 使用队列削峰。

5. 量化部署

如果显存有限，可以考虑 AWQ、GPTQ、GGUF 等量化模型。但量化可能影响推理质量，建议在业务测试集上验证后再上线。

九、监控与告警

生产环境至少需要监控以下指标：

常用命令：

watch -n 1 nvidia-smi

查看容器日志：

docker logs -f deepseek-vllm
docker logs -f deepseek-gateway

如果使用 Prometheus，可以进一步接入 DCGM Exporter 监控 GPU：

docker run -d \
  --name dcgm-exporter \
  --gpus all \
  --restart always \
  -p 9400:9400 \
  nvcr.io/nvidia/k8s/dcgm-exporter:latest

十、故障排查

1. 模型启动失败

常见原因：

• 显存不足；
• 模型路径错误；
• CUDA 驱动版本不兼容；
• 模型文件未完整下载。

排查命令：

docker logs deepseek-vllm
nvidia-smi
ls -lh /data/models/DeepSeek-R1-Distill-Qwen-7B

2. 请求超时

可能原因：

• 模型太大；
• 并发过高；
• max_tokens 太大；
• Nginx 超时时间太短。

可适当调整：

proxy_read_timeout 300s;

同时在应用层限制单次请求长度。

3. 显存溢出

解决方案：

• 降低 --max-model-len；
• 降低并发；
• 使用更小模型；
• 使用量化模型；
• 调整 --gpu-memory-utilization。

4. 返回内容质量不稳定

可以从以下方面优化：

• 调整 temperature；
• 增加系统提示词；
• 优化知识库召回；
• 更换更合适的模型；
• 准备业务评测集进行离线评估。

十一、上线检查清单

正式上线前，建议逐项检查：

• [ ] GPU 驱动与 CUDA 正常；
• [ ] Docker GPU 运行时可用；
• [ ] 模型文件完整；
• [ ] vLLM 服务可正常访问；
• [ ] FastAPI 网关鉴权生效；
• [ ] Nginx 反向代理正常；
• [ ] HTTPS 证书配置完成；
• [ ] 防火墙已关闭不必要端口；
• [ ] 日志可追踪请求；
• [ ] 监控与告警已配置；
• [ ] 压测结果满足业务要求；
• [ ] API Key 未硬编码在代码仓库；
• [ ] 已制定异常重启和回滚方案。

十二、总结

DeepSeek 的生产环境部署并不只是“把模型跑起来”，而是一个完整的工程体系。真正可用的生产系统至少需要包含模型推理、应用网关、鉴权、日志、监控、限流、安全隔离和故障恢复等能力。

对于中小团队，推荐采用 vLLM + FastAPI + Nginx + Docker 的部署方式，既能保证较好的推理性能，也具备较强的可维护性。对于更大规模的企业场景，可以进一步引入 Kubernetes、服务网格、统一日志平台、GPU 调度系统和多模型路由能力。

本文提供的源码可以作为 DeepSeek 私有化部署的基础模板。你可以在此基础上继续扩展用户管理、计费统计、知识库 RAG、模型路由、敏感词过滤、审计报表等功能，从而构建真正适合企业生产环境的大模型平台。