赋予执行权限：

chmod +x deploy-deepseek.sh

执行部署：

./deploy-deepseek.sh

部署完成后，可以查看日志：

docker logs -f deepseek-vllm

七、接口调用测试

vLLM 提供 OpenAI-Compatible API，可以使用 curl 测试：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer change-me-to-a-strong-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek",
    "messages": [
      {
        "role": "system",
        "content": "你是一个专业的企业级AI助手。"
      },
      {
        "role": "user",
        "content": "请介绍一下DeepSeek生产环境部署的核心注意事项。"
      }
    ],
    "temperature": 0.7,
    "max_tokens": 512
  }'

如果返回正常的 JSON 响应，说明服务已经部署成功。

业务系统也可以直接使用 OpenAI SDK，只需将 base_url 修改为本地 DeepSeek 服务地址即可。

Python 示例：

from openai import OpenAI

client = OpenAI(
    api_key="change-me-to-a-strong-key",
    base_url="http://127.0.0.1:8000/v1"
)

response = client.chat.completions.create(
    model="deepseek",
    messages=[
        {"role": "system", "content": "你是一个企业级AI助手。"},
        {"role": "user", "content": "请生成一份生产环境部署检查清单。"}
    ],
    temperature=0.7,
    max_tokens=512
)

print(response.choices[0].message.content)

八、Nginx 反向代理与 HTTPS 配置

生产环境不建议直接将推理服务裸露在公网。建议在前面增加 Nginx 或 API 网关，实现 HTTPS、访问控制、限流和日志记录。

1. Nginx 配置示例

server {
    listen 443 ssl;
    server_name ai.example.com;

    ssl_certificate /etc/nginx/certs/ai.example.com.crt;
    ssl_certificate_key /etc/nginx/certs/ai.example.com.key;

    client_max_body_size 20m;

    location / {
        proxy_pass http://127.0.0.1:8000;
        proxy_http_version 1.1;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_read_timeout 600s;
        proxy_send_timeout 600s;
    }
}

如果模型响应较慢，需要适当调大 proxy_read_timeout，否则长文本生成时可能出现连接中断。

2. 限流配置示例

limit_req_zone $binary_remote_addr zone=api_limit:10m rate=5r/s;

server {
    listen 443 ssl;
    server_name ai.example.com;

    location / {
        limit_req zone=api_limit burst=20 nodelay;
        proxy_pass http://127.0.0.1:8000;
    }
}

限流可以防止某个业务方或异常请求占满 GPU 资源。

九、生产参数调优建议

DeepSeek 推理性能与参数配置密切相关，以下参数需要重点关注。

1. tensor-parallel-size

该参数表示张量并行数量。单卡部署时设置为：

--tensor-parallel-size 1

如果使用 2 张 GPU，可以设置：

--tensor-parallel-size 2

多卡并行时，模型会被切分到多张 GPU 上，可以部署更大的模型，但也会引入通信开销。

2. max-model-len

该参数表示模型最大上下文长度。上下文越长，显存占用越高，推理速度可能越慢。

生产环境建议根据业务实际需求设置，例如：

--max-model-len 4096

或：

--max-model-len 8192

如果业务不需要超长上下文，不建议盲目设置过大。

3. gpu-memory-utilization

该参数控制 GPU 显存利用率：

--gpu-memory-utilization 0.90

如果服务启动后容易出现显存溢出，可以适当降低到 0.85 或 0.80。

4. max-num-seqs

该参数控制最大并发序列数量。并发越高，吞吐越高，但单请求延迟可能增加。生产中需要通过压测确定最佳值。

示例：

--max-num-seqs 64

十、日志、监控与告警

生产环境必须具备可观测能力，否则一旦服务出现性能下降、显存不足、请求堆积或接口异常，将很难快速定位问题。

1. 日志关注点

建议记录以下信息：

• 请求时间；
• 请求来源；
• 模型名称；
• 输入 token 数；
• 输出 token 数；
• 响应耗时；
• HTTP 状态码；
• 错误信息；
• GPU 使用情况。

需要注意，生产环境不应默认记录完整用户输入和模型输出，尤其是涉及隐私、商业数据或敏感信息的场景。可以只记录摘要、哈希值或脱敏后的内容。

2. GPU 监控

可以使用 DCGM Exporter 采集 NVIDIA GPU 指标，再通过 Prometheus 和 Grafana 展示。

常见关注指标包括：

GPU 利用率
GPU 显存使用率
GPU 温度
GPU 功耗
推理服务 QPS
请求平均耗时
P95 / P99 延迟
失败率
容器重启次数

3. 告警策略

建议至少配置以下告警：

十一、权限、安全与数据保护

生产环境部署 DeepSeek 时，安全问题必须前置考虑。

1. API Key 管理

不要使用示例中的默认 API Key。建议使用高强度密钥，并定期轮换。

API_KEY="your-production-secret-key"

如果有多个业务系统调用 DeepSeek，建议为每个业务方分配独立 Key，便于审计和限流。

2. 网络隔离

推荐部署方式：

• 推理服务只监听内网；
• 通过 API 网关统一暴露接口；
• 公网访问必须走 HTTPS；
• 关键服务部署在安全组或防火墙之后；
• 禁止无鉴权访问。

3. 敏感信息脱敏

如果业务请求中可能包含身份证号、手机号、客户资料、合同内容等敏感信息，应在进入模型前进行脱敏处理。

例如：

手机号：138****8888
身份证号：110101********1234
邮箱：u***@example.com

4. 日志审计

需要明确以下问题：

• 谁在什么时间调用了模型；
• 调用了哪个模型；
• 使用了多少 token；
• 是否出现异常；
• 是否存在高频调用或异常调用。

对于金融、医疗、政企等行业，日志审计尤其重要。

十二、Kubernetes 生产部署思路

当业务访问量较大，或者需要多节点高可用时，可以将 DeepSeek 部署到 Kubernetes 集群中。

1. 节点要求

Kubernetes GPU 节点需要安装：

• NVIDIA Driver；
• NVIDIA Container Toolkit；
• NVIDIA Device Plugin；
• containerd 或 Docker；
• GPU 监控组件。

2. Deployment 示例

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deepseek-vllm
  namespace: ai
spec:
  replicas: 1
  selector:
    matchLabels:
      app: deepseek-vllm
  template:
    metadata:
      labels:
        app: deepseek-vllm
    spec:
      containers:
        - name: deepseek-vllm
          image: vllm/vllm-openai:latest
          ports:
            - containerPort: 8000
          env:
            - name: VLLM_API_KEY
              valueFrom:
                secretKeyRef:
                  name: deepseek-secret
                  key: api-key
          command:
            - python3
            - -m
            - vllm.entrypoints.openai.api_server
          args:
            - --model
            - /models/deepseek
            - --host
            - 0.0.0.0
            - --port
            - "8000"
            - --served-model-name
            - deepseek
            - --tensor-parallel-size
            - "1"
            - --max-model-len
            - "8192"
            - --gpu-memory-utilization
            - "0.90"
          volumeMounts:
            - name: model-volume
              mountPath: /models/deepseek
          resources:
            limits:
              nvidia.com/gpu: 1
      volumes:
        - name: model-volume
          hostPath:
            path: /data/models/deepseek
            type: Directory

3. Service 示例

apiVersion: v1
kind: Service
metadata:
  name: deepseek-vllm
  namespace: ai
spec:
  selector:
    app: deepseek-vllm
  ports:
    - port: 8000
      targetPort: 8000
  type: ClusterIP

4. Secret 示例

apiVersion: v1
kind: Secret
metadata:
  name: deepseek-secret
  namespace: ai
type: Opaque
stringData:
  api-key: "your-production-secret-key"

在 Kubernetes 中，建议通过 Ingress Gateway 或 API Gateway 统一对外暴露服务，并结合 HPA、日志系统和监控系统进行运维管理。

十三、灰度发布与版本升级

模型和推理框架升级存在一定风险。生产环境不建议直接替换线上服务，而应采用灰度发布策略。

推荐流程：

1. 在测试环境部署新版本模型；
2. 使用固定测试集验证回答质量；
3. 进行性能压测；
4. 部署灰度实例；
5. 将少量流量切换到新版本；
6. 观察错误率、延迟、用户反馈；
7. 确认稳定后逐步扩大流量；
8. 保留旧版本回滚能力。

如果使用 API 网关，可以按权重分流：

deepseek-v1：90%
deepseek-v2：10%

当新版本出现问题时，可以快速将流量切回旧版本。

十四、压测与容量规划

上线前必须进行压测。压测重点不是单纯追求 QPS，而是要评估不同请求长度、不同输出长度、不同并发量下的真实表现。

建议测试以下场景：

关注指标包括：

• 首 token 延迟；
• 总响应时间；
• tokens/s；
• 并发吞吐；
• GPU 利用率；
• 显存占用；
• 错误率；
• 超时率。

根据压测结果，可以确定单实例容量，并进一步规划需要多少 GPU 实例。

十五、常见问题与解决方案

1. 服务启动时报显存不足

可能原因：

• 模型过大；
• 上下文长度设置过高；
• GPU 显存不足；
• 并发参数过高。

解决方案：

降低 max-model-len
降低 gpu-memory-utilization
使用量化模型
增加 GPU 数量
选择更小模型

2. 接口响应慢

可能原因：

• 输入上下文太长；
• 输出 token 太多；
• 并发过高；
• GPU 利用率过高；
• 网关超时设置过短。

解决方案：

限制 max_tokens
优化 prompt
增加推理实例
开启流式输出
进行压测调参

3. Docker 容器无法识别 GPU

检查：

nvidia-smi
docker run --rm --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi

如果宿主机可识别 GPU，但容器不可识别，通常是 NVIDIA Container Toolkit 未正确安装或 Docker runtime 未配置。

4. 模型下载失败

生产环境建议不要依赖启动时在线下载。可以提前下载模型权重，并挂载到容器中。

5. 长文本生成中断

检查 Nginx 或网关超时时间，例如：

proxy_read_timeout 600s;
proxy_send_timeout 600s;

同时建议使用流式输出，改善用户体验。

十六、生产上线检查清单

上线前建议逐项确认：

[ ] GPU 驱动正常
[ ] Docker GPU Runtime 正常
[ ] 模型文件完整
[ ] 推理服务可正常启动
[ ] API Key 已修改为强密钥
[ ] 服务未直接裸露公网
[ ] Nginx / 网关已配置 HTTPS
[ ] 已配置限流策略
[ ] 已配置日志采集
[ ] 已配置 GPU 监控
[ ] 已配置错误率和延迟告警
[ ] 已完成压测
[ ] 已准备回滚方案
[ ] 已设置数据脱敏策略
[ ] 已明确日志保留周期
[ ] 已完成业务系统联调

十七、总结

DeepSeek 的生产环境部署，核心并不是简单地启动一个模型服务，而是构建一套稳定、安全、可观测、可扩展的 AI 推理平台。对于中小规模场景，可以优先采用 Docker Compose 配合 vLLM 的方式实现一键部署，快速提供 OpenAI-Compatible API；对于大规模生产场景，则建议使用 Kubernetes、API 网关、Prometheus、Grafana、日志平台和灰度发布体系，形成完整的工程化能力。

从实践角度看，企业落地 DeepSeek 时应重点关注以下几点：

1. 根据业务场景选择合适模型，不盲目追求最大参数规模；
2. 使用高性能推理框架提升 GPU 利用率；
3. 通过 API 网关实现鉴权、限流和审计；
4. 通过监控告警保障服务稳定；
5. 通过压测确定容量边界；
6. 通过灰度发布降低升级风险；
7. 通过数据脱敏和网络隔离保障安全合规。

如果希望快速上线，本文提供的一键部署脚本已经可以满足基础生产使用需求。但在正式承载核心业务前，仍应根据企业实际情况完善安全、监控、备份、回滚和容量规划。只有这样，DeepSeek 才能真正从“模型可运行”走向“业务可依赖”。