DeepSeek 私有化部署方案｜附源码

随着大模型技术在企业数字化转型中的应用不断深入，越来越多企业开始关注 DeepSeek 私有化部署。相比直接调用公有云 API，私有化部署能够更好地满足企业在 数据安全、权限管控、成本优化、业务定制、离线运行 等方面的需求。尤其是在金融、政务、医疗、制造、教育、能源等行业，内部知识库、业务系统数据、客户隐私数据往往无法直接暴露到公网环境，因此将 DeepSeek 或同类开源大模型部署在企业内网，已经成为非常现实且必要的技术路线。

本文将围绕 DeepSeek 私有化部署进行系统说明，包括部署架构、硬件选型、模型选择、推理服务搭建、接口封装、知识库增强、前端调用以及完整示例源码，帮助你快速构建一套可落地的大模型私有化应用方案。

一、为什么要做 DeepSeek 私有化部署？

企业使用大模型通常有两种方式：

1. 调用云端大模型 API；
2. 在本地或私有云环境中部署开源模型。

云端 API 的优势是接入简单、免运维、性能稳定，但也存在一些明显限制。例如，数据需要传输到第三方服务商，企业无法完全掌控模型运行环境；调用费用通常按照 token 计费，当企业内部使用量较大时，成本可能快速上升；此外，云端模型的能力更新、服务可用性、接口规则也由服务商控制。

私有化部署则可以让企业将模型运行在自己的服务器、机房、私有云或容器平台中，所有数据都在内网流转，更适合涉及敏感信息的业务场景。其主要优势包括：

• 数据安全可控：用户输入、业务数据、知识库内容不出内网；
• 成本可预测：前期硬件投入后，可支撑大量内部调用；
• 系统可定制：可结合企业业务系统、知识库、权限体系进行深度集成；
• 离线可用：即使无法访问公网，也能保持模型服务运行；
• 便于二次开发：支持微调、RAG、Agent、工具调用等扩展能力。

当然，私有化部署也意味着企业需要自行承担硬件投入、模型部署、性能优化、系统维护等工作。因此在实施前，需要充分评估业务需求和技术能力。

二、DeepSeek 私有化部署总体架构

一个较完整的 DeepSeek 私有化应用系统，通常可以分为以下几层：

┌──────────────────────────────┐
│        Web / App / 企业系统   │
└───────────────┬──────────────┘
                │
┌───────────────▼──────────────┐
│        API 网关 / 后端服务     │
│  鉴权、限流、日志、上下文管理   │
└───────────────┬──────────────┘
                │
┌───────────────▼──────────────┐
│      大模型推理服务层          │
│  vLLM / Ollama / LMDeploy等   │
└───────────────┬──────────────┘
                │
┌───────────────▼──────────────┐
│      模型文件与运行环境        │
│  DeepSeek-R1 / Coder / Distill│
└──────────────────────────────┘

可选增强模块：
┌──────────────────────────────┐
│  向量数据库 / 企业知识库 RAG   │
│  Milvus / Qdrant / FAISS      │
└──────────────────────────────┘

从工程角度看，私有化部署并不仅仅是“把模型跑起来”，更重要的是构建一套完整的应用链路。模型推理服务负责生成回答，后端服务负责统一接口、权限校验和业务编排，知识库模块负责提供企业私有数据增强，前端或企业业务系统则负责实际交互。

三、模型选择建议

DeepSeek 相关模型有多个方向，不同模型适用于不同场景。企业部署时，不一定要追求最大参数量，而应结合显卡资源、响应速度、应用场景来选择。

常见选择如下：

如果是企业内部知识库问答、办公助手、合同分析、制度问答等场景，可以优先考虑蒸馏版本或较小参数量模型，再结合 RAG 检索增强。如果是代码助手、研发问答、脚本生成等场景，可选择 DeepSeek-Coder 方向模型。如果需要复杂推理，则可以考虑 R1 相关模型。

四、硬件配置建议

硬件资源是私有化部署中非常关键的一环。大模型推理主要依赖 GPU 显存，不同参数规模对显存要求差异明显。

以下是一个参考配置：

如果预算有限，可以优先选择量化模型，例如 4bit 或 8bit 量化版本。量化可以显著降低显存占用，但可能带来一定精度下降和速度变化。对于企业生产环境，建议在上线前进行充分测试，包括回答质量、响应时间、并发能力和稳定性。

五、部署方式选择

DeepSeek 私有化部署常见方式主要有三种：

1. Ollama 部署

Ollama 的优势是简单易用，适合快速验证、个人开发、内部小规模服务。它封装了模型下载、运行、接口调用等流程，部署门槛较低。

适合场景：

• 快速 Demo；
• 小团队内部助手；
• 本地开发环境；
• 低并发应用。

2. vLLM 部署

vLLM 是生产环境中常用的大模型推理框架，支持高吞吐推理、连续批处理、OpenAI API 兼容接口，适合企业服务化部署。

适合场景：

• 企业级 API 服务；
• 多用户并发访问；
• 统一大模型网关；
• 与现有业务系统集成。

3. Docker / Kubernetes 部署

如果企业已有容器平台，可以将推理服务、后端服务、向量数据库、前端系统统一容器化部署。对于生产环境，推荐使用 Docker Compose 或 Kubernetes 进行编排，便于扩缩容、监控和维护。

六、方案一：使用 Ollama 快速部署 DeepSeek

Ollama 是最容易上手的部署方式。以下以 Linux 环境为例。

1. 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，启动服务：

ollama serve

如果作为系统服务运行，可以检查状态：

systemctl status ollama

2. 拉取 DeepSeek 模型

根据实际模型名称执行：

ollama pull deepseek-r1

如果需要更小模型，可以选择对应的蒸馏版本，例如：

ollama pull deepseek-r1:7b

注意：具体模型名称以 Ollama 官方模型库实际提供为准。

3. 命令行测试

ollama run deepseek-r1

输入问题：

请用中文解释什么是 RAG 检索增强生成。

如果模型能够正常返回结果，说明基础部署已经完成。

4. API 调用示例

Ollama 默认提供 HTTP API，示例代码如下。

import requests

url = "http://127.0.0.1:11434/api/chat"

payload = {
    "model": "deepseek-r1",
    "messages": [
        {
            "role": "user",
            "content": "请写一份企业知识库私有化部署方案。"
        }
    ],
    "stream": False
}

resp = requests.post(url, json=payload)
print(resp.json()["message"]["content"])

七、方案二：使用 vLLM 部署 OpenAI 兼容接口

如果要面向生产环境，推荐使用 vLLM。它可以提供类似 OpenAI 的接口格式，使前端、后端、第三方系统更容易接入。

1. 安装基础环境

建议使用 Conda 创建独立环境：

conda create -n deepseek python=3.10 -y
conda activate deepseek

安装 PyTorch 时，需要根据 CUDA 版本选择合适命令。例如 CUDA 12.1：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

安装 vLLM：

pip install vllm

2. 下载模型

可以从模型平台下载对应 DeepSeek 开源模型权重，例如 Hugging Face 或 ModelScope。假设模型路径为：

/data/models/deepseek

3. 启动 vLLM 服务

python -m vllm.entrypoints.openai.api_server \
  --model /data/models/deepseek \
  --host 0.0.0.0 \
  --port 8000 \
  --served-model-name deepseek-private \
  --tensor-parallel-size 1

如果使用多张 GPU，可以调整：

--tensor-parallel-size 2

4. 使用 OpenAI 格式调用

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://127.0.0.1:8000/v1"
)

response = client.chat.completions.create(
    model="deepseek-private",
    messages=[
        {"role": "system", "content": "你是企业内部智能助手，请使用中文回答。"},
        {"role": "user", "content": "请说明私有化部署大模型的优势。"}
    ],
    temperature=0.7
)

print(response.choices[0].message.content)

这种方式非常适合后续和企业内部应用集成，因为很多大模型 SDK 和工具链都支持 OpenAI 兼容接口。

八、后端接口封装源码

在生产环境中，不建议前端直接访问模型推理服务。更合理的做法是增加一层后端服务，用于统一处理：

• 用户鉴权；
• 请求参数校验；
• Prompt 模板；
• 日志记录；
• 敏感词过滤；
• 限流；
• 知识库检索；
• 模型服务转发。

下面提供一个基于 FastAPI 的后端接口示例。

1. 安装依赖

pip install fastapi uvicorn openai pydantic

2. main.py 源码

from fastapi import FastAPI, Header, HTTPException
from pydantic import BaseModel
from typing import Optional, List
from openai import OpenAI
import time

app = FastAPI(title="DeepSeek Private API", version="1.0.0")

client = OpenAI(
    api_key="EMPTY",
    base_url="http://127.0.0.1:8000/v1"
)

API_TOKEN = "your-private-token"


class ChatMessage(BaseModel):
    role: str
    content: str


class ChatRequest(BaseModel):
    user_id: Optional[str] = None
    messages: List[ChatMessage]
    temperature: Optional[float] = 0.7
    max_tokens: Optional[int] = 1024


class ChatResponse(BaseModel):
    answer: str
    elapsed_ms: int


def check_auth(token: Optional[str]):
    if token != API_TOKEN:
        raise HTTPException(status_code=401, detail="Unauthorized")


@app.post("/api/chat", response_model=ChatResponse)
def chat(req: ChatRequest, authorization: Optional[str] = Header(None)):
    check_auth(authorization)

    start = time.time()

    system_prompt = {
        "role": "system",
        "content": (
            "你是企业内部智能助手。"
            "请使用中文回答问题，回答应准确、简洁、专业。"
            "如果问题涉及未知信息，请明确说明无法确认。"
        )
    }

    messages = [system_prompt] + [m.dict() for m in req.messages]

    completion = client.chat.completions.create(
        model="deepseek-private",
        messages=messages,
        temperature=req.temperature,
        max_tokens=req.max_tokens
    )

    answer = completion.choices[0].message.content
    elapsed_ms = int((time.time() - start) * 1000)

    return ChatResponse(answer=answer, elapsed_ms=elapsed_ms)

3. 启动后端服务

uvicorn main:app --host 0.0.0.0 --port 9000

4. 调用测试

curl -X POST http://127.0.0.1:9000/api/chat \
  -H "Content-Type: application/json" \
  -H "Authorization: your-private-token" \
  -d '{
    "user_id": "u001",
    "messages": [
      {
        "role": "user",
        "content": "请介绍 DeepSeek 私有化部署的核心步骤。"
      }
    ]
  }'

九、增加企业知识库 RAG 能力

仅部署模型后，模型并不知道企业内部制度、文档、产品手册、项目资料等私有内容。要让模型基于企业资料回答问题，需要引入 RAG，即 Retrieval-Augmented Generation，中文通常称为“检索增强生成”。

RAG 的基本流程如下：

1. 将企业文档切分成多个文本片段；
2. 使用 Embedding 模型将文本片段转换为向量；
3. 将向量写入向量数据库；
4. 用户提问时，将问题也转换为向量；
5. 在向量数据库中检索最相关的文档片段；
6. 将检索结果与用户问题一起交给 DeepSeek；
7. 模型基于上下文生成答案。

RAG 简化版源码示例

下面示例使用 FAISS 构建一个简易知识库。实际生产环境可以换成 Milvus、Qdrant、Elasticsearch Vector 或 pgvector。

1. 安装依赖

pip install faiss-cpu sentence-transformers numpy

2. 构建知识库 build_kb.py

import faiss
import numpy as np
from sentence_transformers import SentenceTransformer
import pickle

docs = [
    "公司报销制度规定：单笔差旅报销超过5000元需要部门负责人和财务负责人共同审批。",
    "员工年假规则：入职满一年不满十年的员工，每年享有5天年假。",
    "信息安全要求：不得将客户数据、合同数据、源代码上传至外部非授权平台。",
    "采购流程规定：采购金额超过10万元，需要经过招采委员会评审。"
]

model = SentenceTransformer("BAAI/bge-small-zh-v1.5")
embeddings = model.encode(docs, normalize_embeddings=True)

dimension = embeddings.shape[1]
index = faiss.IndexFlatIP(dimension)
index.add(np.array(embeddings).astype("float32"))

faiss.write_index(index, "kb.index")

with open("docs.pkl", "wb") as f:
    pickle.dump(docs, f)

print("知识库构建完成")

3. 检索知识库 rag_search.py

import faiss
import pickle
import numpy as np
from sentence_transformers import SentenceTransformer

class KnowledgeBase:
    def __init__(self):
        self.model = SentenceTransformer("BAAI/bge-small-zh-v1.5")
        self.index = faiss.read_index("kb.index")
        with open("docs.pkl", "rb") as f:
            self.docs = pickle.load(f)

    def search(self, query: str, top_k: int = 3):
        query_emb = self.model.encode([query], normalize_embeddings=True)
        scores, ids = self.index.search(
            np.array(query_emb).astype("float32"),
            top_k
        )

        results = []
        for score, idx in zip(scores[0], ids[0]):
            if idx >= 0:
                results.append({
                    "score": float(score),
                    "content": self.docs[idx]
                })
        return results

4. 在后端中集成 RAG

可以在 FastAPI 服务中加入如下逻辑：

from rag_search import KnowledgeBase

kb = KnowledgeBase()

def build_rag_prompt(question: str):
    results = kb.search(question, top_k=3)

    context = "\n".join([
        f"资料{i+1}：{item['content']}"
        for i, item in enumerate(results)
    ])

    prompt = f"""
请基于以下企业知识库资料回答用户问题。
如果资料中没有相关信息，请回答“根据现有资料无法确认”。

【企业资料】
{context}

【用户问题】
{question}
"""
    return prompt

然后在接口中将用户最后一个问题替换为增强后的 Prompt：

last_question = req.messages[-1].content
rag_prompt = build_rag_prompt(last_question)

messages = [
    {
        "role": "system",
        "content": "你是企业知识库问答助手，请严格基于提供的资料回答。"
    },
    {
        "role": "user",
        "content": rag_prompt
    }
]

这样，DeepSeek 就可以基于企业知识库内容进行回答，减少“幻觉”，提升业务可用性。

十、前端调用示例源码

下面提供一个简单的 HTML 页面，用于调用后端 /api/chat 接口。

index.html

  
  
  



  
DeepSeek 私有化助手
  
  发送
  
等待提问...

十一、Docker Compose 部署示例

为了便于工程化部署，可以使用 Docker Compose 将后端服务容器化。推理服务是否容器化，取决于 GPU 环境和企业运维规范。

目录结构

deepseek-private-demo/
├── app/
│   ├── main.py
│   ├── rag_search.py
│   ├── kb.index
│   └── docs.pkl
├── requirements.txt
├── Dockerfile
└── docker-compose.yml

requirements.txt

fastapi
uvicorn
openai
pydantic
faiss-cpu
sentence-transformers
numpy

Dockerfile

FROM python:3.10-slim

WORKDIR /app

COPY requirements.txt /app/requirements.txt

RUN pip install --no-cache-dir -r requirements.txt

COPY app /app

EXPOSE 9000

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "9000"]

docker-compose.yml

version: "3.8"

services:
  deepseek-api:
    build: .
    container_name: deepseek-private-api
    ports:
      - "9000:9000"
    environment:
      - TZ=Asia/Shanghai
    restart: always

启动：

docker compose up -d

查看日志：

docker logs -f deepseek-private-api

十二、生产环境优化建议

DeepSeek 私有化部署进入生产环境后，需要重点关注以下几个方面。

1. 权限与安全

模型服务不应直接暴露在公网。建议通过 API 网关、Nginx、内网负载均衡等方式接入，并增加身份认证、IP 白名单、访问日志和限流策略。对于敏感业务，还应加入脱敏逻辑，例如手机号、身份证号、客户名称、合同编号等字段的识别和保护。

2. Prompt 管理

企业内部应用不应完全依赖用户自由输入。建议为不同业务场景设计固定 Prompt 模板，例如制度问答模板、客服回复模板、合同审核模板、代码助手模板等。Prompt 模板应统一管理，避免散落在多个系统中难以维护。

3. 日志与审计

需要记录用户 ID、请求时间、输入内容、模型输出、耗时、命中文档、调用来源等信息。日志既可以用于问题排查，也可以用于质量评估和安全审计。但要注意日志本身也可能包含敏感信息，因此需要进行权限控制和数据脱敏。

4. 并发与性能

如果并发较高，应使用 vLLM 等高性能推理框架，并根据显卡数量调整 tensor parallel 参数。还可以通过队列、缓存、限流、批处理等方式提升稳定性。对于重复问题，可以增加语义缓存，减少模型重复计算。

5. 知识库质量

RAG 效果很大程度取决于知识库质量。文档切分过大，可能导致检索不准确；切分过小，则可能丢失上下文。建议根据文档类型设置不同切分策略，并定期清理过期文档。对于制度类文档，应保留版本号、生效时间、部门归属等元数据。

6. 模型评测

上线前应建立测试集，包括常见问题、边界问题、敏感问题、错误问题和复杂业务问题。通过人工评审或自动化评测，持续跟踪模型回答准确率、拒答率、幻觉率和响应时延。

十三、常见问题

Q1：私有化部署是否一定需要高端 GPU？

不一定。如果只是验证或低并发使用，可以使用较小模型或量化模型，在消费级 GPU 甚至 CPU 上运行。但如果要支持企业级并发和较长上下文，建议使用专业 GPU。

Q2：DeepSeek 私有化部署后是否能直接理解企业资料？

不能。模型本身不会自动知道企业内部文档，需要通过 RAG、微调或上下文注入等方式提供企业知识。多数场景下，RAG 是成本最低、可维护性较好的方案。

Q3：RAG 和微调应该怎么选？

如果目标是让模型掌握企业制度、产品手册、流程文档等知识，优先选择 RAG；如果目标是让模型学习特定输出格式、语气、分类规则或任务模式，可以考虑微调。很多企业最终会采用“RAG + Prompt + 少量微调”的组合方式。

Q4：如何降低模型幻觉？

可以从四方面入手：第一，要求模型严格基于知识库回答；第二，提高检索质量；第三，在 Prompt 中规定资料不足时必须拒答；第四，对关键业务输出增加人工审核或规则校验。

十四、总结

DeepSeek 私有化部署的核心并不是单纯运行一个模型，而是构建一套可控、可用、可维护的大模型应用系统。对于企业来说，完整方案通常包括模型推理服务、后端 API 封装、权限认证、知识库 RAG、日志审计、前端交互和运维监控等模块。

如果是快速验证，可以选择 Ollama；如果是生产环境，建议选择 vLLM 并提供 OpenAI 兼容接口；如果需要企业知识问答，则应引入向量数据库和 RAG 流程。通过本文提供的 FastAPI、RAG、前端页面和 Docker Compose 示例源码，可以快速搭建一个基础版本，并在此基础上扩展权限体系、业务流程和企业知识库。

总体而言，DeepSeek 私有化部署非常适合对数据安全、成本控制和业务定制有较高要求的企业。只要合理选择模型、配置硬件、设计架构并持续优化知识库质量，就可以构建出真正服务于内部业务的大模型应用平台。