Claude 私有化部署方案｜附配置文件

说明：严格意义上，Claude（Anthropic 提供的大模型）目前并不支持像开源模型一样下载权重并在企业自有服务器中完整离线部署。因此，本文所说的“Claude 私有化部署”，更准确地说，是指在企业内网中构建一套面向 Claude API 的私有化接入网关、权限管控、审计、缓存、限流、数据脱敏与统一调用平台。
对于对数据安全、合规审计、成本管控和多模型治理有要求的企业来说，这种方案比让业务系统直接调用 Claude API 更安全、更可控，也更适合规模化落地。

一、为什么需要 Claude 私有化部署方案？

随着大语言模型在企业中的应用越来越广，很多团队会将 Claude 用于智能客服、知识库问答、代码助手、文档总结、合同分析、数据分析、研发 Copilot 等场景。Claude 在长上下文理解、复杂推理、文本生成质量等方面表现优秀，但如果直接由各个业务系统调用 Claude API，通常会带来以下问题：

1. API Key 管理风险

如果每个系统、每个团队都单独持有 Claude API Key，一旦密钥泄露，就可能导致：

• 未授权调用；
• 费用失控；
• 企业数据外泄；
• 无法追踪具体责任人或系统；
• API Key 轮换困难。

因此，企业更适合将 Claude API Key 收敛到统一网关层，由平台统一管理。

2. 缺少统一审计

企业级 AI 应用必须回答几个问题：

• 谁在什么时间调用了模型？
• 调用了哪个模型？
• 输入了什么类型的数据？
• 返回结果是否命中敏感内容？
• 每个部门消耗了多少 Token？
• 是否存在异常调用行为？

如果没有统一审计系统，后续做安全合规、成本核算和问题排查都会非常困难。

3. 数据安全与合规要求

很多企业不允许业务系统直接把用户隐私、合同、财务数据、研发代码等内容发送到外部模型服务。即便要调用 Claude，也需要在请求前完成：

• 敏感词识别；
• 身份证、手机号、邮箱等信息脱敏；
• 企业内部机密字段过滤；
• 数据分级分类；
• 调用日志留痕；
• 风险策略拦截。

4. 多模型统一治理

企业实际使用时，往往不会只使用 Claude，还可能同时使用：

• OpenAI GPT 系列；
• Gemini；
• DeepSeek；
• Qwen；
• Llama；
• 企业自研模型；
• 本地私有化开源模型。

因此，最好在企业内部搭建一个统一的大模型网关，对外提供标准 API，对内适配不同模型供应商。这样业务系统无需关心底层模型差异，只需要调用统一接口即可。

二、总体架构设计

Claude 私有化接入方案可以分为以下几层：

业务系统 / 应用层
        │
        ▼
统一 AI 网关层
        │
        ├── 身份认证
        ├── 权限控制
        ├── 请求限流
        ├── 数据脱敏
        ├── Prompt 模板管理
        ├── 审计日志
        ├── 成本统计
        ├── 模型路由
        └── 异常告警
        │
        ▼
模型适配层
        │
        ├── Claude API
        ├── OpenAI API
        ├── Gemini API
        ├── 本地大模型
        └── 其他模型服务
        │
        ▼
外部模型服务 / 内部模型集群

其中最核心的是“统一 AI 网关层”。它承担了 Claude 私有化接入中的大部分治理能力。

三、推荐部署组件

一个较完整的 Claude 私有化接入平台可以包含以下组件：

如果是中小团队，也可以先采用轻量级方案：Nginx + AI Gateway + Redis + PostgreSQL。等调用量增长后，再逐步引入监控、日志、安全和多模型调度能力。

四、部署模式选择

方案一：API 网关代理模式

这是最常见的 Claude 私有化接入方式。

业务系统不直接请求 Anthropic 官方 API，而是请求企业内网中的 AI Gateway。AI Gateway 再根据路由配置，将请求转发到 Claude API。

优点：

• 实施成本低；
• 对业务系统改造小；
• API Key 不暴露给业务方；
• 便于做审计、限流和成本统计；
• 可平滑切换到其他模型。

缺点：

• 仍然依赖外部 Claude API；
• 不能实现完全离线；
• 网络链路需要稳定；
• 对数据出境和合规有要求的企业需要额外评估。

适用场景：

• 企业允许通过公网或专线访问 Claude；
• 希望统一管理 AI 调用；
• 需要审计和费用控制；
• 对完全离线部署没有强制要求。

方案二：混合模型模式

混合模型模式是指：一般任务使用企业内部部署的开源模型，复杂任务再调用 Claude。

例如：

• 普通 FAQ 问答：使用本地 Qwen、Llama、DeepSeek；
• 长文档分析：使用 Claude；
• 代码审查：Claude + 本地模型协同；
• 敏感数据任务：只允许本地模型处理；
• 非敏感高价值任务：可以路由到 Claude。

优点：

• 成本更低；
• 数据更安全；
• 可提高系统可用性；
• 减少对单一模型供应商依赖。

缺点：

• 模型路由策略更复杂；
• 不同模型输出质量不一致；
• 需要维护本地模型基础设施。

适用场景：

• 大中型企业；
• 对成本、安全、性能都有要求；
• 有一定算法或平台团队能力；
• 希望构建长期 AI 中台。

方案三：专线或私有网络接入模式

对于金融、政企、大型集团等高合规场景，可以考虑通过云厂商的专线、VPC Peering、PrivateLink 或安全代理通道访问模型服务。

该方案并不是将 Claude 权重部署到企业服务器，而是通过更安全的网络路径访问 Claude 服务。

优点：

• 网络安全性更高；
• 可降低公网暴露风险；
• 便于纳入企业现有安全体系；
• 更适合高合规行业。

缺点：

• 成本较高；
• 配置复杂；
• 需要云厂商和模型服务方支持；
• 上线周期较长。

五、核心功能设计

1. 统一鉴权

企业内部可以为每个业务系统分配独立的 App ID 和 App Secret。业务系统调用 AI Gateway 时，必须携带身份凭证。

示例请求头：

X-App-Id: crm-system
X-App-Token: xxxxxx
X-Request-Id: 202501010001

网关根据 App ID 判断该系统是否有权限调用 Claude、可调用哪些模型、每日 Token 上限是多少。

2. 模型路由

可以按不同维度进行路由：

• 按模型名称路由；
• 按业务系统路由；
• 按数据敏感级别路由；
• 按 Token 长度路由；
• 按任务类型路由；
• 按成本优先或质量优先路由。

例如：

如果请求来自客服系统，优先使用本地模型；
如果上下文超过 100k Token，路由到 Claude；
如果包含敏感字段，禁止外发；
如果本地模型失败，再降级到 Claude。

3. 数据脱敏

在请求 Claude 前，可以对输入内容进行脱敏处理。

常见规则包括：

对于高安全场景，建议不仅仅做字符串替换，还应结合规则引擎、NLP 实体识别和数据分级系统。

4. 审计日志

每一次模型调用都应记录审计日志，但要注意日志本身也可能包含敏感信息。因此建议将日志分成两类：

第一类是元数据日志：

{
  "request_id": "req-202501010001",
  "app_id": "crm-system",
  "user_id": "u10001",
  "model": "claude-3-5-sonnet",
  "input_tokens": 1200,
  "output_tokens": 560,
  "latency_ms": 2380,
  "status": "success",
  "created_at": "2025-01-01T10:00:00Z"
}

第二类是内容日志。内容日志应谨慎保存，建议配置开关，并进行加密存储或只保存摘要。

5. 限流与配额

可以设置多层限流：

• 单应用每分钟请求数；
• 单用户每天 Token 数；
• 单部门月度预算；
• 单模型并发请求数；
• 全局 Claude API 调用上限。

限流的目的不是简单地阻止调用，而是避免异常请求导致费用暴涨或服务不可用。

六、Docker Compose 部署示例

下面给出一个简化版本的部署示例，包含 Nginx、AI Gateway、Redis 和 PostgreSQL。

1. 目录结构

claude-private-gateway/
├── docker-compose.yml
├── nginx/
│   └── nginx.conf
├── gateway/
│   ├── config.yaml
│   └── .env
└── logs/

2. docker-compose.yml

version: "3.9"

services:
  nginx:
    image: nginx:1.25
    container_name: claude-nginx
    ports:
      - "443:443"
      - "80:80"
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf:ro
      - ./logs/nginx:/var/log/nginx
    depends_on:
      - ai-gateway
    networks:
      - claude-net

  ai-gateway:
    image: your-registry/ai-gateway:1.0.0
    container_name: claude-ai-gateway
    env_file:
      - ./gateway/.env
    volumes:
      - ./gateway/config.yaml:/app/config.yaml:ro
      - ./logs/gateway:/app/logs
    depends_on:
      - redis
      - postgres
    networks:
      - claude-net

  redis:
    image: redis:7.2
    container_name: claude-redis
    command: redis-server --requirepass redis_password
    volumes:
      - redis-data:/data
    networks:
      - claude-net

  postgres:
    image: postgres:15
    container_name: claude-postgres
    environment:
      POSTGRES_DB: ai_gateway
      POSTGRES_USER: ai_user
      POSTGRES_PASSWORD: postgres_password
    volumes:
      - postgres-data:/var/lib/postgresql/data
    networks:
      - claude-net

networks:
  claude-net:
    driver: bridge

volumes:
  redis-data:
  postgres-data:

3. Nginx 配置文件

worker_processes auto;

events {
    worker_connections 4096;
}

http {
    include       mime.types;
    default_type  application/json;

    log_format main '$remote_addr - $request_id - $time_local '
                    '"$request" $status $body_bytes_sent '
                    '"$http_user_agent" "$http_x_app_id"';

    access_log /var/log/nginx/access.log main;
    error_log  /var/log/nginx/error.log warn;

    limit_req_zone $binary_remote_addr zone=api_limit:10m rate=20r/s;

    upstream ai_gateway {
        server ai-gateway:8080;
        keepalive 64;
    }

    server {
        listen 80;
        server_name ai.example.com;

        location / {
            return 301 https://$host$request_uri;
        }
    }

    server {
        listen 443 ssl http2;
        server_name ai.example.com;

        ssl_certificate     /etc/nginx/certs/server.crt;
        ssl_certificate_key /etc/nginx/certs/server.key;

        client_max_body_size 20m;

        location /v1/ {
            limit_req zone=api_limit burst=50 nodelay;

            proxy_pass http://ai_gateway;
            proxy_http_version 1.1;

            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Request-Id $request_id;

            proxy_connect_timeout 30s;
            proxy_send_timeout 300s;
            proxy_read_timeout 300s;
        }
    }
}

4. AI Gateway 环境变量

APP_ENV=production
APP_PORT=8080

DATABASE_URL=postgres://ai_user:postgres_password@postgres:5432/ai_gateway
REDIS_URL=redis://:redis_password@redis:6379/0

ANTHROPIC_API_KEY=sk-ant-xxxxxxxxxxxxxxxx
ANTHROPIC_BASE_URL=https://api.anthropic.com

LOG_LEVEL=info
ENABLE_AUDIT_LOG=true
ENABLE_CONTENT_LOG=false

DEFAULT_TIMEOUT_MS=300000

生产环境中，不建议将 ANTHROPIC_API_KEY 明文写入 .env 文件。更安全的方式是使用 Vault、KMS、Kubernetes Secret 或云厂商密钥管理服务。

七、AI Gateway 配置文件示例

下面是一个示例 config.yaml，用于配置模型、应用权限、限流、脱敏和审计策略。

server:
  host: 0.0.0.0
  port: 8080
  read_timeout: 300s
  write_timeout: 300s

providers:
  anthropic:
    type: anthropic
    base_url: ${ANTHROPIC_BASE_URL}
    api_key: ${ANTHROPIC_API_KEY}
    timeout: 300s
    models:
      - name: claude-3-5-sonnet
        provider_model: claude-3-5-sonnet-20241022
        max_input_tokens: 200000
        max_output_tokens: 8192
      - name: claude-3-haiku
        provider_model: claude-3-haiku-20240307
        max_input_tokens: 200000
        max_output_tokens: 4096

  local_llm:
    type: openai_compatible
    base_url: http://local-llm:8000/v1
    api_key: local_dummy_key
    models:
      - name: qwen-local
        provider_model: qwen2.5-72b-instruct
        max_input_tokens: 32768
        max_output_tokens: 4096

routing:
  default_model: claude-3-5-sonnet
  rules:
    - name: sensitive_data_block
      condition:
        data_sensitivity: high
      action:
        type: reject
        message: "High sensitivity data is not allowed to be sent to external models."

    - name: customer_service_use_local
      condition:
        app_id: customer-service
      action:
        type: route
        model: qwen-local

    - name: long_context_use_claude
      condition:
        min_input_tokens: 50000
      action:
        type: route
        model: claude-3-5-sonnet

auth:
  apps:
    - app_id: crm-system
      app_token: change_me_crm_token
      enabled: true
      allowed_models:
        - claude-3-5-sonnet
        - claude-3-haiku
      quota:
        daily_requests: 10000
        daily_tokens: 5000000

    - app_id: customer-service
      app_token: change_me_cs_token
      enabled: true
      allowed_models:
        - qwen-local
        - claude-3-haiku
      quota:
        daily_requests: 50000
        daily_tokens: 20000000

rate_limit:
  enabled: true
  strategy: redis
  rules:
    - scope: app
      limit: 600
      window: 60s
    - scope: user
      limit: 120
      window: 60s
    - scope: global
      limit: 3000
      window: 60s

security:
  pii_detection:
    enabled: true
    mode: mask
    rules:
      - name: phone
        regex: "(?

curl https://ai.example.com/v1/messages \
  -H "Content-Type: application/json" \
  -H "X-App-Id: crm-system" \
  -H "X-App-Token: change_me_crm_token" \
  -H "X-User-Id: user-10001" \
  -d '{
    "model": "claude-3-5-sonnet",
    "max_tokens": 1024,
    "messages": [
      {
        "role": "user",
        "content": "请帮我总结这份客户沟通记录，并提取下一步跟进事项。"
      }
    ]
  }'

{
  "id": "msg_01xxxx",
  "model": "claude-3-5-sonnet",
  "content": [
    {
      "type": "text",
      "text": "以下是客户沟通记录总结..."
    }
  ],
  "usage": {
    "input_tokens": 256,
    "output_tokens": 512
  },
  "gateway": {
    "request_id": "req-202501010001",
    "app_id": "crm-system",
    "routed_model": "claude-3-5-sonnet",
    "latency_ms": 2380
  }
}

ai_gateway_requests_total
ai_gateway_request_latency_ms
ai_gateway_errors_total
ai_gateway_tokens_input_total
ai_gateway_tokens_output_total
ai_gateway_cost_total
ai_gateway_rate_limit_hits_total
ai_gateway_provider_errors_total
ai_gateway_model_route_total

apiVersion: v1
kind: Secret
metadata:
  name: claude-api-secret
  namespace: ai-platform
type: Opaque
stringData:
  ANTHROPIC_API_KEY: "sk-ant-xxxxxxxxxxxxxxxx"

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ai-gateway
  namespace: ai-platform
spec:
  replicas: 3
  selector:
    matchLabels:
      app: ai-gateway
  template:
    metadata:
      labels:
        app: ai-gateway
    spec:
      containers:
        - name: ai-gateway
          image: your-registry/ai-gateway:1.0.0
          ports:
            - containerPort: 8080
          env:
            - name: ANTHROPIC_API_KEY
              valueFrom:
                secretKeyRef:
                  name: claude-api-secret
                  key: ANTHROPIC_API_KEY
            - name: APP_ENV
              value: production
          volumeMounts:
            - name: config
              mountPath: /app/config.yaml
              subPath: config.yaml
          resources:
            requests:
              cpu: "500m"
              memory: "512Mi"
            limits:
              cpu: "2"
              memory: "2Gi"
      volumes:
        - name: config
          configMap:
            name: ai-gateway-config

apiVersion: v1
kind: Service
metadata:
  name: ai-gateway
  namespace: ai-platform
spec:
  selector:
    app: ai-gateway
  ports:
    - port: 80
      targetPort: 8080
      protocol: TCP
  type: ClusterIP

第一阶段：统一代理 Claude API，收敛 API Key
第二阶段：增加鉴权、限流、审计和成本统计
第三阶段：接入数据脱敏与安全策略
第四阶段：支持多模型路由和本地模型兜底
第五阶段：形成企业级 AI 中台