上一篇 下一篇 分享链接 返回 返回顶部

Coze 开源版内网部署实战:从服务器到模型接入全流程命令指南

发布人:慈云数据-客服中心 发布时间:15小时前 阅读量:5

Coze 私有化部署方案|附完整命令

本文以 Coze / Coze Studio 开源版私有化部署 为目标,介绍一套适合企业内网、研发测试环境、部门级 AI 应用平台的部署方案。内容包含服务器规划、依赖安装、Docker Compose 部署、模型配置、反向代理、开机自启、备份升级与常见问题排查,并附完整命令。


一、方案概述

Coze 是面向 AI Bot、智能体、工作流、知识库、插件等场景的一站式 AI 应用开发平台。对于企业来说,直接使用公有云版本虽然上手快,但在以下场景中,私有化部署会更加合适:

  1. 数据安全要求高
    企业内部文档、客户数据、业务知识库不希望上传到外部平台。

  2. 内网环境使用
    部分政企、金融、制造业系统无法访问公网,需要在内网部署 AI 应用平台。

  3. 统一接入私有模型
    企业可能已经部署了本地大模型,如 Qwen、DeepSeek、Llama、Baichuan、ChatGLM 等,希望统一接入。

  4. 便于二次开发和集成
    私有化部署后,可以基于源码进行改造,接入企业 SSO、权限系统、审计系统、知识库系统等。

  5. 成本和资源可控
    企业可以根据业务访问量,自行选择 CPU、内存、GPU、存储等资源配置。

本文推荐的方式是:

  • 使用 Linux 服务器
  • 使用 Docker + Docker Compose
  • 使用 Nginx 反向代理
  • 使用 OpenAI Compatible API 接入大模型
  • 支持后续扩展为多节点部署

二、服务器配置建议

1. 最低配置

适合个人体验、功能验证、小规模测试。

项目 建议配置
CPU 4 核
内存 8 GB
磁盘 100 GB SSD
系统 Ubuntu 22.04 LTS / Debian 12 / CentOS 7+
网络 可访问 GitHub、Docker Hub,或提前准备离线镜像

2. 推荐配置

适合团队测试、部门内部试用。

项目 建议配置
CPU 8 核以上
内存 16 GB / 32 GB
磁盘 300 GB SSD 以上
系统 Ubuntu 22.04 LTS
网络 内网固定 IP,建议绑定域名
反向代理 Nginx / OpenResty

3. 生产配置建议

如果用于生产环境,建议将数据库、对象存储、向量数据库、模型服务等组件拆分部署,例如:

  • MySQL / PostgreSQL 单独部署
  • Redis 单独部署
  • MinIO / OSS / S3 单独部署
  • Milvus / Elasticsearch 单独部署
  • 大模型服务单独部署
  • Coze 应用服务使用多副本部署

三、部署前准备

以下命令以 Ubuntu 22.04 为例。如果你使用 CentOS、Rocky Linux、Debian,可以根据实际包管理器进行调整。

1. 更新系统

sudo apt update
sudo apt upgrade -y

安装常用工具:

sudo apt install -y \
  curl \
  wget \
  git \
  vim \
  unzip \
  net-tools \
  ca-certificates \
  gnupg \
  lsb-release \
  htop

查看系统信息:

uname -a
lsb_release -a
free -h
df -h

四、安装 Docker

1. 卸载旧版本 Docker

sudo apt remove -y docker docker-engine docker.io containerd runc || true

2. 安装 Docker 官方源

sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

添加 Docker 软件源:

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

更新软件源:

sudo apt update

3. 安装 Docker 和 Docker Compose

sudo apt install -y \
  docker-ce \
  docker-ce-cli \
  containerd.io \
  docker-buildx-plugin \
  docker-compose-plugin

4. 启动 Docker

sudo systemctl enable docker
sudo systemctl start docker

检查 Docker 版本:

docker version
docker compose version

5. 配置当前用户免 sudo 使用 Docker

sudo usermod -aG docker $USER

使组权限生效:

newgrp docker

验证:

docker ps

五、获取 Coze 源码

以官方开源仓库为例:

cd /opt
sudo git clone https://github.com/coze-dev/coze-studio.git

如果当前用户没有 /opt 写权限,可以执行:

sudo chown -R $USER:$USER /opt/coze-studio

进入项目目录:

cd /opt/coze-studio

查看目录:

ls -la

查看分支:

git branch -a

拉取最新代码:

git pull

如果你希望固定版本部署,可以查看 tag:

git tag

切换到指定版本,例如:

git checkout v0.1.0

注意:实际版本号请以官方仓库发布的 tag 为准。


六、配置环境变量

很多开源项目都会提供 .env.example 或类似配置模板。可以先查找:

find . -name ".env*" -o -name "*env*example*"

如果项目根目录存在 .env.example,可以复制一份:

cp .env.example .env

如果 Docker 部署目录中存在环境变量模板,例如 docker/.env.example,可以执行:

cp docker/.env.example docker/.env

编辑环境变量:

vim .env

或者:

vim docker/.env

常见需要关注的配置包括:

# 服务访问地址
WEB_URL=http://你的服务器IP:端口
API_URL=http://你的服务器IP:端口

# 数据库
MYSQL_HOST=mysql
MYSQL_PORT=3306
MYSQL_DATABASE=coze
MYSQL_USER=coze
MYSQL_PASSWORD=请修改为强密码
MYSQL_ROOT_PASSWORD=请修改为强密码

# Redis
REDIS_HOST=redis
REDIS_PORT=6379
REDIS_PASSWORD=请修改为强密码

# 对象存储
MINIO_ENDPOINT=minio:9000
MINIO_ACCESS_KEY=coze
MINIO_SECRET_KEY=请修改为强密码
MINIO_BUCKET=coze

# 向量数据库或搜索服务
MILVUS_HOST=milvus
MILVUS_PORT=19530

# JWT / SESSION 密钥
JWT_SECRET=请修改为随机字符串
SESSION_SECRET=请修改为随机字符串

生成随机密钥可以使用:

openssl rand -hex 32

例如:

openssl rand -hex 32
openssl rand -base64 48

七、使用 Docker Compose 部署 Coze

不同版本的 Coze Studio 仓库目录结构可能略有差异,部署文件通常位于项目根目录或 docker 目录。

可以先查找 Compose 文件:

find . -name "docker-compose*.yml" -o -name "compose*.yaml" -o -name "compose*.yml"

假设部署文件位于项目根目录,文件名为 docker-compose.yml,可以执行:

docker compose pull

然后启动:

docker compose up -d

如果 Compose 文件在 docker 目录中,例如:

cd /opt/coze-studio/docker

执行:

docker compose pull
docker compose up -d

如果官方使用 profile 管理组件,可以使用:

docker compose --profile "*" up -d

查看容器状态:

docker compose ps

查看日志:

docker compose logs -f

查看最近 200 行日志:

docker compose logs --tail=200

查看某个服务日志,例如:

docker compose logs -f mysql
docker compose logs -f redis
docker compose logs -f coze-server
docker compose logs -f coze-web

服务名称以实际 docker-compose.yml 中定义为准。


八、初始化数据库

部分版本在首次启动时会自动初始化数据库;也有一些版本需要手动执行迁移命令。可以先进入后端服务容器查看:

docker compose ps

假设后端服务名为 coze-server,可以进入容器:

docker compose exec coze-server sh

或者:

docker compose exec coze-server bash

查看帮助命令:

ls

如果项目提供 migration 命令,例如:

./coze-server migrate

或者:

npm run migrate

或者:

pnpm migrate

则按实际项目说明执行。

通用方式是查看项目 README:

cat README.md

搜索数据库相关说明:

grep -R "migrate" -n .
grep -R "migration" -n .
grep -R "init" -n .

九、访问 Coze 控制台

部署完成后,查看端口映射:

docker compose ps

也可以查看监听端口:

ss -tunlp

如果 Web 服务暴露在 8080 端口,则可以访问:

http://服务器IP:8080

如果是 80 端口:

http://服务器IP

首次访问时,通常需要创建管理员账号或初始化组织空间。请根据页面提示完成初始化。

如果访问失败,可以检查:

docker compose ps
docker compose logs --tail=200
curl -I http://127.0.0.1:8080

十、接入大模型服务

私有化部署 Coze 的核心价值之一,就是接入企业自己的模型服务。

常见接入方式包括:

  1. OpenAI API
  2. Azure OpenAI
  3. OpenAI Compatible API
  4. 本地大模型网关
  5. Ollama
  6. vLLM
  7. Xinference
  8. One API / New API
  9. LiteLLM

1. 使用 OpenAI Compatible API

如果企业内部已有统一模型网关,通常会提供类似接口:

POST /v1/chat/completions
POST /v1/embeddings

配置示例:

OPENAI_API_BASE=http://模型网关地址:端口/v1
OPENAI_API_KEY=你的API_KEY
DEFAULT_CHAT_MODEL=qwen-plus
DEFAULT_EMBEDDING_MODEL=text-embedding-v3

如果是内网部署的模型网关,例如:

OPENAI_API_BASE=http://10.10.10.20:3000/v1
OPENAI_API_KEY=sk-xxxxxxxx
DEFAULT_CHAT_MODEL=deepseek-chat

修改环境变量后重启:

docker compose down
docker compose up -d

或者只重启相关服务:

docker compose restart coze-server

2. 使用 Ollama 部署本地模型

安装 Ollama:

curl -fsSL https://ollama.com/install.sh | sh

启动服务:

sudo systemctl enable ollama
sudo systemctl start ollama

拉取模型:

ollama pull qwen2.5:7b

运行测试:

ollama run qwen2.5:7b

Ollama 默认 API 地址:

http://127.0.0.1:11434

如果 Coze 在 Docker 容器中访问宿主机 Ollama,可以使用:

http://host.docker.internal:11434

Linux 上如果不可用,可以在 docker-compose.yml 中添加:

extra_hosts:
  - "host.docker.internal:host-gateway"

如果使用 Ollama 的 OpenAI 兼容接口,可以配置:

OPENAI_API_BASE=http://host.docker.internal:11434/v1
OPENAI_API_KEY=ollama
DEFAULT_CHAT_MODEL=qwen2.5:7b

测试接口:

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ollama" \
  -d '{
    "model": "qwen2.5:7b",
    "messages": [
      {
        "role": "user",
        "content": "你好,请介绍一下你自己"
      }
    ]
  }'

3. 使用 vLLM 部署模型

如果服务器有 GPU,可以使用 vLLM 提供高性能推理服务。

安装 NVIDIA 驱动和容器运行时后,启动示例:

docker run -d \
  --name vllm-qwen \
  --gpus all \
  -p 8000:8000 \
  -v /data/models:/models \
  vllm/vllm-openai:latest \
  --model /models/Qwen2.5-7B-Instruct \
  --served-model-name qwen2.5-7b \
  --host 0.0.0.0 \
  --port 8000

测试:

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer EMPTY" \
  -d '{
    "model": "qwen2.5-7b",
    "messages": [
      {
        "role": "user",
        "content": "写一段企业知识库助手的介绍"
      }
    ]
  }'

Coze 环境变量示例:

OPENAI_API_BASE=http://10.10.10.30:8000/v1
OPENAI_API_KEY=EMPTY
DEFAULT_CHAT_MODEL=qwen2.5-7b

十一、配置 Nginx 反向代理

生产或团队使用时,不建议直接暴露容器端口,建议使用 Nginx 做统一入口。

1. 安装 Nginx

sudo apt install -y nginx

启动并设置开机自启:

sudo systemctl enable nginx
sudo systemctl start nginx

2. 创建站点配置

假设 Coze Web 服务端口为 8080,域名为:

coze.example.com

创建配置文件:

sudo vim /etc/nginx/conf.d/coze.conf

写入:

server {
    listen 80;
    server_name coze.example.com;

    client_max_body_size 200m;

    proxy_read_timeout 300s;
    proxy_send_timeout 300s;
    proxy_connect_timeout 300s;

    location / {
        proxy_pass http://127.0.0.1:8080;

        proxy_http_version 1.1;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

检查配置:

sudo nginx -t

重载 Nginx:

sudo systemctl reload nginx

访问:

http://coze.example.com

十二、配置 HTTPS

如果可以访问公网,可以使用 Let’s Encrypt。

安装 Certbot:

sudo apt install -y certbot python3-certbot-nginx

申请证书:

sudo certbot --nginx -d coze.example.com

自动续期测试:

sudo certbot renew --dry-run

如果是内网环境,可以使用企业内部 CA 证书,或者自签名证书。

创建证书目录:

sudo mkdir -p /etc/nginx/ssl/coze

上传证书:

sudo cp fullchain.pem /etc/nginx/ssl/coze/fullchain.pem
sudo cp privkey.pem /etc/nginx/ssl/coze/privkey.pem

Nginx HTTPS 示例:

server {
    listen 443 ssl;
    server_name coze.example.com;

    ssl_certificate /etc/nginx/ssl/coze/fullchain.pem;
    ssl_certificate_key /etc/nginx/ssl/coze/privkey.pem;

    client_max_body_size 200m;

    proxy_read_timeout 300s;
    proxy_send_timeout 300s;

    location / {
        proxy_pass http://127.0.0.1:8080;

        proxy_http_version 1.1;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto https;

        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

server {
    listen 80;
    server_name coze.example.com;
    return 301 https://$host$request_uri;
}

检查并重载:

sudo nginx -t
sudo systemctl reload nginx

十三、配置防火墙

如果使用 UFW:

sudo ufw allow OpenSSH
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable

查看状态:

sudo ufw status

如果你直接暴露了 Coze 端口,例如 8080,可以临时开放:

sudo ufw allow 8080/tcp

生产环境建议只开放 80、443,不直接暴露内部服务端口。


十四、设置开机自启

Docker 服务本身已经设置了开机自启:

sudo systemctl enable docker

如果 Compose 文件中配置了:

restart: always

或:

restart: unless-stopped

容器会随 Docker 启动。

如果你希望使用 systemd 管理整个 Coze Compose 项目,可以创建服务:

sudo vim /etc/systemd/system/coze.service

写入:

[Unit]
Description=Coze Studio Docker Compose Service
Requires=docker.service
After=docker.service

[Service]
Type=oneshot
WorkingDirectory=/opt/coze-studio
ExecStart=/usr/bin/docker compose up -d
ExecStop=/usr/bin/docker compose down
RemainAfterExit=yes
TimeoutStartSec=0

[Install]
WantedBy=multi-user.target

如果你的 Compose 文件在 /opt/coze-studio/docker,则改为:

WorkingDirectory=/opt/coze-studio/docker

重新加载 systemd:

sudo systemctl daemon-reload

启用服务:

sudo systemctl enable coze

启动服务:

sudo systemctl start coze

查看状态:

sudo systemctl status coze

十五、数据目录规划

私有化部署最重要的是数据安全。建议将数据库、对象存储、向量库等数据挂载到宿主机固定目录,例如:

sudo mkdir -p /data/coze/mysql
sudo mkdir -p /data/coze/redis
sudo mkdir -p /data/coze/minio
sudo mkdir -p /data/coze/milvus
sudo mkdir -p /data/coze/logs

授权:

sudo chown -R $USER:$USER /data/coze

docker-compose.yml 中可以类似配置:

volumes:
  - /data/coze/mysql:/var/lib/mysql
  - /data/coze/redis:/data
  - /data/coze/minio:/data

这样即使容器删除,数据仍保留在宿主机上。


十六、备份方案

1. 备份数据库

假设 MySQL 容器名为 mysql,数据库为 coze

mkdir -p /data/backup/coze/mysql

执行备份:

docker compose exec mysql mysqldump \
  -uroot \
  -p你的MYSQL_ROOT_PASSWORD \
  --databases coze > /data/backup/coze/mysql/coze_$(date +%F_%H%M%S).sql

查看备份文件:

ls -lh /data/backup/coze/mysql

2. 备份对象存储

如果 MinIO 数据挂载在 /data/coze/minio,可以直接打包:

mkdir -p /data/backup/coze/minio
tar -czf /data/backup/coze/minio/minio_$(date +%F_%H%M%S).tar.gz /data/coze/minio

3. 备份环境变量和配置文件

mkdir -p /data/backup/coze/config
cp /opt/coze-studio/.env /data/backup/coze/config/.env.$(date +%F_%H%M%S) 2>/dev/null || true
cp /opt/coze-studio/docker/.env /data/backup/coze/config/docker.env.$(date +%F_%H%M%S) 2>/dev/null || true
cp /opt/coze-studio/docker-compose.yml /data/backup/coze/config/docker-compose.yml.$(date +%F_%H%M%S) 2>/dev/null || true

4. 编写自动备份脚本

创建脚本:

sudo vim /usr/local/bin/backup-coze.sh

写入:

#!/usr/bin/env bash

set -e

BACKUP_DIR="/data/backup/coze"
DATE=$(date +%F_%H%M%S)
COZE_DIR="/opt/coze-studio"

mkdir -p ${BACKUP_DIR}/mysql
mkdir -p ${BACKUP_DIR}/minio
mkdir -p ${BACKUP_DIR}/config

cd ${COZE_DIR}

docker compose exec -T mysql mysqldump \
  -uroot \
  -p你的MYSQL_ROOT_PASSWORD \
  --databases coze > ${BACKUP_DIR}/mysql/coze_${DATE}.sql

tar -czf ${BACKUP_DIR}/minio/minio_${DATE}.tar.gz /data/coze/minio || true

cp ${COZE_DIR}/.env ${BACKUP_DIR}/config/.env.${DATE} 2>/dev/null || true
cp ${COZE_DIR}/docker/.env ${BACKUP_DIR}/config/docker.env.${DATE} 2>/dev/null || true

find ${BACKUP_DIR}/mysql -type f -mtime +14 -delete
find ${BACKUP_DIR}/minio -type f -mtime +14 -delete
find ${BACKUP_DIR}/config -type f -mtime +30 -delete

echo "Coze backup completed: ${DATE}"

授权:

sudo chmod +x /usr/local/bin/backup-coze.sh

手动测试:

sudo /usr/local/bin/backup-coze.sh

配置定时任务:

sudo crontab -e

每天凌晨 2 点备份:

0 2 * * * /usr/local/bin/backup-coze.sh >> /var/log/backup-coze.log 2>&1

十七、升级 Coze

升级前务必备份:

/usr/local/bin/backup-coze.sh

进入项目目录:

cd /opt/coze-studio

查看当前版本:

git status
git log -1

拉取最新代码:

git pull

如果使用固定版本:

git fetch --tags
git checkout 新版本tag

拉取新镜像:

docker compose pull

重新启动:

docker compose down
docker compose up -d

查看日志:

docker compose logs -f

如果升级后异常,可以回滚到旧版本:

git checkout 旧版本tag
docker compose down
docker compose up -d

十八、常见问题排查

1. Docker Compose 启动失败

查看具体错误:

docker compose logs --tail=300

检查端口是否被占用:

sudo lsof -i :80
sudo lsof -i :8080
sudo lsof -i :3306

查看容器状态:

docker ps -a

2. 页面打不开

检查 Web 服务是否启动:

docker compose ps

检查本地访问:

curl -I http://127.0.0.1:8080

检查防火墙:

sudo ufw status

检查 Nginx:

sudo nginx -t
sudo systemctl status nginx

3. 模型调用失败

检查模型网关是否可访问:

curl http://模型网关地址:端口/v1/models \
  -H "Authorization: Bearer 你的API_KEY"

测试对话接口:

curl http://模型网关地址:端口/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer 你的API_KEY" \
  -d '{
    "model": "你的模型名",
    "messages": [
      {
        "role": "user",
        "content": "你好"
      }
    ]
  }'

如果容器中无法访问宿主机服务,增加:

extra_hosts:
  - "host.docker.internal:host-gateway"

然后重启:

docker compose down
docker compose up -d

4. 上传文件失败

通常与以下配置有关:

  • Nginx client_max_body_size
  • 对象存储配置
  • MinIO bucket 是否存在
  • 后端上传大小限制

Nginx 中增加:

client_max_body_size 200m;

重载:

sudo nginx -t
sudo systemctl reload nginx

5. 磁盘空间不足

查看磁盘:

df -h

查看 Docker 占用:

docker system df

清理无用镜像:

docker image prune -a

清理无用容器、网络:

docker system prune

谨慎清理 volume:

docker volume ls

不要随意执行:

docker volume prune

因为这可能删除数据库、对象存储等重要数据。


十九、生产环境安全建议

如果要在企业内部长期运行,建议至少做好以下几点:

  1. 修改所有默认密码
    包括 MySQL、Redis、MinIO、JWT Secret、后台管理员密码等。

  2. 只开放必要端口
    对外只开放 80、443,数据库、Redis、MinIO 不直接暴露公网。

  3. 启用 HTTPS
    内网也建议使用 HTTPS,避免 Cookie、Token 明文传输。

  4. 配置访问控制
    可通过 Nginx IP 白名单、VPN、零信任网关限制访问范围。

  5. 定期备份
    至少备份数据库、对象存储、配置文件。

  6. 日志审计
    对登录、知识库上传、模型调用、插件调用进行审计。

  7. 模型调用限流
    避免单用户或异常请求造成模型服务不可用。

  8. 资源监控
    建议接入 Prometheus、Grafana、ELK、Loki 等监控日志系统。

  9. 升级前先测试
    生产环境升级前,应先在测试环境验证。


二十、一键部署命令汇总

如果你只是想快速在测试服务器上跑起来,可以参考以下命令:

sudo apt update && sudo apt upgrade -y
sudo apt install -y curl wget git vim unzip ca-certificates gnupg lsb-release
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
sudo systemctl enable docker
sudo systemctl start docker
sudo usermod -aG docker $USER
newgrp docker
cd /opt
sudo git clone https://github.com/coze-dev/coze-studio.git
sudo chown -R $USER:$USER /opt/coze-studio
cd /opt/coze-studio
find . -name "docker-compose*.yml" -o -name "compose*.yaml" -o -name "compose*.yml"

如果 Compose 文件在根目录:

cp .env.example .env 2>/dev/null || true
docker compose pull
docker compose up -d

如果 Compose 文件在 docker 目录:

cd docker
cp .env.example .env 2>/dev/null || true
docker compose pull
docker compose up -d

查看状态:

docker compose ps

查看日志:

docker compose logs -f

访问:

http://服务器IP:端口

二十一、总结

Coze 私有化部署的核心并不复杂,关键是把以下几件事做好:

  1. 基础运行环境稳定:Linux、Docker、Docker Compose。
  2. 数据目录可持久化:数据库、对象存储、向量库不能放在临时容器内。
  3. 模型服务可接入:优先使用 OpenAI Compatible API,方便统一管理模型。
  4. 访问入口标准化:使用 Nginx、域名、HTTPS。
  5. 备份和升级规范化:升级前备份,定时备份数据库和文件。
  6. 生产安全要落实:密码、权限、网络、审计、监控都要配置好。

对于个人或团队测试,Docker Compose 部署已经足够;对于企业生产环境,建议进一步拆分数据库、Redis、对象存储、向量数据库和模型服务,并配合监控、日志、权限系统形成完整的 AI 应用平台基础设施。

目录结构
全文