企业内网搭建AI办公平台实战：从本地大模型到知识库应用完整部署指南

发布人：慈云数据-客服中心发布时间：12小时前阅读量：2

AI办公私有化部署方案｜附完整命令

在企业数字化转型的过程中，AI办公已经从“锦上添花”的工具逐渐变成提升组织效率的基础设施。无论是文档总结、会议纪要、知识库问答、合同审阅、代码辅助，还是企业内部流程自动化，AI都可以显著降低重复劳动成本，提高信息处理效率。

不过，对于很多企业来说，直接使用公有云AI服务存在一些顾虑：数据是否会被用于训练？企业文档是否会外泄？内部系统能否接入？网络环境是否稳定？费用是否可控？因此，越来越多企业开始考虑将AI能力部署在自己的服务器、内网或私有云环境中，也就是通常所说的“AI办公私有化部署”。

本文将围绕企业AI办公的实际落地场景，介绍一套可运行、可扩展、可用于内部办公的私有化部署方案，并附上完整命令，适合技术负责人、运维工程师、企业信息化团队参考。

一、为什么企业需要AI办公私有化部署？

AI办公的核心价值在于让企业内部员工可以通过自然语言快速调用知识、处理文档、生成内容、分析数据。但如果所有数据都通过外部API传输，就会带来一定的安全和合规压力。

私有化部署的优势主要体现在以下几个方面。

1. 数据安全可控

企业内部通常包含大量敏感信息，例如：

财务报表
合同协议
客户资料
产品设计文档
研发代码
内部制度
会议纪要
人事资料

如果这些数据直接上传到第三方平台，企业很难完全控制数据流向。而私有化部署可以将模型、向量数据库、知识库、应用系统全部部署在企业自己的服务器或内网中，数据不离开企业边界。

2. 满足合规要求

金融、医疗、政务、制造、能源等行业对数据合规要求较高。很多场景下，企业不能随意调用境外AI接口，也不能把用户数据上传到外部服务。私有化部署可以更好地满足等保、数据安全、行业监管等要求。

3. 成本更容易控制

公有云AI服务通常按照调用次数、Token数量或并发量计费。对于日常办公高频使用的企业来说，长期成本可能较高。私有化部署虽然前期需要服务器和运维成本，但在稳定使用后，整体成本更可控。

4. 更方便与内部系统集成

企业通常已经有OA、ERP、CRM、知识库、工单系统、财务系统、代码仓库等内部平台。私有化部署的AI系统可以通过API与这些系统打通，实现更深层次的办公自动化。

二、整体方案架构

本文推荐的AI办公私有化部署方案采用以下组件：

组件	作用
Ollama	本地大模型运行框架，用于运行Qwen、Llama等开源模型
Open WebUI	类似ChatGPT的Web聊天界面，适合员工使用
Dify	企业级AI应用编排平台，可构建知识库问答、工作流、Agent
Milvus / Chroma	向量数据库，用于知识库检索
Nginx	反向代理，统一入口与HTTPS配置
Docker / Docker Compose	容器化部署，便于安装和维护
Ubuntu Server	推荐的服务器操作系统

为了降低部署难度，本文主要采用Docker Compose方式安装。整体结构如下：

员工浏览器
   |
   | HTTPS
   v
Nginx反向代理
   |
   |---------------- Open WebUI
   |
   |---------------- Dify
   |
   |---------------- Ollama 本地模型服务
   |
   |---------------- 向量数据库 / PostgreSQL / Redis

在实际企业环境中，可以根据规模拆分部署。例如：

小型团队：单台服务器部署全部组件
中型企业：模型服务单独部署，应用服务单独部署
大型企业：GPU服务器集群 + 多实例应用 + 独立数据库

三、服务器配置建议

不同规模企业对硬件要求不同。以下是参考配置。

1. 测试环境配置

适合10人以内体验、测试。

CPU：8核
内存：32GB
硬盘：500GB SSD
GPU：可选，建议NVIDIA 12GB显存以上
系统：Ubuntu Server 22.04 LTS

如果没有GPU，也可以使用CPU运行小参数模型，但响应速度会比较慢。

2. 小型企业配置

适合20-100人内部办公使用。

CPU：16核以上
内存：64GB以上
硬盘：1TB NVMe SSD
GPU：NVIDIA RTX 4090 24GB 或同级别
系统：Ubuntu Server 22.04 LTS

可运行7B、14B级别模型，适合文档问答、总结、翻译、办公写作等场景。

3. 中大型企业配置

适合100人以上，有知识库、流程自动化、多个部门同时使用。

CPU：32核以上
内存：128GB以上
硬盘：2TB NVMe SSD起步
GPU：A800 / H800 / L40S / 4090多卡
系统：Ubuntu Server 22.04 LTS

如果需要运行32B、72B等更大参数模型，建议采用多GPU或专门推理框架，例如vLLM、TensorRT-LLM等。

四、系统初始化

以下命令以Ubuntu Server 22.04为例，建议使用root用户或具备sudo权限的用户执行。

1. 更新系统

sudo apt update && sudo apt upgrade -y

2. 安装基础工具

sudo apt install -y \
  curl \
  wget \
  git \
  vim \
  htop \
  net-tools \
  ca-certificates \
  gnupg \
  lsb-release \
  unzip

3. 设置时区

sudo timedatectl set-timezone Asia/Shanghai
timedatectl

4. 配置防火墙

如果服务器部署在内网，可以根据实际情况开放端口。常见端口如下：

端口	用途
22	SSH
80	HTTP
443	HTTPS
3000	Open WebUI
11434	Ollama
8080	Dify Web
5001	Dify API

安装并启用UFW：

sudo apt install -y ufw
sudo ufw allow 22/tcp
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable
sudo ufw status

如果需要临时访问Open WebUI或Ollama端口，可以执行：

sudo ufw allow 3000/tcp
sudo ufw allow 11434/tcp

生产环境建议不要直接暴露11434端口，应通过内网访问或Nginx做访问控制。

五、安装Docker和Docker Compose

1. 卸载旧版本Docker

sudo apt remove -y docker docker-engine docker.io containerd runc

2. 添加Docker官方源

sudo install -m 0755 -d /etc/apt/keyrings

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

sudo chmod a+r /etc/apt/keyrings/docker.gpg

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

3. 安装Docker

sudo apt update

sudo apt install -y \
  docker-ce \
  docker-ce-cli \
  containerd.io \
  docker-buildx-plugin \
  docker-compose-plugin

4. 启动Docker

sudo systemctl enable docker
sudo systemctl start docker
sudo systemctl status docker

5. 验证Docker

docker --version
docker compose version
sudo docker run hello-world

如果希望当前用户免sudo使用Docker，可以执行：

sudo usermod -aG docker $USER

执行后需要重新登录终端。

六、安装NVIDIA GPU驱动和容器运行时

如果服务器没有GPU，可以跳过本节。但如果要获得较好的AI推理速度，建议使用NVIDIA GPU。

1. 查看显卡

lspci | grep -i nvidia

2. 安装驱动

Ubuntu可以使用以下命令自动安装推荐驱动：

sudo ubuntu-drivers devices
sudo ubuntu-drivers autoinstall
sudo reboot

重启后验证：

nvidia-smi

如果能看到GPU型号、显存、驱动版本，说明安装成功。

3. 安装NVIDIA Container Toolkit

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit

配置Docker使用NVIDIA运行时：

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

测试GPU容器：

sudo docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

如果容器中也能看到GPU信息，说明Docker已经可以调用GPU。

七、部署Ollama本地大模型服务

Ollama是一个非常适合私有化AI办公场景的本地模型运行工具。它安装简单，模型管理方便，支持Qwen、Llama、Mistral、DeepSeek等多种开源模型。

本文采用Docker方式部署Ollama。

1. 创建目录

sudo mkdir -p /opt/ai-office/ollama
cd /opt/ai-office/ollama

2. 创建Docker Compose文件

sudo vim docker-compose.yml

写入以下内容：

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: always
    ports:
      - "11434:11434"
    volumes:
      - ./data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

如果没有GPU，可以使用以下CPU版本配置：

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: always
    ports:
      - "11434:11434"
    volumes:
      - ./data:/root/.ollama

3. 启动Ollama

sudo docker compose up -d
sudo docker ps

4. 下载模型

推荐中文办公场景优先选择通义千问系列模型，例如Qwen2.5。

进入容器：

sudo docker exec -it ollama bash

下载模型：

ollama pull qwen2.5:7b
ollama pull qwen2.5:14b

如果GPU显存较小，可以先使用7B模型。如果显存达到24GB，可以尝试14B模型。

也可以下载代码模型：

ollama pull qwen2.5-coder:7b

下载嵌入模型，用于知识库向量化：

ollama pull nomic-embed-text

退出容器：

exit

5. 测试模型调用

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "请用中文写一段企业AI办公系统介绍。",
  "stream": false
}'

如果返回中文内容，说明模型服务正常。

八、部署Open WebUI聊天界面

Open WebUI是一个开源Web界面，可以对接Ollama，提供类似ChatGPT的聊天体验。对于企业内部员工来说，它是最容易上手的入口。

1. 创建目录

sudo mkdir -p /opt/ai-office/open-webui
cd /opt/ai-office/open-webui

2. 创建Docker Compose文件

sudo vim docker-compose.yml

写入：

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://host.docker.internal:11434
      - WEBUI_AUTH=true
    volumes:
      - ./data:/app/backend/data
    extra_hosts:
      - "host.docker.internal:host-gateway"

3. 启动Open WebUI

sudo docker compose up -d
sudo docker ps

浏览器访问：

http://服务器IP:3000

首次打开时创建管理员账号。创建完成后，即可在界面中选择Ollama已下载的模型，例如：

qwen2.5:7b
qwen2.5:14b
qwen2.5-coder:7b

4. 常见配置建议

进入Open WebUI管理后台后，可以进行以下配置：

关闭公开注册，只允许管理员创建用户
根据部门创建用户账号
设置默认模型
添加系统提示词
开启或关闭知识库功能
限制普通用户访问部分模型

适合设置的系统提示词示例：

你是企业内部AI办公助手。请使用简洁、专业、准确的中文回答问题。
如果用户询问企业内部制度、流程或文档内容，应基于已提供知识库回答。
如果没有足够信息，请明确说明“不确定”，不要编造。

九、部署Dify企业AI应用平台

Open WebUI适合通用聊天，但如果企业希望构建更复杂的AI办公应用，例如：

企业制度问答机器人
合同审查助手
销售话术生成器
客服知识库机器人
周报生成器
数据分析助手
工作流自动审批辅助
多步骤Agent应用

那么Dify会更适合。Dify支持知识库、Prompt编排、工作流、Agent、API发布和权限管理，是企业AI应用落地的重要平台。

1. 拉取Dify源码

sudo mkdir -p /opt/ai-office
cd /opt/ai-office

sudo git clone https://github.com/langgenius/dify.git
cd dify/docker

2. 复制环境变量文件

sudo cp .env.example .env

3. 修改配置文件

sudo vim .env

重点关注以下配置。

设置访问地址

假设Dify访问地址为：

http://服务器IP

可以配置：

CONSOLE_WEB_URL=http://服务器IP
SERVICE_API_URL=http://服务器IP
APP_WEB_URL=http://服务器IP

如果使用域名，例如：

https://dify.example.com

则配置：

CONSOLE_WEB_URL=https://dify.example.com
SERVICE_API_URL=https://dify.example.com
APP_WEB_URL=https://dify.example.com

设置密钥

找到：

SECRET_KEY=

生成一个随机密钥：

openssl rand -base64 42

填入：

SECRET_KEY=你的随机密钥

4. 启动Dify

sudo docker compose up -d

查看容器：

sudo docker compose ps

如果某些镜像下载较慢，可以多执行几次，或配置Docker镜像加速。

5. 访问Dify

默认访问：

http://服务器IP/install

按照页面提示完成管理员账号初始化。

如果使用默认端口，Dify相关服务一般包括：

Web界面：http://服务器IP
API服务：http://服务器IP

实际端口以Dify docker-compose配置为准。

十、Dify接入Ollama本地模型

Dify安装完成后，需要将本地Ollama模型接入Dify，才能在应用中使用私有化大模型。

1. 确保Ollama可被Dify访问

由于Dify和Ollama可能位于不同Docker网络中，推荐使用服务器内网IP访问Ollama。例如服务器IP为：

192.168.1.100

则Ollama地址为：

http://192.168.1.100:11434

可以在Dify所在服务器测试：

curl http://192.168.1.100:11434/api/tags

如果返回模型列表，说明可访问。

2. 在Dify后台添加模型供应商

进入Dify后台：

设置 → 模型供应商 → Ollama

填写：

Base URL：http://192.168.1.100:11434

添加聊天模型：

qwen2.5:7b

添加嵌入模型：

nomic-embed-text

3. 创建测试应用

在Dify中创建一个“聊天助手”应用，选择模型：

qwen2.5:7b

提示词可以写：

你是企业内部AI办公助手，擅长总结文档、撰写通知、整理会议纪要、回答制度问题。
请用正式、清晰、简洁的中文回答用户问题。

保存后进行测试。

十一、构建企业知识库问答系统

AI办公最典型的场景之一就是企业知识库问答。过去员工查找制度、流程、产品资料需要在各种文档中搜索，现在可以直接向AI提问。

例如：

请问报销流程是什么？
年假如何申请？
某产品的售后政策是什么？
销售合同审批需要哪些材料？
新员工入职需要完成哪些步骤？

1. 准备知识库文档

建议将企业文档整理为以下格式：

PDF
DOCX
TXT
Markdown
Excel
HTML

文档内容建议按照部门分类：

人事制度
财务制度
销售资料
产品资料
技术文档
行政流程
客服话术

2. 上传知识库

在Dify中进入：

知识库 → 创建知识库 → 上传文档

建议配置：

分段方式：自动分段
分段长度：500-1000字
重叠长度：50-100字
检索方式：混合检索或向量检索
Embedding模型：nomic-embed-text

3. 创建知识库问答应用

创建聊天应用后，绑定知识库，并设置提示词：

你是企业内部知识库问答助手。
回答问题时必须优先参考知识库内容。
如果知识库中没有相关信息，请回答：“根据当前知识库资料，暂未找到相关信息。”
不要编造制度、金额、流程、日期或联系人。
回答时请尽量列出步骤、条件和注意事项。

4. 测试问题

可以测试：

请总结一下差旅报销流程。
销售合同审批需要哪些步骤？
新员工入职第一周需要完成什么？

如果回答能引用知识库内容，说明企业知识库问答系统已初步搭建完成。

十二、使用Nginx配置统一入口

在生产环境中，不建议让用户直接访问多个端口，例如3000、8080、11434。建议使用Nginx统一反向代理，并配置HTTPS。

1. 安装Nginx

sudo apt install -y nginx
sudo systemctl enable nginx
sudo systemctl start nginx

2. 配置Open WebUI代理

假设域名为：

ai.example.com

创建配置文件：

sudo vim /etc/nginx/sites-available/ai-office.conf

写入：

server {
    listen 80;
    server_name ai.example.com;

    client_max_body_size 200m;

    location / {
        proxy_pass http://127.0.0.1:3000;
        proxy_http_version 1.1;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";

        proxy_read_timeout 3600;
        proxy_send_timeout 3600;
    }
}

启用配置：

sudo ln -s /etc/nginx/sites-available/ai-office.conf /etc/nginx/sites-enabled/
sudo nginx -t
sudo systemctl reload nginx

访问：

http://ai.example.com

3. 配置Dify代理

假设域名为：

dify.example.com

sudo vim /etc/nginx/sites-available/dify.conf

写入：

server {
    listen 80;
    server_name dify.example.com;

    client_max_body_size 200m;

    location / {
        proxy_pass http://127.0.0.1;
        proxy_http_version 1.1;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_read_timeout 3600;
        proxy_send_timeout 3600;
    }
}

启用配置：

sudo ln -s /etc/nginx/sites-available/dify.conf /etc/nginx/sites-enabled/
sudo nginx -t
sudo systemctl reload nginx

十三、配置HTTPS证书

如果服务器可以访问公网并且域名已解析到服务器，可以使用Certbot自动申请证书。

1. 安装Certbot

sudo apt install -y certbot python3-certbot-nginx

2. 为Open WebUI申请证书

sudo certbot --nginx -d ai.example.com

3. 为Dify申请证书

sudo certbot --nginx -d dify.example.com

4. 测试自动续期

sudo certbot renew --dry-run

如果是纯内网环境，可以使用企业内部CA证书，也可以使用自签名证书。但自签名证书需要在员工电脑中导入信任根证书，否则浏览器会提示不安全。

十四、企业AI办公应用场景设计

完成基础部署后，企业真正要做的是围绕业务流程设计AI应用，而不是只搭建一个聊天窗口。以下是常见落地场景。

1. 行政办公助手

能力包括：

通知公告生成
会议议程生成
会议纪要整理
制度查询
活动方案撰写
邮件润色

示例提示词：

请根据以下会议录音转写内容，整理一份正式会议纪要。
要求包括：会议主题、会议时间、参会人员、讨论事项、决议事项、待办任务、责任人和截止时间。

2. 人事助手

能力包括：

入职流程问答
绩效制度解释
培训计划生成
招聘JD生成
面试题生成
员工手册问答

示例提示词：

请根据岗位名称“Java后端开发工程师”，生成一份招聘JD。
要求包括岗位职责、任职要求、加分项和薪资范围说明。

3. 财务助手

能力包括：

报销制度问答
发票要求说明
预算说明撰写
财务报告摘要
合同付款条款提取

示例提示词：

请从以下合同文本中提取付款节点、付款金额、发票要求、违约责任和验收条件。
请用表格输出。

4. 销售助手

能力包括：

客户拜访纪要整理
销售话术生成
产品卖点提炼
投标文件辅助
客户问题应答

示例提示词：

请根据以下产品资料，为制造业客户生成一份销售沟通话术。
要求突出降本增效、数据安全、部署周期和售后服务。

5. 技术研发助手

能力包括：

代码解释
接口文档生成
日志分析
单元测试生成
技术方案初稿
故障排查建议

示例提示词：

请分析以下报错日志，判断可能原因，并给出排查步骤。
输出格式：问题现象、可能原因、验证方法、解决建议。

十五、权限、安全与运维建议

私有化AI办公系统不是简单安装完就结束，还需要考虑权限、安全和长期运维。

1. 账号权限管理

建议：

禁止开放注册
管理员统一创建账号
按部门划分权限
重要知识库仅授权给相关部门
离职员工及时禁用账号

2. 模型访问控制

不同模型成本和能力不同，可以设置：

普通员工默认使用7B模型
专业岗位使用14B或更大模型
代码模型仅开放给研发部门
高并发时限制单用户调用频率

3. 数据安全策略

建议：

Ollama接口不暴露公网
知识库文档分级管理
定期备份数据库和上传文件
重要系统配置HTTPS
保留访问日志
对敏感问答进行审计

4. 备份命令示例

备份Open WebUI数据：

sudo tar -zcvf open-webui-backup-$(date +%F).tar.gz /opt/ai-office/open-webui/data

备份Ollama模型数据：

sudo tar -zcvf ollama-backup-$(date +%F).tar.gz /opt/ai-office/ollama/data

备份Dify目录：

sudo tar -zcvf dify-backup-$(date +%F).tar.gz /opt/ai-office/dify

如果要使用定时任务：

sudo crontab -e

添加：

0 2 * * * tar -zcvf /backup/open-webui-backup-$(date +\%F).tar.gz /opt/ai-office/open-webui/data
0 3 * * * tar -zcvf /backup/ollama-backup-$(date +\%F).tar.gz /opt/ai-office/ollama/data

十六、常见问题排查

1. Open WebUI无法连接Ollama

检查Ollama是否启动：

sudo docker ps | grep ollama

测试接口：

curl http://127.0.0.1:11434/api/tags

检查Open WebUI环境变量：

sudo docker inspect open-webui | grep OLLAMA_BASE_URL

重启服务：

cd /opt/ai-office/open-webui
sudo docker compose restart

2. 模型回答很慢

可能原因：

没有使用GPU
模型参数过大
显存不足导致频繁交换
并发用户太多
CPU和内存性能不足

查看GPU状态：

nvidia-smi

查看容器日志：

sudo docker logs -f ollama

建议先使用7B模型，再逐步升级到14B或更大模型。

3. Dify无法访问Ollama

在Dify容器内测试网络：

sudo docker exec -it docker-api-1 sh

执行：

wget -qO- http://服务器IP:11434/api/tags

如果无法访问，需要检查防火墙、Docker网络和Ollama端口监听。

4. Nginx上传文件失败

如果上传知识库文档时报错，可能是Nginx上传限制太小。修改配置：

client_max_body_size 200m;

然后重载：

sudo nginx -t
sudo systemctl reload nginx

5. Docker磁盘占用过大

查看磁盘：

df -h

查看Docker占用：

sudo docker system df

清理无用镜像和容器：

sudo docker system prune -a

注意：该命令会删除未使用镜像，生产环境执行前应确认不会影响业务。

十七、升级与维护命令

1. 升级Ollama

cd /opt/ai-office/ollama
sudo docker compose pull
sudo docker compose up -d

2. 升级Open WebUI

cd /opt/ai-office/open-webui
sudo docker compose pull
sudo docker compose up -d

3. 升级Dify

cd /opt/ai-office/dify
sudo git pull
cd docker
sudo docker compose pull
sudo docker compose up -d

4. 查看日志

Ollama日志：

sudo docker logs -f ollama

Open WebUI日志：

sudo docker logs -f open-webui

Dify日志：

cd /opt/ai-office/dify/docker
sudo docker compose logs -f

5. 停止服务

停止Ollama：

cd /opt/ai-office/ollama
sudo docker compose down

停止Open WebUI：

cd /opt/ai-office/open-webui
sudo docker compose down

停止Dify：

cd /opt/ai-office/dify/docker
sudo docker compose down

十八、推荐部署路线

如果企业第一次做AI办公私有化部署，不建议一开始就追求“大而全”。更推荐分阶段推进。

第一阶段：通用聊天助手

目标：

完成Ollama部署
完成Open WebUI部署
接入Qwen模型
开放给小范围员工试用

适合验证：

员工接受度
模型回答质量
服务器性能
常见办公场景

第二阶段：企业知识库问答

目标：

部署Dify
接入Ollama
建立人事、财务、行政、产品知识库
构建制度问答助手

适合解决：

内部制度查询
新员工培训
客服知识沉淀
产品资料检索

第三阶段：业务流程自动化

目标：

使用Dify工作流
接入OA、CRM、ERP等系统
设计部门专属AI助手
发布API给内部系统调用

适合提升：

审批效率
文档处理效率
销售支持效率
客服响应效率
研发协同效率

十九、方案总结

本文介绍了一套适合企业内部落地的AI办公私有化部署方案，核心思路是：

使用Ollama运行本地开源大模型
使用Open WebUI提供通用聊天界面
使用Dify构建知识库问答和AI工作流
使用Docker Compose简化部署和维护
使用Nginx统一入口并配置HTTPS
通过权限、备份、日志和网络隔离保障安全

这套方案的优点是部署门槛相对较低，组件成熟，扩展性强，既可以用于小团队快速试点，也可以逐步扩展到企业级AI办公平台。

对于大多数企业来说，AI办公私有化部署的关键并不只是“把模型跑起来”，而是将AI能力真正融入企业知识、流程和业务系统中。只有把内部文档、岗位场景、业务规则、权限体系和AI应用结合起来，才能让AI从一个聊天工具变成真正的企业生产力工具。

文章标签： AI办公私有化部署 Ollama Dify OpenWebUI

上一篇：企业内网AI办公落地指南：从服务器到知识库，一套命令跑起来

下一篇：企业内网搭建AI办公平台：从部署架构到源码实现

更多栏目

新闻动态

文档中心

下载中心

目录结构

全文

产品与服务

新闻帮助

生态合作

了解我们

企业内网搭建AI办公平台实战：从本地大模型到知识库应用完整部署指南

AI办公 私有化部署方案｜附完整命令

一、为什么企业需要AI办公私有化部署？

1. 数据安全可控

2. 满足合规要求

3. 成本更容易控制

4. 更方便与内部系统集成

二、整体方案架构

三、服务器配置建议

1. 测试环境配置

2. 小型企业配置

3. 中大型企业配置

四、系统初始化

1. 更新系统

2. 安装基础工具

3. 设置时区

4. 配置防火墙

五、安装Docker和Docker Compose

1. 卸载旧版本Docker

2. 添加Docker官方源

3. 安装Docker

4. 启动Docker

5. 验证Docker

六、安装NVIDIA GPU驱动和容器运行时

1. 查看显卡

2. 安装驱动

3. 安装NVIDIA Container Toolkit

七、部署Ollama本地大模型服务

1. 创建目录

2. 创建Docker Compose文件

3. 启动Ollama

4. 下载模型

5. 测试模型调用

八、部署Open WebUI聊天界面

1. 创建目录

2. 创建Docker Compose文件

3. 启动Open WebUI

4. 常见配置建议

九、部署Dify企业AI应用平台

1. 拉取Dify源码

2. 复制环境变量文件

3. 修改配置文件

设置访问地址

设置密钥

4. 启动Dify

5. 访问Dify

十、Dify接入Ollama本地模型

1. 确保Ollama可被Dify访问

2. 在Dify后台添加模型供应商

3. 创建测试应用

十一、构建企业知识库问答系统

1. 准备知识库文档

2. 上传知识库

3. 创建知识库问答应用

4. 测试问题

十二、使用Nginx配置统一入口

1. 安装Nginx

2. 配置Open WebUI代理

3. 配置Dify代理

十三、配置HTTPS证书

1. 安装Certbot

2. 为Open WebUI申请证书

3. 为Dify申请证书

4. 测试自动续期

十四、企业AI办公应用场景设计

1. 行政办公助手

2. 人事助手

3. 财务助手

4. 销售助手

5. 技术研发助手

十五、权限、安全与运维建议

1. 账号权限管理

2. 模型访问控制

3. 数据安全策略

4. 备份命令示例

十六、常见问题排查

AI办公私有化部署方案｜附完整命令