私有部署指南
服务器版部署在企业内网,支持多用户、多组织,接入真实的 MES、SCADA、ERP 与消息通道,并且可以完全使用本机模型,数据不出厂。
浏览器 / 企业客户端 / 飞书 · 钉钉 · 企业微信 │ Web 工作台(:3080,对内网开放) │ /api 由 Web 转发 IAI 中枢服务(FastAPI) ┌─────────────┼───────────────┬─────────────────┐PostgreSQL 16 Redis · Celery MinIO 对象存储 模型服务 + pgvector worker / beat (文件与附件) vLLM / Ollama / OpenAI 兼容接口- 除 Web 工作台外,数据库、缓存、对象存储都只在容器内网通信,不在宿主机暴露端口;
- 模型服务可以部署在同一台 GPU 服务器上,也可以接入企业已有的 OpenAI 兼容模型服务;
- PDF 与图片解析依赖 MinerU,可选部署。
硬件与系统建议
Section titled “硬件与系统建议”以下是参考配置,实际需求随模型大小、并发量和知识库规模变化。
| 项目 | 参考配置 |
|---|---|
| 操作系统 | Ubuntu 22.04 / 24.04 LTS |
| CPU / 内存 | 8 核以上 / 32 GB 以上 |
| GPU(使用本机模型时) | 24 GB 显存,例如 RTX 4090 级别。我们在单张 24 GB 显卡上用 vLLM 运行 30B 级 MoE 模型的 4 bit 量化版本 |
| 磁盘 | 200 GB 以上可用空间:vLLM 镜像约 10 GB,模型权重约 10–20 GB,其余为主栈镜像、数据库与文件 |
| 软件 | Docker Engine 与 Compose 插件;使用 GPU 时另需 NVIDIA 驱动与 NVIDIA Container Toolkit |
不使用本机模型时,服务器不需要 GPU。
| 交付物 | 内容 | 获取方式 |
|---|---|---|
| 部署套件 | docker-compose 编排文件、安装脚本、.env 示例、部署文档 |
官网下载页公开下载 |
| 镜像包 | 中枢服务、Web 工作台、数据库镜像 | 按客户交付:离线介质,或按客户签发的限时下载链接 |
| 模型 | vLLM / Ollama 模型权重 | 不随产品分发,按模型准备自行导入 |
部署套件公开,是为了让你事先看清部署方式和硬件要求;没有镜像包,套件本身无法运行。每个版本都附带 SHA256 校验和,拿到镜像包后可以自行核对。
- 准备主机:安装 Docker、NVIDIA 驱动与 Container Toolkit(使用本机模型时),确认磁盘空间充足。
- 导入镜像包:把镜像包拷到主机,核对校验和后用
docker load导入。 - 运行安装脚本:解压部署套件,运行
install.sh。脚本会生成各项随机密钥、启动全部服务并做健康检查。 - 导入模型:按模型准备导入本机模型,或配置企业已有的模型服务。
- 初始化:用安装时设置的管理员账号登录,建立组织与资源树(工厂、车间、产线),添加用户并授权。
- 接入系统:在“平台接入”中登记 MES、SCADA 等系统的地址和凭据。正式接入前,可以先用内置模拟器演练。
| 端口 | 服务 | 暴露范围 |
|---|---|---|
| 3080 | Web 工作台(含 /api 转发) |
企业内网 |
| 9001 | 对象存储控制台 | 仅本机 |
| 8000 | vLLM(调试用) | 仅本机 |
PostgreSQL、Redis、MinIO 的数据端口只在容器内网,不暴露到宿主机。
- 升级:导入新版本的镜像包,更新部署套件后重启服务。中枢服务启动时会自动执行数据库迁移。
- 备份:定期备份 PostgreSQL 数据库与对象存储数据卷,以及安装时生成的
.env(含密钥)。
镜像包包含产品代码,不公开下载。需要评估或部署服务器版,请通过联系我们与我们沟通。
