Files
opro_demo/QUICK_START.md

118 lines
2.2 KiB
Markdown
Raw Permalink Normal View History

# 快速开始指南
## 离线部署All-in-One 方案)
### 在开发机器上(有外网)
```bash
# 1. 下载模型
ollama pull qwen3:14b
ollama pull qwen3-embedding:4b
# 2. 导出模型
./export-ollama-models.sh
# 3. 构建并导出 Docker 镜像
./build-allinone.sh
# 4. 传输到目标服务器
# 文件: system-prompt-optimizer-allinone.tar (约 10-20GB)
scp system-prompt-optimizer-allinone.tar user@server:/path/
```
### 在目标服务器上(无外网)
```bash
# 1. 加载镜像
docker load -i system-prompt-optimizer-allinone.tar
# 2. 启动服务
docker run -d \
--name system-prompt-optimizer \
-p 8010:8010 \
-p 11434:11434 \
-v $(pwd)/outputs:/app/outputs \
--restart unless-stopped \
system-prompt-optimizer:allinone
# 3. 等待启动(约 60 秒)
sleep 60
# 4. 验证
curl http://localhost:8010/health
curl http://localhost:11434/api/tags
# 5. 访问界面
# http://<服务器IP>:8010/ui/opro.html
```
## 常用命令
```bash
# 查看日志
docker logs -f system-prompt-optimizer
# 重启服务
docker restart system-prompt-optimizer
# 停止服务
docker stop system-prompt-optimizer
# 删除容器
docker rm -f system-prompt-optimizer
# 进入容器
docker exec -it system-prompt-optimizer bash
# 检查模型
docker exec -it system-prompt-optimizer ollama list
```
## 端口说明
- **8010**: Web 界面和 API
- **11434**: Ollama 服务(仅 All-in-One 方案需要暴露)
## 文件说明
- `system-prompt-optimizer-allinone.tar`: 完整镜像10-20GB
- `outputs/`: 用户反馈日志目录
## 故障排查
### 服务无法启动
```bash
# 查看日志
docker logs system-prompt-optimizer
# 检查端口占用
netstat -tulpn | grep 8010
netstat -tulpn | grep 11434
```
### 模型不可用
```bash
# 进入容器检查
docker exec -it system-prompt-optimizer ollama list
# 应该看到:
# qwen3:14b
# qwen3-embedding:4b
```
### 性能慢
- 确保服务器有足够的 RAM建议 16GB+
- 如果有 GPU使用支持 GPU 的 Docker 运行时
- 调整 `config.py` 中的 `GENERATION_POOL_SIZE`
## 更多信息
详细文档请参考:
- `DEPLOYMENT.md`: 完整部署指南
- `README.md`: 项目说明
- http://localhost:8010/docs: API 文档