使用容器进行 RAG 开发
先决条件
完成 将 RAG 应用容器化。
概述
在本节中,你将学习如何设置开发环境,以便访问你的生成式 RAG 应用所需的所有服务。这包括
- 添加本地数据库
- 添加本地或远程 LLM 服务
注意
你可以在 GenAI Stack 演示应用中查看更多容器化的 GenAI 应用示例。
添加本地数据库
你可以使用容器来设置本地服务,例如数据库。在本节中,你将探索 docker-compose.yaml
文件中的数据库服务。
运行数据库服务
在克隆的仓库目录中,使用 IDE 或文本编辑器打开
docker-compose.yaml
文件。在
docker-compose.yaml
文件中,你将看到以下内容services: qdrant: image: qdrant/qdrant container_name: qdrant ports: - "6333:6333" volumes: - qdrant_data:/qdrant/storage
注意
要了解有关 Qdrant 的更多信息,请参阅 Qdrant 官方 Docker 镜像。
启动应用。在
winy
目录中,在终端中运行以下命令。$ docker compose up --build
访问应用。打开浏览器,访问 http://localhost:8501 查看应用。你应该会看到一个简单的 Streamlit 应用。
停止应用。在终端中,按
Ctrl
+C
停止应用。
添加本地或远程 LLM 服务
该示例应用同时支持 Ollama。本指南提供了以下场景的说明
- 在容器中运行 Ollama
- 在容器外运行 Ollama
虽然所有平台都可以使用以上任何场景,但性能和 GPU 支持可能有所不同。你可以使用以下准则来帮助选择适当的选项
- 如果你使用 Linux 并原生安装了 Docker Engine,或者使用 Windows 10/11 并安装了 Docker Desktop,并且你的系统有支持 CUDA 的 GPU 且至少有 8GB 内存,则可以在容器中运行 Ollama。
- 如果在 Linux 机器上运行 Docker Desktop,则在容器外运行 Ollama。
为你的 LLM 服务选择以下选项之一。
在容器中运行 Ollama 时,应具备支持 CUDA 的 GPU。虽然没有支持的 GPU 也可以在容器中运行 Ollama,但性能可能无法接受。目前只有 Linux 和 Windows 11 支持容器访问 GPU。
在容器中运行 Ollama 并提供 GPU 访问
安装先决条件。
- 对于 Linux 上的 Docker Engine,安装 NVIDIA Container Toolkilt。
- 对于 Windows 10/11 上的 Docker Desktop,安装最新的 NVIDIA 驱动程序 并确保你正在使用 WSL2 后端
docker-compose.yaml
文件已包含必要的指令。在你自己的应用中,你需要在你的docker-compose.yaml
中添加 Ollama 服务。以下是更新后的docker-compose.yaml
ollama: image: ollama/ollama container_name: ollama ports: - "8000:8000" deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu]
注意
有关 Compose 指令的更多详细信息,请参阅 使用 Docker Compose 开启 GPU 访问。
Ollama 容器启动并运行后,可以使用
tools
文件夹中的download_model.sh
来执行此命令. ./download_model.sh <model-name>
拉取 Ollama 模型可能需要几分钟。
在容器外运行 Ollama
安装 并在主机上运行 Ollama。
使用以下命令将模型拉取到 Ollama。
$ ollama pull llama2
从
docker-compose.yaml
中移除ollama
服务,并正确更新winy
服务中的连接变量- OLLAMA=http://ollama:11434 + OLLAMA=<your-url>
运行你的 RAG 应用
此时,你的 Compose 文件中包含以下服务
- 主 RAG 应用的服务
- 用于在 Qdrant 数据库中存储向量的数据库服务
- (可选) Ollama 服务用于运行 LLM 服务
应用运行后,打开浏览器,访问 http://localhost:8501 查看应用。
根据你的系统和你选择的 LLM 服务,响应可能需要几分钟。
总结
在本节中,你学习了如何设置开发环境,以便提供 GenAI 应用所需的所有服务访问权限。
相关信息
后续步骤
在 GenAI Stack 演示应用中查看更多 GenAI 应用示例。