使用容器进行 RAG 开发

目录

先决条件

完成 将 RAG 应用容器化。

概述

在本节中，你将学习如何设置开发环境，以便访问你的生成式 RAG 应用所需的所有服务。这包括

  • 添加本地数据库
  • 添加本地或远程 LLM 服务

注意

你可以在 GenAI Stack 演示应用中查看更多容器化的 GenAI 应用示例。

添加本地数据库

你可以使用容器来设置本地服务，例如数据库。在本节中，你将探索 docker-compose.yaml 文件中的数据库服务。

运行数据库服务

  1. 在克隆的仓库目录中，使用 IDE 或文本编辑器打开 docker-compose.yaml 文件。

  2. 在 docker-compose.yaml 文件中，你将看到以下内容

    services:
  qdrant:
    image: qdrant/qdrant
    container_name: qdrant
    ports:
      - "6333:6333"
    volumes:
      - qdrant_data:/qdrant/storage

    注意

    要了解有关 Qdrant 的更多信息，请参阅 Qdrant 官方 Docker 镜像。

  3. 启动应用。在 winy 目录中，在终端中运行以下命令。

    $ docker compose up --build

  4. 访问应用。打开浏览器，访问 http://localhost:8501 查看应用。你应该会看到一个简单的 Streamlit 应用。

  5. 停止应用。在终端中，按 Ctrl+C 停止应用。

添加本地或远程 LLM 服务

该示例应用同时支持 Ollama。本指南提供了以下场景的说明

  • 在容器中运行 Ollama
  • 在容器外运行 Ollama

虽然所有平台都可以使用以上任何场景，但性能和 GPU 支持可能有所不同。你可以使用以下准则来帮助选择适当的选项

  • 如果你使用 Linux 并原生安装了 Docker Engine，或者使用 Windows 10/11 并安装了 Docker Desktop，并且你的系统有支持 CUDA 的 GPU 且至少有 8GB 内存，则可以在容器中运行 Ollama。
  • 如果在 Linux 机器上运行 Docker Desktop，则在容器外运行 Ollama。

为你的 LLM 服务选择以下选项之一。

在容器中运行 Ollama 时，应具备支持 CUDA 的 GPU。虽然没有支持的 GPU 也可以在容器中运行 Ollama，但性能可能无法接受。目前只有 Linux 和 Windows 11 支持容器访问 GPU。

在容器中运行 Ollama 并提供 GPU 访问

  1. 安装先决条件。

  2. docker-compose.yaml 文件已包含必要的指令。在你自己的应用中，你需要在你的 docker-compose.yaml 中添加 Ollama 服务。以下是更新后的 docker-compose.yaml

    ollama:
  image: ollama/ollama
  container_name: ollama
  ports:
    - "8000:8000"
  deploy:
    resources:
      reservations:
        devices:
          - driver: nvidia
            count: 1
            capabilities: [gpu]

    注意

    有关 Compose 指令的更多详细信息，请参阅 使用 Docker Compose 开启 GPU 访问。

  3. Ollama 容器启动并运行后，可以使用 tools 文件夹中的 download_model.sh 来执行此命令

    . ./download_model.sh <model-name>

拉取 Ollama 模型可能需要几分钟。

在容器外运行 Ollama

  1. 安装 并在主机上运行 Ollama。

  2. 使用以下命令将模型拉取到 Ollama。

    $ ollama pull llama2

  3. 从 docker-compose.yaml 中移除 ollama 服务，并正确更新 winy 服务中的连接变量

    - OLLAMA=http://ollama:11434
+ OLLAMA=<your-url>

运行你的 RAG 应用

此时，你的 Compose 文件中包含以下服务

  • 主 RAG 应用的服务
  • 用于在 Qdrant 数据库中存储向量的数据库服务
  • (可选) Ollama 服务用于运行 LLM 服务

应用运行后，打开浏览器，访问 http://localhost:8501 查看应用。

根据你的系统和你选择的 LLM 服务，响应可能需要几分钟。

总结

在本节中，你学习了如何设置开发环境，以便提供 GenAI 应用所需的所有服务访问权限。

相关信息

后续步骤

在 GenAI Stack 演示应用中查看更多 GenAI 应用示例。

页面选项