使用容器进行 RAG 开发

先决条件

完成 将 RAG 应用容器化

概述

在本节中,你将学习如何设置开发环境,以便访问你的生成式 RAG 应用所需的所有服务。这包括

  • 添加本地数据库
  • 添加本地或远程 LLM 服务

注意

你可以在 GenAI Stack 演示应用中查看更多容器化的 GenAI 应用示例。

添加本地数据库

你可以使用容器来设置本地服务,例如数据库。在本节中,你将探索 docker-compose.yaml 文件中的数据库服务。

运行数据库服务

  1. 在克隆的仓库目录中,使用 IDE 或文本编辑器打开 docker-compose.yaml 文件。

  2. docker-compose.yaml 文件中,你将看到以下内容

    services:
      qdrant:
        image: qdrant/qdrant
        container_name: qdrant
        ports:
          - "6333:6333"
        volumes:
          - qdrant_data:/qdrant/storage

    注意

    要了解有关 Qdrant 的更多信息,请参阅 Qdrant 官方 Docker 镜像

  3. 启动应用。在 winy 目录中,在终端中运行以下命令。

    $ docker compose up --build
    
  4. 访问应用。打开浏览器,访问 http://localhost:8501 查看应用。你应该会看到一个简单的 Streamlit 应用。

  5. 停止应用。在终端中,按 Ctrl+C 停止应用。

添加本地或远程 LLM 服务

该示例应用同时支持 Ollama。本指南提供了以下场景的说明

  • 在容器中运行 Ollama
  • 在容器外运行 Ollama

虽然所有平台都可以使用以上任何场景,但性能和 GPU 支持可能有所不同。你可以使用以下准则来帮助选择适当的选项

  • 如果你使用 Linux 并原生安装了 Docker Engine,或者使用 Windows 10/11 并安装了 Docker Desktop,并且你的系统有支持 CUDA 的 GPU 且至少有 8GB 内存,则可以在容器中运行 Ollama。
  • 如果在 Linux 机器上运行 Docker Desktop,则在容器外运行 Ollama。

为你的 LLM 服务选择以下选项之一。


在容器中运行 Ollama 时,应具备支持 CUDA 的 GPU。虽然没有支持的 GPU 也可以在容器中运行 Ollama,但性能可能无法接受。目前只有 Linux 和 Windows 11 支持容器访问 GPU。

在容器中运行 Ollama 并提供 GPU 访问

  1. 安装先决条件。

  2. docker-compose.yaml 文件已包含必要的指令。在你自己的应用中,你需要在你的 docker-compose.yaml 中添加 Ollama 服务。以下是更新后的 docker-compose.yaml

    ollama:
      image: ollama/ollama
      container_name: ollama
      ports:
        - "8000:8000"
      deploy:
        resources:
          reservations:
            devices:
              - driver: nvidia
                count: 1
                capabilities: [gpu]

    注意

    有关 Compose 指令的更多详细信息,请参阅 使用 Docker Compose 开启 GPU 访问

  3. Ollama 容器启动并运行后,可以使用 tools 文件夹中的 download_model.sh 来执行此命令

    . ./download_model.sh <model-name>
    

拉取 Ollama 模型可能需要几分钟。


运行你的 RAG 应用

此时,你的 Compose 文件中包含以下服务

  • 主 RAG 应用的服务
  • 用于在 Qdrant 数据库中存储向量的数据库服务
  • (可选) Ollama 服务用于运行 LLM 服务

应用运行后,打开浏览器,访问 http://localhost:8501 查看应用。

根据你的系统和你选择的 LLM 服务,响应可能需要几分钟。

总结

在本节中,你学习了如何设置开发环境,以便提供 GenAI 应用所需的所有服务访问权限。

相关信息

后续步骤

GenAI Stack 演示应用中查看更多 GenAI 应用示例。

页面选项