Skip to content

readme.md

Latest commit

 

History

History
61 lines (42 loc) · 2.75 KB

readme.md

File metadata and controls

61 lines (42 loc) · 2.75 KB

Demo Agent with RAG

Подготовка окружения

  • Python и UV
  • Docker и Docker Compose
  • Jupyter Lab и Jupyter Notebook
  • VS Code
  • Ollama или LM Studio

Краткое описание элементов

  • Qdrant - векторная база данных, которая позволяет хранить и обрабатывать векторные представления данных.
  • LangChain - библиотека для работы с LLM, которая предоставляет инструменты для создания приложений на основе языковых моделей, в том числе Агентного поиска, обработки текста и других задач. Архитектура
  • Jupyter Notebook - интерактивная среда для работы с Python и другими языками программирования. Она позволяет создавать и делиться документами, содержащими код, текст и визуализации.

Описание моделей

Бенчмарки сравнения LLM для русского языка

Эмбединги

Для преобразования текстов в векторные представления:

Модели для генерации текста

  • Gemma3 - довольно быстрая и эффективная LLM модель от Google.
  • openai/gpt-oss-20b - открытая средняя модель от Open AI
  • Qwen/Qwen3-8B - хорошая малая модель от Alibaba

Локальный инференс

  • Запуск на Ollama:
export OLLAMA_TIMEOUT=600s      # Увеличиваем таймаут API до 10 минут
export OLLAMA_LOAD_TIMEOUT=10m  # Увеличиваем таймаут загрузки модели до 10 минут
ollama pull mxbai-embed-large
ollama run gemma3:12b-it-q4_K_M
ollama serve

Запуск окружения в Docker

docker compose up -d

Проверка работы