Skip to content

README.md

Latest commit

 

History

History
94 lines (69 loc) · 3.34 KB

README.md

File metadata and controls

94 lines (69 loc) · 3.34 KB
Raw

RAG Tutorial

Учебный RAG на текстовых описаниях: TF-IDF + demo-ответ с источниками.
Pipeline: данные → чанки → индекс → поиск → ответ.

Документы разработки: doc/tasklist.md · Данные: doc/DATA.md · Домашнее задание: homework/README.md · Слайды: Seminar_Big_data.pdf · Kaggle: Consumer Complaint Database

Требования

  • Python 3.10+
  • uv

Быстрый старт

# 1. Окружение
uv venv
uv sync

# 2. Сборка индекса (ingest + chunk + TF-IDF)
uv run python scripts/build_index.py

# 3. Запуск UI
uv run streamlit run app/main.py

Откройте в браузере: http://localhost:8501

Demo-вопросы

В sidebar приложения или в поле ввода:

Вопрос Ожидание
Ипотека - закрытие ипотечной сделки ответ, doc_id=2, score > 0.4
Какие переменные в датасете про безработицу? отказ (нет таких данных)
За какой период данные об инфляции? отказ
Как приготовить борщ? отказ

Другие рабочие запросы: студенческий кредит, Capital One, Wells Fargo закрытие счёта.

Проверка из консоли

# Тесты
uv run pytest tests/ -v

# Поиск (итерация 5)
uv run python scripts/check_retrieval.py

# Demo-ответ (итерация 6)
uv run python scripts/check_generator.py

Структура проекта

rag-tutorial/
├── app/
│   ├── config.py       # пути, top_k, размер чанка
│   ├── chunker.py      # нарезка текста
│   ├── retriever.py    # TF-IDF + cosine top-k
│   ├── generator.py    # demo-ответ
│   ├── prompts.py      # правила и отказы
│   └── main.py         # Streamlit UI
├── scripts/
│   ├── ingest.py
│   ├── build_index.py
│   ├── check_retrieval.py
│   └── check_generator.py
├── data/
│   ├── raw/datasets.json
│   ├── processed/      # documents.jsonl, chunks.jsonl (генерируются)
│   └── index/          # vectorizer.pkl, matrix.npz (генерируются)
├── tests/
└── doc/

Пересборка индекса

После изменения data/raw/datasets.json:

uv run python scripts/build_index.py

Ограничения MVP

  • Поиск по словам (TF-IDF), не по смыслу — синонимы могут не находиться.
  • Demo-режим: ответ из найденных чанков, без внешней LLM.
  • Индексируется только текст описаний, CSV не используется.

Контакты

Подписывайтесь на канал: @Marat_notes