Skip to content

Вакулич Анастасия. RAG #39

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
aavvanna wants to merge 1 commit into
base: master
Choose a base branch
from
Open

Вакулич Анастасия. RAG #39

Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
54 changes: 39 additions & 15 deletions homework/SUBMISSION.md
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,15 +1,39 @@
# Submission

Заполните файл перед отправкой PR.

## Ссылка на репозиторий с заданием

- Repo URL: `<вставьте ссылку на ваш репозиторий>`

## Автор

- ФИО / ник: `<укажите>`

## Комментарий

- Кратко: что реализовано, какие данные использованы, что улучшено.
# Submission

## Ссылка на репозиторий с заданием

- Repo URL: `https://github.com/aavvanna/rag-homework`

## Автор

- ФИО / ник: Вакулич Анастасия Андреевна

## Данные

- Источник: Steam Games Dataset + Steam Reviews (Kaggle)
- https://www.kaggle.com/datasets/fronkongames/steam-games-dataset
- https://www.kaggle.com/datasets/andrewmvd/steam-reviews
- Встроенный демо-корпус: 39 игр / 76 чанков (`data/raw/datasets.json`).
- Масштабирование до 1000+ игр: `scripts/prepare_datasets.py` (локально, через `KAGGLE_API_TOKEN`).

## Что реализовано

- Полный pipeline: ingest → chunking → index (TF-IDF) → retrieval → demo-answer → Streamlit UI.
- 3 demo-вопроса с ответами и источниками + 1 negative-вопрос с корректным отказом.
- 15 тестов green (chunking, retrieval, multi-query).

## Улучшение

- Реализовано **Multi-Query Retrieval** (`app/multiquery.py`): переформулировка запроса в несколько вариаций (нормализация + доменные синонимы и сокращения) и объединение результатов по максимальному score (score-fusion). Повышает устойчивость к синонимам, перефразировкам и сокращениям.
- Дополнительно: русские стоп-слова и инъекция названия игры в чанк — для точного отказа на negative-вопросе и корректного ранжирования по названию.
- Направления дальнейших улучшений (включая нейросетевой BGE-reranker и embeddings) — в [IMPROVEMENTS.md](IMPROVEMENTS.md).
- Подключение к LLM через Token OPENROUTER_API_KEY=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

## Demo

| # | Вопрос | Ожидаемо |
|---|--------|----------|
| 1 | Какие игры похожи на Factorio по глубине автоматизации? | Satisfactory, Factorio, Techtonica |
| 2 | Какие минусы чаще всего упоминают игроки в Starfield? | Starfield (минус-отзывы) |
| 3 | Какие кооперативные игры рекомендуют игроки? | Stardew Valley, Raft, Don't Starve Together |
| neg | Кто выиграл чемпионат мира по футболу 2022? | Отказ: «В моей базе знаний нет информации об этом.» |