From 13c778a1c9caca08fa70cca4d02c76ca2aafb528 Mon Sep 17 00:00:00 2001 From: Anastasia Vakulich Date: Wed, 10 Jun 2026 23:23:24 +0300 Subject: [PATCH] Add files via upload --- homework/SUBMISSION.md | 54 ++++++++++++++++++++++++++++++------------ 1 file changed, 39 insertions(+), 15 deletions(-) diff --git a/homework/SUBMISSION.md b/homework/SUBMISSION.md index 0f6b274..f449548 100644 --- a/homework/SUBMISSION.md +++ b/homework/SUBMISSION.md @@ -1,15 +1,39 @@ -# Submission - -Заполните файл перед отправкой PR. - -## Ссылка на репозиторий с заданием - -- Repo URL: `<вставьте ссылку на ваш репозиторий>` - -## Автор - -- ФИО / ник: `<укажите>` - -## Комментарий - -- Кратко: что реализовано, какие данные использованы, что улучшено. +# Submission + +## Ссылка на репозиторий с заданием + +- Repo URL: `https://github.com/aavvanna/rag-homework` + +## Автор + +- ФИО / ник: Вакулич Анастасия Андреевна + +## Данные + +- Источник: Steam Games Dataset + Steam Reviews (Kaggle) + - https://www.kaggle.com/datasets/fronkongames/steam-games-dataset + - https://www.kaggle.com/datasets/andrewmvd/steam-reviews +- Встроенный демо-корпус: 39 игр / 76 чанков (`data/raw/datasets.json`). +- Масштабирование до 1000+ игр: `scripts/prepare_datasets.py` (локально, через `KAGGLE_API_TOKEN`). + +## Что реализовано + +- Полный pipeline: ingest → chunking → index (TF-IDF) → retrieval → demo-answer → Streamlit UI. +- 3 demo-вопроса с ответами и источниками + 1 negative-вопрос с корректным отказом. +- 15 тестов green (chunking, retrieval, multi-query). + +## Улучшение + +- Реализовано **Multi-Query Retrieval** (`app/multiquery.py`): переформулировка запроса в несколько вариаций (нормализация + доменные синонимы и сокращения) и объединение результатов по максимальному score (score-fusion). Повышает устойчивость к синонимам, перефразировкам и сокращениям. +- Дополнительно: русские стоп-слова и инъекция названия игры в чанк — для точного отказа на negative-вопросе и корректного ранжирования по названию. +- Направления дальнейших улучшений (включая нейросетевой BGE-reranker и embeddings) — в [IMPROVEMENTS.md](IMPROVEMENTS.md). +- Подключение к LLM через Token OPENROUTER_API_KEY=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 + +## Demo + +| # | Вопрос | Ожидаемо | +|---|--------|----------| +| 1 | Какие игры похожи на Factorio по глубине автоматизации? | Satisfactory, Factorio, Techtonica | +| 2 | Какие минусы чаще всего упоминают игроки в Starfield? | Starfield (минус-отзывы) | +| 3 | Какие кооперативные игры рекомендуют игроки? | Stardew Valley, Raft, Don't Starve Together | +| neg | Кто выиграл чемпионат мира по футболу 2022? | Отказ: «В моей базе знаний нет информации об этом.» |