В репозитории представлены шесть лабораторных работ и итоговый проект. Исходные материалы курса сохранены в каталогах семинар_1–семинар_6 и финальный_проект; выполненные работы размещены отдельно.
| № | Тема | Основание | Материалы | Основной результат |
|---|---|---|---|---|
| 1 | Основы работы с API и промптинг | Семинар 1 | lab1_api_basics |
234 валидных ответа API, 200 оценок заголовков |
| 2 | Генерация синтетических заявок на программы ДПО | Семинар 2 | lab1_verified |
50 валидных заявок, соблюдены ограничения по городам и специальностям |
| 3 | Анализ текстовых отзывов | Семинар 3 | lab2_text |
30 отзывов, итоговая оценка 0,8135, отсутствуют неподтверждённые цитаты |
| 4 | RAG и сравнение способов разбиения текста | Семинар 4 | lab3_rag |
5 документов, 30 вопросов, hit-rate@5 = 0,9000 для обеих стратегий |
| 5 | Макроэкономический агент с инструментами | Семинар 5 | lab4_agent |
10 из 10 вопросов пройдены после проверки числового парсера |
| 6 | Архитектура «Планировщик — Исполнитель — Критик» | Семинар 6 | lab5_pwc |
90 сравнительных запусков, 100 испытаний критика, 12 замеров времени |
| — | Итоговый проект Academic Navigator | Финальный проект | final_project_student_support |
17 из 20 примеров пройдены по строгой разметке; неподтверждённых цитат нет |
Номера работ соответствуют последовательности семинаров. Технические названия каталогов сохранены, поскольку они используются в сценариях запуска, относительных путях и архивах завершённых экспериментов.
Во всех работах применяются единые требования к воспроизводимости:
- параметры запуска и исходные данные фиксируются в артефактах эксперимента;
- ответы модели, журналы запросов и результаты проверок сохраняются без ручного изменения;
- структурированный вывод проверяется моделями Pydantic и программными инвариантами;
- для длительных запусков предусмотрены кэширование и продолжение с последнего завершённого этапа;
- API-ключи, файл
.envи виртуальные окружения в репозиторий не включаются; - ограничения методов и непройденные примеры отражаются в отчётах.
Для генерации использован API DeepSeek. Сохранённые результаты можно изучить без действующего API-ключа.
В каталоге каждой работы находятся:
README.mdс постановкой задачи, методикой и способом запуска;- исходный код и тесты;
- отчёт с численными результатами;
- сохранённые артефакты эксперимента;
- документ проверки (
VALIDATION.md,VERIFICATION.mdилиAPI_REVIEW.json).
Проверенные архивы результатов размещены в корне репозитория:
| Работа | Архив |
|---|---|
| Лабораторная работа № 1 | lab1_results_checked.zip |
| Лабораторная работа № 2 | результаты находятся в каталоге lab1_verified |
| Лабораторная работа № 3 | lab2_final.zip |
| Лабораторная работа № 4 | lab3_final.zip |
| Лабораторная работа № 5 | lab4_results_checked.zip |
| Лабораторная работа № 6 | lab5_results_checked.zip |
| Итоговый проект | final_project_results_checked.zip |
Academic Navigator представляет собой учебную систему анализа и маршрутизации обращений магистрантов. Конвейер объединяет структурированное извлечение информации, локальный BM25/RAG, агента с инструментами, разделение ролей и LLM-as-judge. Оценивание выполнено на 20 синтетических обращениях и включает проверку результата, источников и траектории решения.
Основные показатели проекта:
- строгая проверка по эталонной разметке: 17 из 20;
- попадание требуемого источника в первые три результата: 20 из 20;
- полнота обязательных инструментов: 20 из 20;
- неподтверждённые цитаты: 0;
- сохранённые ответы API: 99.
Подробная методика и разбор трёх непройденных примеров приведены в API_REPORT.md.
Результаты относятся к зафиксированным версиям входных данных, промптов и модели. Повторный запуск может отличаться из-за вероятностного характера генерации. Данные лабораторных работ и проекта имеют учебный характер и не должны рассматриваться как действующие нормативные сведения или официальный информационный сервис.