Интерактивные страницы и блокноты для двухдневного семинара по обработке естественного языка для студентов технических специальностей. Сквозные примеры — теория вероятностей и математическая статистика.
- Главная: программа двух дней
- День 1 — токенизация, BoW, TF–IDF, косинусная близость и поиск
- День 2 — контекст, retrieval, граф понятий, онтология и QA
Исходные файлы: index.html, day1.html, day2.html. Страницы работают без установки библиотек. Если GitHub Pages ещё не включён: откройте Settings → Pages → Deploy from a branch → main → /(root) → Save.
- День 1 — от текста к вектору: техническая предобработка и токенизация; частоты и n-граммы; BoW и TF–IDF; косинусная близость и поиск похожих задач.
- День 2 — контекст, семантика, графы и генерация QA: разбиение учебного текста на контекстные фрагменты и retrieval; эмбеддинги и метрики близости; граф понятий/фрагмент онтологии; генерация вопросов и ответов и проверка качества.
Для основных блоков:
python -m pip install scikit-learn matplotlib networkxДополнительный эксперимент с готовой многоязычной моделью эмбеддингов требует установки библиотеки sentence-transformers и загрузки модели.
HTML-страницы — наглядные учебные модели, а не запуск языковой модели. Поиск на страницах основан на лексических признаках; иллюстративные оценки не следует интерпретировать как результаты реального ML-эксперимента. В блокнотах можно реализовать и сравнить алгоритмы на данных.