Проект нейросети на основе архитектуры LSTM для автодополнения текста
Cоздать нейросеть, которая на основе начала фразы предсказывает её продолжение. Автодополнение текста можно реализовать как на уровне символов (дополнить слово, которое печатает пользователь), так и на уровне слов (закончить текст несколькими словами или предложениями).
Создать легковесную модель, способную работать на устройствах с ограниченными ресурсами, и сравнить её с более мощной предобученной моделью на основе архитектуры Трансформер (distilgpt2).
Sentiment140 dataset — 1.6 млн твитов.
Этап 0. Подготовка окружения
Этап 1. Сбор и подготовка данных
Этап 2. Реализация рекуррентной сети
Этап 3. Тренировка модели
Этап 4. Использование предобученного трансформера
Этап 5. Формулирование выводов