Полноценный проект с двумя вариантами Telegram-бота с RAG-функциональностью.
- Описание проекта
- Различия между версиями
- Структура проекта
- Установка и настройка
- Запуск ботов
- Использование
- Примеры работы
- Технические детали
Два полноценных Telegram-бота с RAG (Retrieval-Augmented Generation) функциональностью:
RAG - технология, объединяющая поиск информации в базе знаний с генерацией текста на основе языковых моделей. Боты могут находить релевантную информацию в документах и использовать её для формирования точных ответов.
✅ RAG-запросы - поиск и ответы на основе базы знаний ✅ Обработка изображений - извлечение текста с фото (Vision) ✅ Векторный поиск - быстрый семантический поиск через FAISS ✅ Индексация документов - автоматическое обновление базы знаний ✅ Память разговоров - контекстные ответы с учетом истории (до 10 сообщений) ✅ Логирование - полное отслеживание всех операций
Подход: Прямое использование официального OpenAI SDK
Преимущества:
- Простота использования
- Официальная поддержка
- Автоматическая обработка ошибок
- Встроенные retry механизмы
Технологии:
from openai import OpenAI
client = OpenAI(api_key=OPENAI_API_KEY)
response = client.embeddings.create(...)Когда использовать:
- Работа напрямую с OpenAI API
- Нужна стабильная и проверенная библиотека
- Не требуется кастомизация запросов
Подход: HTTP запросы к OpenAI-совместимому endpoint
Преимущества:
- Работа с любыми OpenAI-совместимыми API
- Полный контроль над HTTP запросами
- Возможность использования локальных моделей
- Легкая отладка и мониторинг
- Добавление кастомных headers
Технологии:
import requests
response = requests.post(
f"{PROXY_API_URL}/embeddings",
headers={"Authorization": f"Bearer {PROXY_API_KEY}"},
json={"model": EMBED_MODEL, "input": text}
)Когда использовать:
- Работа с ProxyAPI или альтернативными провайдерами
- Нужен контроль над HTTP запросами
- Использование локально развернутых моделей
- Необходима детальная отладка
rag_bot/
├── bot_openai/ # Версия с OpenAI SDK
│ ├── bot.py # Главный файл бота
│ ├── config.py # Конфигурация
│ ├── requirements.txt # Зависимости
│ ├── .env.example # Пример настроек
│ └── rag/ # RAG компоненты
│ ├── __init__.py
│ ├── embedder.py # Создание эмбеддингов
│ ├── vectorstore.py # FAISS хранилище
│ ├── retriever.py # Поиск документов
│ └── pipeline.py # RAG пайплайн
│
├── bot_proxy/ # Версия с ProxyAPI
│ ├── bot.py # Главный файл бота
│ ├── config.py # Конфигурация
│ ├── requirements.txt # Зависимости
│ ├── .env.example # Пример настроек
│ └── rag/ # RAG компоненты
│ ├── __init__.py
│ ├── embedder.py # Создание эмбеддингов (HTTP)
│ ├── vectorstore.py # FAISS хранилище
│ ├── retriever.py # Поиск документов
│ └── pipeline.py # RAG пайплайн (HTTP)
│
├── data/ # Данные
│ └── docs/ # Документы для индексации
│ ├── sample1.txt # Пример: RAG в поддержке
│ └── sample2.txt # Пример: RAG в HR
│
└── README.md # Эта документация
- Python 3.10 или выше
- Telegram Bot Token (получить у @BotFather)
- OpenAI API Key или ProxyAPI credentials
cd rag_bot/bot_openai
pip install -r requirements.txtcd rag_bot/bot_proxy
pip install -r requirements.txt# Telegram Bot Token (получить у @BotFather)
TELEGRAM_TOKEN=your_telegram_bot_token_here
# OpenAI API Key (https://platform.openai.com/api-keys)
OPENAI_API_KEY=your_openai_api_key_here# Telegram Bot Token (получить у @BotFather)
TELEGRAM_TOKEN=your_telegram_bot_token_here
# ProxyAPI Settings
PROXY_API_URL=https://api.proxyapi.ru/openai/v1
PROXY_API_KEY=your_proxy_api_key_here- Добавьте свои
.txtфайлы в директориюdata/docs/ - Или используйте предоставленные примеры (sample1.txt, sample2.txt)
cd rag_bot/bot_openai
python bot.pycd rag_bot/bot_proxy
python bot.pyПосле запуска бота:
- Найдите бота в Telegram по username
- Отправьте команду
/start - Выполните команду
/ingestдля индексации документов - Начните задавать вопросы!
| Команда | Описание |
|---|---|
/start |
Приветствие и основная информация |
/help |
Подробная справка по использованию |
/ask <вопрос> |
Задать вопрос с RAG-поиском |
/ingest |
Переиндексировать базу знаний |
/stats |
Показать статистику системы и истории |
/clear |
Очистить историю разговора |
/test |
(только proxy) Проверить подключение к API |
Просто напишите вопрос боту:
Что такое RAG и как он работает?
Бот автоматически:
- Найдет релевантные документы в базе знаний
- Учтет историю предыдущих сообщений для контекста
- Сформирует контекст
- Сгенерирует ответ на основе найденной информации
Явный RAG-запрос:
/ask Как применяется RAG в поддержке клиентов?
Отправьте фото (скриншот, документ, картинку с текстом):
- Без подписи: Бот извлечет текст с изображения
- С подписью: Бот извлечет текст И ответит на ваш вопрос, используя RAG
Пример:
[Прикрепите фото документа]
Подпись: Объясни что это значит
Запрос:
Какие преимущества RAG в HR-процессах?
Ответ бота:
💡 Ответ:
RAG в HR-процессах предоставляет следующие преимущества:
Для HR-отдела:
• Сокращение времени на обработку типовых запросов на 70%
• Возможность фокусироваться на стратегических задачах
• Единообразие в предоставлении информации
Для сотрудников:
• Доступ к информации 24/7
• Мгновенные ответы на вопросы
• Конфиденциальность запросов
Для компании:
• Снижение операционных затрат HR-отдела
• Повышение удовлетворенности сотрудников
• Улучшение опыта онбординга
📚 Источники: sample2.txt
Действие: Отправка скриншота с текстом + подпись "Что это означает?"
Ответ бота:
📄 Текст с изображения:
[Извлеченный текст из изображения]
💡 Ответ на ваш вопрос:
[Объяснение на основе извлеченного текста и базы знаний]
📚 Источники: sample1.txt, sample2.txt
Диалог:
👤 Пользователь: Что такое RAG?
🤖 Бот: RAG (Retrieval-Augmented Generation) - это технология, которая
объединяет поиск информации в базе знаний с генерацией ответов...
📚 Источники: sample1.txt
👤 Пользователь: А где это используется?
🤖 Бот: RAG (о котором мы говорили выше) активно используется в:
- Службах поддержки клиентов для автоматизации ответов
- HR-отделах для помощи сотрудникам
- Технической документации для быстрого поиска...
📚 Источники: sample1.txt, sample2.txt
👤 Пользователь: Как это помогает HR?
🤖 Бот: В HR-процессах RAG помогает автоматизировать ответы на
типовые вопросы сотрудников о политиках компании, льготах...
📚 Источники: sample2.txt
👤 Пользователь: /stats
🤖 Бот:
📊 Статистика RAG-системы
Ваш контекст:
• Сообщений в истории: 3
👤 Пользователь: /clear
🤖 Бот: 🧹 История очищена!
Удалено 3 сообщений из контекста.
Начинаем разговор с чистого листа!
Описание:
- Бот помнит контекст последних 10 сообщений
- Понимает местоимения и отсылки к предыдущим вопросам ("это", "там", "как вы сказали")
/clearочищает историю для начала новой темы/statsпоказывает количество сообщений в памяти
Команда: /ingest
Ответ бота:
✅ Индексация завершена успешно!
📊 Статистика:
• Документов: 2
• Векторов: 2
• Размерность: 1536
Бот готов к работе! Задавайте вопросы. 💬
Команда: /stats
Ответ бота:
📊 Статистика RAG-системы
Состояние базы знаний:
✅ Загружена
Данные:
• Документов: 2
• Векторов: 2
• Размерность: 1536
Модели:
• Чат: gpt-4o-mini
• Vision: gpt-4o-mini
• Эмбеддинги: text-embedding-3-small
Файлы:
• Индекс: ✅
• Метаданные: ✅
Пользователь → Telegram Bot
↓
RAG Pipeline
↓
┌───────────┴───────────┐
↓ ↓
Embedder Retriever
↓ ↓
OpenAI/Proxy VectorStore (FAISS)
↓ ↓
Embeddings Search Results
└───────────┬───────────┘
↓
Context Formation
↓
LLM (GPT-4o-mini)
↓
Answer Generation
↓
Response to User
Преобразует текст в векторные представления (embeddings).
OpenAI версия:
- Использует OpenAI SDK
- Модель: text-embedding-3-small
- Размерность: 1536
ProxyAPI версия:
- HTTP POST запросы
- OpenAI-совместимый формат
- Поддержка кастомных endpoints
Хранит и ищет векторные представления документов.
Технология: FAISS (Facebook AI Similarity Search)
- Быстрый поиск похожих векторов
- IndexFlatL2 - евклидова метрика
- Сохранение на диск (.faiss + .json)
Извлекает релевантные документы по запросу.
Процесс:
- Преобразование запроса в эмбеддинг
- Поиск Top-K похожих векторов
- Формирование контекста из найденных документов
Координирует работу всех компонентов.
Процесс RAG:
- Получение запроса пользователя
- Поиск релевантных документов (Retrieval)
- Формирование промпта с контекстом (Augmented)
- Генерация ответа моделью (Generation)
| Модель | Назначение | Стоимость (OpenAI) |
|---|---|---|
| text-embedding-3-small | Создание эмбеддингов | $0.02 / 1M tokens |
| gpt-4o-mini | Генерация ответов | $0.15 / 1M input tokens |
| gpt-4o-mini | Vision (обработка изображений) | $0.15 / 1M input tokens |
В файле config.py:
# Количество релевантных документов для контекста
TOP_K_RESULTS = 3
# Максимальная длина контекста
MAX_CONTEXT_LENGTH = 3000
# Модели
EMBED_MODEL = "text-embedding-3-small"
CHAT_MODEL = "gpt-4o-mini"
VISION_MODEL = "gpt-4o-mini"Все операции логируются в файл bot.log:
LOG_LEVEL = "INFO" # DEBUG, INFO, WARNING, ERRORЛоги включают:
- Все запросы пользователей
- Результаты поиска документов
- Обращения к API
- Ошибки и исключения
- Не коммитьте файлы .env в репозиторий
- Используйте .gitignore для защиты секретов
- Ограничьте доступ к команде /ingest (только администраторы)
- Логируйте все действия для аудита
- Регулярно обновляйте зависимости
# Environment variables
.env
*.env
# FAISS indexes
*.faiss
metadata.json
# Logs
*.log
# Python
__pycache__/
*.py[cod]
*$py.class
.venv/
venv/Решение: Выполните команду /ingest для индексации документов
Решение:
- Проверьте API ключи в .env файле
- Проверьте баланс аккаунта OpenAI/ProxyAPI
- Для ProxyAPI: используйте
/testдля проверки подключения
Решение:
- Убедитесь что .txt файлы находятся в
data/docs/ - Проверьте кодировку файлов (должна быть UTF-8)
- Проверьте путь DOCS_PATH в config.py
Решение:
pip install -r requirements.txt --upgrade- Используйте IVF индексы в FAISS:
# В vectorstore.py
self.index = faiss.IndexIVFFlat(quantizer, dimension, nlist)- Разбивайте большие документы:
# Chunk size ~500-1000 слов
MAX_CHUNK_SIZE = 3000- Используйте async операции:
# Для параллельной обработки запросов
import aiohttpПроект открыт для улучшений:
- Добавление поддержки других форматов документов (PDF, DOCX)
- Реализация re-ranking для улучшения поиска
- Добавление кэширования ответов
- Интеграция с другими LLM провайдерами
- Улучшение обработки изображений
Этот проект предоставлен в образовательных целях.
Создано с ❤️ для демонстрации RAG технологии