Feature/parser init by andreikurakin123 · Pull Request #30 · ilindan-dev/RAGDM

andreikurakin123 · 2026-04-03T20:35:43Z

я пробежался по всем требованиям, вроде все красиво.

TToJlkoBHuK · 2026-04-03T20:54:26Z

+                    "text": text,
+                }
+            else:
+                print(f"⚠️ Страница {page_num}: текст не найден")


убрать ИИшный контент (Смайлики и прочее)

TToJlkoBHuK · 2026-04-03T20:54:34Z

+            page.flush_cache()
+
+            if page_num % 10 == 0:
+                print(f"⌛ Обработано {page_num} страниц...")


тоже самое

TToJlkoBHuK · 2026-04-03T20:55:00Z

+    pdf_path, model, chapter_name="unknown", start_page=1, end_page=None
+):
+    """
+    Полный pipeline для RAG: парсинг → фильтрация → блоки → эмбеддинги.


описание попроще - чтобы не иишный контент был

и на английском

без стрелочек

TToJlkoBHuK · 2026-04-03T20:55:18Z

+                flush_batch()
+
+            if count % 10 == 0:
+                print(f"✍️ Обработано и записано {count} логических блоков в SQL...")


смайлики

TToJlkoBHuK · 2026-04-03T20:55:24Z

+        flush_batch()
+
+    print(
+        f"✅ SQL скрипт успешно сгенерирован: {output_file}. "


смайлики

TToJlkoBHuK · 2026-04-03T20:55:32Z

+
+def main():
+    print(
+        "⏳ Инициализация модели "


смайлики

TToJlkoBHuK · 2026-04-03T20:55:40Z

+            cache_folder=str(models_dir),
+        )
+    except Exception as e:
+        print(f"❌ Ошибка при загрузке модели: {e}")


TToJlkoBHuK · 2026-04-03T20:55:55Z

+    data_dir = Path(__file__).parent.parent / "data"
+    if not data_dir.exists():
+        print(
+            f"⚠️ Папка {data_dir} не найдена. "


ну и так далее, больше не буду

ilindan-dev · 2026-04-04T23:08:03Z

+
+def main():
+    print(
+        "⏳ Инициализация модели "


... Замена но нормальный лог
print("Initializing model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2...")

Ну и значки убери

ilindan-dev · 2026-04-04T23:12:49Z

+
+    pdf_files = list(data_dir.glob("*.pdf"))
+    if not pdf_files:
+        print(f"⚠️ В папке {data_dir} нет PDF файлов.")


Аналогично смайлик и на английский
print(f"No PDF files found in {data_dir}.")

ilindan-dev · 2026-04-04T23:13:02Z

+        print(f"⚠️ В папке {data_dir} нет PDF файлов.")
+        return
+
+    print(f"🔍 Найдено {len(pdf_files)} PDF файлов для обработки.")


print(f"Found {len(pdf_files)} PDF files for processing.")

ilindan-dev · 2026-04-04T23:13:12Z

+
+    def all_pdfs_generator():
+        for pdf_path in pdf_files:
+            print(f"📖 Читаем документ: {pdf_path.name}")


print(f"Processing document: {pdf_path.name}")

ilindan-dev · 2026-04-04T23:38:29Z

+    kw_cleaned = [
+        str(kw).replace("'", "").replace('"', "") for kw in item["keywords"][:10]
+    ]
+    keywords_pg = "{" + ",".join(kw_cleaned) + "}"


убрать

ilindan-dev · 2026-04-04T23:38:44Z

+    return (
+        f"('{escape_sql_string(item['chapter_name'])}', "
+        f"'{keywords_pg}', "
+        f"'{escape_sql_string(item['chunk_text'])}', "
+        f"'{embedding_str}')"
+    )


return ( f"('{escape_sql_string(item['front_text'])}', " f"'{escape_sql_string(item['back_text'])}', " f"'{embedding_str}', " f"'{escape_sql_string(item['source_info'])}')" )

напоминаю, что у нас карточки, и все посмотри в миграцию

ilindan-dev · 2026-04-04T23:39:32Z

+
+def generate_sql(data_generator, output_file="init.sql"):
+    """
+    Генерирует init.sql: DDL и пакетные INSERT (не по одной строке на команду).


доки англ

не init.sql напоминаю

уточнение убрать

ilindan-dev · 2026-04-04T23:42:01Z

+    init_script = [
+        "-- Инициализация таблиц для RAG",
+        "CREATE EXTENSION IF NOT EXISTS vector;",
+        "CREATE TABLE IF NOT EXISTS documents (",
+        "    id SERIAL PRIMARY KEY,",
+        "    chapter_name TEXT,",
+        "    keywords TEXT[],",
+        "    chunk_text TEXT,",
+        "    embedding vector(384)",
+        ");",
+        "",
+        f"-- Данные: один INSERT содержит до {INSERT_VALUES_PER_STATEMENT} строк.",
+        "",
+    ]


Что тут вообще просходит? Если прям так что-то хочет в инит напиши

"-- Auto-generated seed file for card_contents", "-- Data is chunked into batches for performance.", ""

Опять же ты миграции я тебе кидал

ilindan-dev · 2026-04-04T23:42:49Z

+    insert_header = (
+        "INSERT INTO documents (chapter_name, keywords, chunk_text, embedding) VALUES\n"
+    )


insert_header = "INSERT INTO card_contents (front_text, back_text, embedding, source_info) VALUES\n"

ilindan-dev · 2026-04-04T23:51:51Z

Скрипт решает задачу, но архитектурно сейчас он выглядит как God Object (один файл делает абсолютно всё), и доки, раз уж ты взялся, нужно привести к общему стандарту.

Пожалуйста, сделай следующие правки перед мерджем:

1 Разделение ответственности (SRP)
Сейчас в parser.py смешана логика чтения бинарников, NLP-обработка (YAKE), регулярки и DDL/SQL генерация. Эту лапшу будет невозможно поддерживать и тестировать.
Пожалуйста, разбей код на пакеты/модули. Желаемая структура:

extractors/ - логика работы с pdfplumber и сырым текстом.
nlp/ - очистка текста, разбиение на блоки, извлечение ключевых слов через YAKE.
generators/ (или db/) - маппинг данных и генерация .sql файла.

2 Документация и Docstrings
Давай писать комментарии и докстринги на английском языке, чтобы держать кодовую базу в едином стиле.
Нужно убрать «разговорный» стиль и эмодзи из принтов/логов - в консоли и CI/CD это визуальный мусор.
Опиши докстринги в стандартном формате (например, Google Style). Обязательно укажи, что функция принимает на вход (Args) и что отдает (Returns или Yields). Сейчас по сигнатурам функций непонятно, что и в каком формате там летает.

Тайп-хинтинг (Type Hints)
Добавь строгие сигнатуры для всех функций (через модуль typing - List, Dict, Generator, Optional и т.д.).

TToJlkoBHuK · 2026-04-05T16:39:05Z

В целом - код работает, просто надо по комментариями исправить -> и поработать над качеством данных

andreikurakin added 2 commits April 1, 2026 22:52

make parser and norm text, need add link to file

ab6bcd6

add parser

885b7e6

andreikurakin123 requested review from TToJlkoBHuK and ilindan-dev April 3, 2026 20:35

TToJlkoBHuK reviewed Apr 3, 2026

View reviewed changes

ilindan-dev reviewed Apr 4, 2026

View reviewed changes

andreikurakin added 3 commits April 9, 2026 20:22

delete smiles, make new comment, add new parser logic

af2e16c

fix linker errors

ffd2c95

linter

220c3b9

ilindan-dev closed this Apr 10, 2026

Conversation

andreikurakin123 commented Apr 3, 2026

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

ilindan-dev commented Apr 4, 2026

Uh oh!

TToJlkoBHuK commented Apr 5, 2026

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants