make parser and norm text, need add link to file#29
Conversation
|
Остальное проверю дома, пока апрува не будет и пусть остается в статусе проверки, может Илья подключится еще |
TToJlkoBHuK
left a comment
TToJlkoBHuK
left a comment
There was a problem hiding this comment.
Не знаю, сам писал или сгенерил - но так и так вышла какая то лажа, нужно или все переделывать или дополнять сильно
Жду:
- осмысленный наполненный код
- тесты на презентации Новикова
Если суть задания не ясна по ТЗ по твоим задачам: сильно упрощу: необходимо распарсивать термины, выделенные красным цветом, к ним найти определение. создать затем пару термин - определение, нормализация и очистка, а уже сохранить в формат, который можно загрузить в Postgres таблицу
| text = re.sub(r'\(стр\.\s+\d+\)', '', text, flags=re.IGNORECASE) | ||
| text = re.sub(r'\[страница\s+\d+\]', '', text, flags=re.IGNORECASE) | ||
|
|
||
| # 5. Удаляем URL |
There was a problem hiding this comment.
Это конечно круто, пункт 5) а где пункты 4, 3, 2, 1?)))
Ладно, это так, просто заметил при проверке до PR
| # 5. Удаляем URL | ||
| text = re.sub(r'https?://\S+', '', text) | ||
|
|
||
| # 6. Финальная очистка пробелов |
There was a problem hiding this comment.
Аналогично предыдущему
| @@ -0,0 +1,74 @@ | |||
| import pdfplumber | |||
There was a problem hiding this comment.
у меня падает сразу на это этапе - библиотеку скачал, но ее он просто не видит.
|
@andreikurakin123 ревью провел, кстати, отмечу - у тебя код линтер не прошел, учти это также |
2 participants
No description provided.