Консольная утилита-парсер онлайн-библиотеки tululu. Основное назначение - собирать информацию о книгах жанра "Фантастика" в *.json файл. По желанию можно настроить диапазон страниц для парсинга, уточнить скачивать/не скачивать книги(*.txt) и их обложки, и где сохранять полученные данные.
У вас уже должен быть установлен python3, pip, virtualenv - или иной пакет для создания виртуального окружения.
- Скачайте код
- Создайте и активируйте виртуальное окружение:
$ virtualenv venv
$ source venv/bin/activate- Установите зависимости командой:
$ pip install -r requirements.txtПодробную информации об аргументах командой строки можно получить, попросив подсказку:
$ ./parse_tululu_category.py --helpЕсть 6 аргументов командной строки:
--start_id- номер страницы, с которой начать скачивание книг
--end_id- номер страницы, до которой скачивать книги (default = start_id + 1)--dest_folder- путь к каталогу с результатами парсинга: картинкам, книгам, JSON (default = pwd)--skip_img- если указан этот флаг, обложки книг скачиваться не будут (default = False)--start_id- если указан этот флаг, книги(.txt) скачиваться не будут (default = False)--json_path— указать свой путь к .json файлу с результатами (default = pwd)
$ ./parse_tululu_category.py --start_id 10 --end_id 20 --dest_folder /mnt/c/Users/XXXXX/Desktop/ --skip_img --json_path /mnt/c/Users/XXXXX/Desktop/Results2022/Вывод в терминал:
В терминале выводятся ссылки на книги библиотеки, которые были пропарсены. И сообщение о редиректе, в случае отсутствия ссылки на скачивание книги/обложки.
Код написан в образовательных целях на онлайн-курсе для веб-разработчиков dvmn.org.