Парсер книг сайта tululu.org

Консольная утилита-парсер онлайн-библиотеки tululu. Основное назначение - собирать информацию о книгах жанра "Фантастика" в *.json файл. По желанию можно настроить диапазон страниц для парсинга, уточнить скачивать/не скачивать книги(*.txt) и их обложки, и где сохранять полученные данные.

Как установить

У вас уже должен быть установлен python3, pip, virtualenv - или иной пакет для создания виртуального окружения.

• Скачайте код
• Создайте и активируйте виртуальное окружение:

$ virtualenv venv
$ source venv/bin/activate

• Установите зависимости командой:

$ pip install -r requirements.txt

Аргументы и запуск

Подробную информации об аргументах командой строки можно получить, попросив подсказку:

$ ./parse_tululu_category.py --help

Есть 6 аргументов командной строки:

Обязательный

• --start_id - номер страницы, с которой начать скачивание книг

Необязательные

• --end_id - номер страницы, до которой скачивать книги (default = start_id + 1)
• --dest_folder - путь к каталогу с результатами парсинга: картинкам, книгам, JSON (default = pwd)
• --skip_img - если указан этот флаг, обложки книг скачиваться не будут (default = False)
• --start_id - если указан этот флаг, книги(.txt) скачиваться не будут (default = False)
• --json_path — указать свой путь к .json файлу с результатами (default = pwd)

Пример запуска скрипта:

$ ./parse_tululu_category.py --start_id 10 --end_id 20 --dest_folder /mnt/c/Users/XXXXX/Desktop/ --skip_img --json_path /mnt/c/Users/XXXXX/Desktop/Results2022/

Вывод в терминал:

В терминале выводятся ссылки на книги библиотеки, которые были пропарсены. И сообщение о редиректе, в случае отсутствия ссылки на скачивание книги/обложки.

Цель проекта

Код написан в образовательных целях на онлайн-курсе для веб-разработчиков dvmn.org.