Skip to content

feat(Imirante): Adiciona Spider e Scraper para o portal Imirante - #34

Open
DanielRogs wants to merge 1 commit into
developfrom
feat/scraping-imirante
Open

DanielRogs wants to merge 1 commit into
developfrom
feat/scraping-imirante

Conversation

@DanielRogs

@DanielRogs DanielRogs commented Nov 19, 2025 •

Copy link
Copy Markdown

Descrição

Implementação completa de um novo scraper para o portal de notícias Imirante (https://imirante.com/) incluindo spider para coleta de URLs e play para extração de conteúdo.

O que foi alterado:

  • Criado spider ImiranteSpider em spiders/imirante.py
  • Criado play ImirantePlay em plays/imirante.py
  • Configuração especial para contornar problemas de compressão do site
  • Filtros para coletar apenas conteúdo jornalístico relevante
  • Comandos Make integrados: crawl_imirante e scrape_imirante

Por que foi necessário:

  • Expandir cobertura jornalística regional (Maranhão)
  • Adicionar fonte de notícias locais ao sistema checkUp
  • Atender demanda por diversificação de fontes de mídia

Desafios técnicos resolvidos:

  • Problema de compressão: Site retornava dados comprimidos em formato incompatível
  • Solução: Desabilitação de compressão (COMPRESSION_ENABLED: False)

🗂️ Tipo de Mudança

  • 🐞 Correção de bug (fix)
  • ✨ Nova funcionalidade (feat)
  • ♻️ Refatoração (refactor/improve)
  • 📝 Documentação (docs)
  • 🚀 Performance (perf)
  • 🧪 Testes (test)
  • ⚙️ Build/CI (build/ci/cd/static)

📌 Checklist

  • Mensagem de commit segue o padrão Conventional Commits
  • Nome da branch segue a Política de Branches Git Flow
  • Testes adicionados/atualizados
  • Documentação atualizada (README / Storybook / Swagger / MkDocs)
  • Pipeline CI/CD aprovado
  • Sem dependências pendentes

🔗 Issues Relacionadas

Closes #35

🧪 Como Testar

  1. Testar coleta de URLs:
make crawl_imirante
  1. Testar extração de conteúdo:
make scrape_imirante

📷 Evidências

Screenshots, GIFs ou logs (se aplicável).

📃 Notas Adicionais

Arquivos criados/modificados:

  • spiders/imirante.py - Spider principal
  • plays/imirante.py - Extractor de conteúdo
  • spiders/init.py - Import do ImiranteSpider
  • plays/init.py - Import do ImirantePlay
  • Makefile - Comandos crawl_imirante e scrape_imirante

Configurações especiais:

  • COMPRESSION_ENABLED: False - Essencial para funcionamento
  • Accept-Encoding: identity - Força HTML sem compressão

@DanielRogs DanielRogs self-assigned this Nov 19, 2025
@DanielRogs DanielRogs added the enhancement New feature or request label Nov 19, 2025
@DanielRogs
DanielRogs force-pushed the feat/scraping-imirante branch from 6f82531 to 6d64eff Compare November 19, 2025 17:48

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

enhancement New feature or request

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[NOVO] Portal: Imirante

1 participant