Skip to content

feat(Imirante): Adiciona Spider e Scraper para o portal Imirante - #76

Open
DanielRogs wants to merge 11 commits into
EH-FAKE:developfrom
GCES-EhFake-Fork:feat/scraping-imirante
Open

DanielRogs wants to merge 11 commits into
EH-FAKE:developfrom
GCES-EhFake-Fork:feat/scraping-imirante

Conversation

@DanielRogs

@DanielRogs DanielRogs commented Nov 19, 2025 •

Copy link
Copy Markdown

Descrição

Implementação completa de um novo scraper para o portal de notícias Imirante (https://imirante.com/) incluindo spider para coleta de URLs e play para extração de conteúdo.

O que foi alterado:

  • Criado spider ImiranteSpider em spiders/imirante.py
  • Criado play ImirantePlay em plays/imirante.py
  • Configuração especial para contornar problemas de compressão do site
  • Filtros para coletar apenas conteúdo jornalístico relevante
  • Comandos Make integrados: crawl_imirante e scrape_imirante

Por que foi necessário:

  • Expandir cobertura jornalística regional (Maranhão)
  • Adicionar fonte de notícias locais ao sistema checkUp
  • Atender demanda por diversificação de fontes de mídia

Desafios técnicos resolvidos:

  • Problema de compressão: Site retornava dados comprimidos em formato incompatível
  • Solução: Desabilitação de compressão (COMPRESSION_ENABLED: False)

🗂️ Tipo de Mudança

  • 🐞 Correção de bug (fix)
  • ✨ Nova funcionalidade (feat)
  • ♻️ Refatoração (refactor/improve)
  • 📝 Documentação (docs)
  • 🚀 Performance (perf)
  • 🧪 Testes (test)
  • ⚙️ Build/CI (build/ci/cd/static)

📌 Checklist

  • Mensagem de commit segue o padrão Conventional Commits
  • Nome da branch segue a Política de Branches Git Flow
  • Testes adicionados/atualizados
  • Documentação atualizada (README / Storybook / Swagger / MkDocs)
  • Pipeline CI/CD aprovado
  • Sem dependências pendentes

🔗 Issues Relacionadas

Closes #75

🧪 Como Testar

  1. Testar coleta de URLs:
make crawl_imirante
  1. Testar extração de conteúdo:
make scrape_imirante

📷 Evidências

Screenshots, GIFs ou logs (se aplicável).

📃 Notas Adicionais

Arquivos criados/modificados:

  • spiders/imirante.py - Spider principal
  • plays/imirante.py - Extractor de conteúdo
  • spiders/init.py - Import do ImiranteSpider
  • plays/init.py - Import do ImirantePlay
  • Makefile - Comandos crawl_imirante e scrape_imirante

Configurações especiais:

  • COMPRESSION_ENABLED: False - Essencial para funcionamento
  • Accept-Encoding: identity - Força HTML sem compressão

luciano-freitas-melo and others added 11 commits September 17, 2025 20:33
* fix: corrige links e atualiza config de issues do repositorio

* fix(link documentacao):  atualiza link doc novo spider

---------

Co-authored-by: luciano-freitas-melo <lucianodefreitasmelo@hotmail.com>
* adição de icones para os respectivos portais

* refactor(frontend/Home): remove comentarios de debug


---------

Co-authored-by: luciano-freitas-melo <lucianodefreitasmelo@hotmail.com>
docs(nova documentacao): criação guia de contribuição e codigo de conduta
feat(Jornal da Paraiba): Criação do spider e scraper do portal de notícias Jornal da Paraiba
…ecutar um scraper (#31)

* Adiciona correção que instala o firefox ao iniciar qualquer scraper.

* fix: Ajustando instalação do firefox no playwrigth

* build(Makefile): melhoria na execucao dos containers scraper

---------

Co-authored-by: Carlos Nascimento <cdgodoy17@gmail.com>
Co-Authored-By: alanagabriele
@DanielRogs DanielRogs self-assigned this Nov 19, 2025
@DanielRogs DanielRogs added the enhancement New feature or request label Nov 19, 2025
@DanielRogs DanielRogs moved this to Revisão PR (equipe) in Board de PR's | 2025.2 Nov 19, 2025
@DanielRogs
DanielRogs force-pushed the feat/scraping-imirante branch from 6f82531 to 6d64eff Compare November 19, 2025 17:48
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

enhancement New feature or request

Projects

Status: Revisão PR (equipe)

Development

Successfully merging this pull request may close these issues.

[NOVO] Portal: Imirante

5 participants