Skip to content

feat(Polêmica Paraíba): Adiciona Spider e Scraper para o Polêmica Paraíba - #88

Open
314dro wants to merge 12 commits into
developfrom
feat/scraping-polemicaParaiba
Open

314dro wants to merge 12 commits into
developfrom
feat/scraping-polemicaParaiba

Conversation

@314dro

@314dro 314dro commented Dec 3, 2025

Copy link
Copy Markdown

Descrição

Criação do spider e scrape para o Portal Faxaju

🗂️ Tipo de Mudança

  • 🐞 Correção de bug (fix)
  • ✨ Nova funcionalidade (feat)
  • ♻️ Refatoração (refactor/improve)
  • 📝 Documentação (docs)
  • 🚀 Performance (perf)
  • 🧪 Testes (test)
  • ⚙️ Build/CI (build/ci/cd/static)

📌 Checklist

  • Mensagem de commit segue o padrão Conventional Commits
  • Nome da branch segue a Política de Branches Git Flow
  • Testes adicionados/atualizados
  • Documentação atualizada (README / Storybook / Swagger / MkDocs)
  • Pipeline CI/CD aprovado
  • Sem dependências pendentes

🔗 Issues Relacionadas

Closes #87

🧪 Como Testar

  1. Configurar ambiente
make setup
  1. Rodar spider para coletar URLs de notícias:
make crawl_polemicaparaiba
  1. Rodar scraper para processar e salvar as notícias no MinIO:
 make scrape_polemicaparaiba

📷 Evidências

Screenshots, GIFs ou logs (se aplicável).

📃 Notas Adicionais

Observações para revisores ou deploy.

luciano-freitas-melo and others added 12 commits September 17, 2025 20:33
* fix: corrige links e atualiza config de issues do repositorio

* fix(link documentacao):  atualiza link doc novo spider

---------

Co-authored-by: luciano-freitas-melo <lucianodefreitasmelo@hotmail.com>
* adição de icones para os respectivos portais

* refactor(frontend/Home): remove comentarios de debug


---------

Co-authored-by: luciano-freitas-melo <lucianodefreitasmelo@hotmail.com>
docs(nova documentacao): criação guia de contribuição e codigo de conduta
feat(Jornal da Paraiba): Criação do spider e scraper do portal de notícias Jornal da Paraiba
…ecutar um scraper (#31)

* Adiciona correção que instala o firefox ao iniciar qualquer scraper.

* fix: Ajustando instalação do firefox no playwrigth

* build(Makefile): melhoria na execucao dos containers scraper

---------

Co-authored-by: Carlos Nascimento <cdgodoy17@gmail.com>
Co-Authored-By: alanagabriele
@314dro 314dro self-assigned this Dec 3, 2025
@314dro 314dro changed the title Feat/scraping polemica paraiba feat(Polêmica Paraíba): Adiciona Spider e Scraper para o Polêmica Paraíba Dec 3, 2025
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[FEAT] Portal: Polêmica Paraíba

7 participants