Skip to content

feat(cidade verde): Adiciona Spider e Scraper para o Portal Cidade Verde - #39

Open
alanagabriele wants to merge 2 commits into
developfrom
feat/cidadeVerde
Open

alanagabriele wants to merge 2 commits into
developfrom
feat/cidadeVerde

Conversation

@alanagabriele

Copy link
Copy Markdown

Descrição

Foi adaptado o scraper do portal Cidade Verde para extrair exclusivamente conteúdo de notícias (título, descrição, corpo e tags), em vez de capturar anúncios e outros elementos irrelevantes.

A motivação dessa alteração é alinhar o comportamento do scraper ao objetivo do projeto: coletar apenas informações jornalísticas do site, garantindo dados mais consistentes e úteis para processamento e análise.

🗂️ Tipo de Mudança

  • 🐞 Correção de bug (fix)
  • ✨ Nova funcionalidade (feat)
  • ♻️ Refatoração (refactor/improve)
  • 📝 Documentação (docs)
  • 🚀 Performance (perf)
  • 🧪 Testes (test)
  • ⚙️ Build/CI (build/ci/cd/static)

📌 Checklist

  • Mensagem de commit segue o padrão Conventional Commits
  • Nome da branch segue a Política de Branches Git Flow
  • Testes adicionados/atualizados
  • Documentação atualizada (README / Storybook / Swagger / MkDocs)
  • Pipeline CI/CD aprovado
  • Sem dependências pendentes

🔗 Issues Relacionadas

Closes #38

🧪 Como Testar

  1. Configure o ambiente
make setup  
  1. Rodar spider para coletar URLs de notícias:
make crawl_cidadeverde
  1. Rodar scraper para processar e salvar as notícias no MinIO:
make scrape_cidadeverde

📷 Evidências

Screenshots, GIFs ou logs (se aplicável).

📃 Notas Adicionais

Observações para revisores ou deploy.

@alanagabriele alanagabriele self-assigned this Nov 19, 2025

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[NOVO] Portal: Cidade Verde

1 participant