Skip to content

feat(Globo): Adaptação do scraper existente do portal para extrair conteúdo de notícias em vez de anúncios - #8

Open
alanagabriele wants to merge 6 commits into
developfrom
feat/globo
Open

alanagabriele wants to merge 6 commits into
developfrom
feat/globo

Conversation

@alanagabriele

Copy link
Copy Markdown

Descrição

Foi adaptado o scraper do portal Globo para extrair exclusivamente conteúdo de notícias (título, descrição, corpo e tags), em vez de capturar anúncios e outros elementos irrelevantes.

A motivação dessa alteração é alinhar o comportamento do scraper ao objetivo do projeto: coletar apenas informações jornalísticas do site, garantindo dados mais consistentes e úteis para processamento e análise.

🗂️ Tipo de Mudança

  • 🐞 Correção de bug (fix)
  • ✨ Nova funcionalidade (feat)
  • ♻️ Refatoração (refactor/improve)
  • 📝 Documentação (docs)
  • 🚀 Performance (perf)
  • 🧪 Testes (test)
  • ⚙️ Build/CI (build/ci/cd/static)

📌 Checklist

  • Mensagem de commit segue o padrão Conventional Commits
  • Nome da branch segue a Política de Branches Git Flow
  • Testes adicionados/atualizados
  • Documentação atualizada (README / Storybook / Swagger / MkDocs)
  • Pipeline CI/CD aprovado
  • Sem dependências pendentes

🔗 Issues Relacionadas

Closes #6

🧪 Como Testar

  1. Configure o ambiente
make setup  
  1. Rodar spider para coletar URLs de notícias:
make crawl_globo
  1. Rodar scraper para processar e salvar as notícias no MinIO:
make scrape_globo

@alanagabriele alanagabriele self-assigned this Oct 8, 2025

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[ADAPTAÇÃO] Portal: Globo

1 participant