Skip to content

feat(Uai): cria spider e scraper para o portal Uai - #36

Open
DanielRogs wants to merge 1 commit into
developfrom
feat/scraping-portaluai
Open

DanielRogs wants to merge 1 commit into
developfrom
feat/scraping-portaluai

Conversation

@DanielRogs

@DanielRogs DanielRogs commented Nov 19, 2025 •

Copy link
Copy Markdown

Descrição

Implementa novo scraper para o Portal UAI com arquitetura multi-domínio, permitindo coleta de notícias de 5 domínios diferentes da rede UAI: uai.com.br, em.com.br, vrum.com.br, aqui.uai.com.br e soubh.uai.com.br.

Motivação: Expandir a cobertura de coleta de notícias para incluir um dos principais portais de notícias de Minas Gerais, aumentando significativamente o volume e diversidade de conteúdo coletado.

🗂️ Tipo de Mudança

  • 🐞 Correção de bug (fix)
  • ✨ Nova funcionalidade (feat)
  • ♻️ Refatoração (refactor/improve)
  • 📝 Documentação (docs)
  • 🚀 Performance (perf)
  • 🧪 Testes (test)
  • ⚙️ Build/CI (build/ci/cd/static)

📌 Checklist

  • Mensagem de commit segue o padrão Conventional Commits
  • Nome da branch segue a Política de Branches Git Flow
  • Testes adicionados/atualizados
  • Documentação atualizada (README / Storybook / Swagger / MkDocs)
  • Pipeline CI/CD aprovado
  • Sem dependências pendentes

🔗 Issues Relacionadas

Closes #37

🧪 Como Testar

  1. Executar coleta de URLs: make crawl_uai
  2. Verificar URLs coletadas: Confirmar que ~60+ URLs foram salvas no banco
  3. Executar extração: make scrape_uai
  4. Validar conteúdo: Verificar que título, descrição, corpo e tags foram extraídos
  5. Resultado esperado: Taxa de sucesso de 93%+ na extração dos campos

📷 Evidências

Screenshots, GIFs ou logs (se aplicável).

🚀 Principais Funcionalidades Implementadas:

Spider Multi-Domínio (spiders/uai.py)

  • Coleta URLs de 5 domínios diferentes
  • Filtros robustos para remover conteúdo não-noticioso
  • Seletores otimizados para cada subdomínio

Play de Extração (plays/uai.py)

  • Extração de 4 campos: título, descrição, corpo, tags
  • Seletores múltiplos com fallbacks
  • Tratamento específico para cada domínio
  • Taxa de sucesso: 93%+

Integração Completa

  • Comandos no Makefile: crawl_uai / scrape_uai
  • Documentação atualizada no README
  • Compatibilidade com pipeline existente

Qualidade dos Dados

  • Títulos: 100% de extração bem-sucedida
  • Descrições: 100% após correções
  • Corpo: Conteúdo substancial (2K-8K caracteres)
  • Tags: Categorização automática por URL

📃 Notas Adicionais

  • Portal multi-domínio: Primeira implementação com 5 domínios distintos no projeto

@DanielRogs DanielRogs self-assigned this Nov 19, 2025
@DanielRogs DanielRogs added the enhancement New feature or request label Nov 19, 2025
@DanielRogs DanielRogs changed the title feat: cria spider e scraper para o portal Uai feat(Uai): cria spider e scraper para o portal Uai Nov 19, 2025

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

enhancement New feature or request

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[NOVO] Portal: Portal Uai

1 participant