Arquiteturar solução utilizando Apache Airflow com o objetivo de coletar dados da 16º OBMEP e obter insights por meio de consultas em tabelas no AWS Athena.
- Coletar dados dos medalhistas de ouro, prata, bronze e menções honrosas das escolas públicas e privadas;
- Converter as diferentes tabela em um único arquivo no formato parquet;
- Criar tabela no AWS Athena utilizando o arquivo gerado no item anterior;
- Obter insights via consultas SQL no Athena.
- Quais são as escolas públicas e privadas com o maior número de medalhistas?
- Quais são os estados com o maior número de medalhistas?
- Quais são as cidades com o maior número de medalhistas?
- Fazer um desenho da arquitetura de como seria a solução em produção, detalhando o fluxo dos dados e os componentes usados.
- Gerar análises gráficas dos dados através de consultas no Athena com biblioteca Python boto3.