Sou Engenheiro de Dados focado na construção de pipelines escaláveis, arquiteturas de streaming em tempo real e orquestração de fluxos de dados eficientes. Busco aplicar as melhores práticas desenvolvendo habilidades em análise e engenharia de dados, infraestrutura, automação e programação.
- 📚 Cursando Ciência da Computação – Centro Universitário Unibta
- 🔎 Foco em Engenharia de Dados (Kafka, Spark, Airflow), SQL, Python, PHP, Java, HTML/CSS/JS e Power BI
- 🖥️ Conhecimentos em Linux avançado, hardware e software, redes e segurança da informação
- 🐍 Experiência prática em Python e PHP para análise e engenharia de dados, criação de APIs e aplicações, e Desenvolvimento WEB
- 🗄️ Domínio em SQL para consultas avançadas, modelagem e manipulação de bancos de dados
- 📊 Experiência com planilhas e análise de dados administrativos, criação de API para importação de dados
- 🌍 Inglês intermediário
- 💡 Interesse em unir engenharia de dados, desenvolvimento web e infraestrutura para criar soluções completas, escaláveis e automatizadas
- Componentes: Producers, Brokers, Consumers e Consumer Groups, Tópicos, Partições e Offsets.
- Aplicações: Integração entre sistemas distribuídos, processamento de grandes volumes com alta performance, baixa latência e escalabilidade.
- Processamento: Leitura, manipulação e transformação de dados em Batch e Streaming (Structured Streaming).
- Otimizações: Particionamento de dados, avaliação preguiçosa (Lazy Evaluation) e formatos de arquivo otimizados (Parquet, Delta Lake).
- Construção de DAGs: Agendamento de tarefas, tratamento de dependências, Operadores e Hooks.
- Boas Práticas: Idempotência em pipelines, monitoramento de falhas, retentativas automáticas e alerta.
- 📌 Arquitetura de Eventos e Streaming de Dados com Apache Kafka
- 📌 Processamento distribuído de Big Data com Apache Spark / PySpark
- 📌 Orquestração e automação de ETL/ELT com Apache Airflow
- 📌 Containerização de ambientes e deploy com Docker e Docker Compose
- 📌 Dashboards interativos no Power BI e análise de dados com Python (Pandas, Matplotlib, Seaborn)
- 📌 Consultas avançadas, criação e integração de bancos de dados SQL em APIs/Websites
- 📌 Programação orientada a objetos com Java, PHP e Python
- 📌 Desenvolvimento web FullStack com HTML, CSS, JS, React e PHP
- 📊 Análise de Vendas com Power BI – Dashboard para visualizar KPIs e tendências de negócios.
- 🔴 Pipelines de Streaming com Apache Kafka – Integrações e processamento de mensagens em tempo real.
- 🔄 Orquestração de Dados com Apache Airflow – DAGs automatizadas para ingestão e transformação de dados.
- 🐍 Scripts & APIs em Python/PHP – Automações, integração com sistemas (CRM/Bitrix24) e consumo de Webhooks.
- 🗄️ Modelagem e Bancos de Dados SQL – Estruturação de schemas e integrações com aplicações web.
- 🌐 Desenvolvimento Web FullStack – Projetos de sites e sistemas dinâmicos em PHP/HTML/CSS/JS e React.
- 🐳 Ambientes Dockerizados – Containerização e subida simplificada de aplicações e bancos de dados.
- 📧 Email: vitor_rodrigues_oliveira@outlook.com
- 💼 LinkedIn: https://www.linkedin.com/in/vitor-rodrigues-37a67a204/
⭐ Sempre em busca de aprender e compartilhar conhecimento na área de tecnologia! "Hello World"