Autor: Airton Lira Junior

Ao longo dos meus estudos de analise de dados, previsões, Machine Learning, Deep Learning e estatísticas eu percebi uma complexidade maior no entendimento sobre séries temporais, seja pela grande necessidade de entender uma série de outros conceitos que não estão relacionados aos modelos de previsão numérica e classificação, seja pela falta de material em português com uma abordagem bem teórica sobre séries temporais e seus modelos de forecasting. Portanto neste artigo eu busco abordar uma sequencia de conceitos básicos sobre séries temporais que ajudam não só a entender melhor os gráficos do seus dados como também a entender como aplicar…

Todo engenheiro de dados (Data Engineer) e desenvolver de software (Software Engineer) está ou vai estar muito “Harmonizado” e na minha visão deve estar engajado com o desenvolvimento de soluções de AI. Ok tudo bem, neste artigo vou mirar mais no meu publico que são os Data Analytics Engineer, Data Architech, Data Engineer, DBRE etc.. mas você desenvolvedor vai precisar saber disso também, mas por que então vou escrever esse artigo mais para o publico de Data, bom por que aqui no Brasil o Databricks é massivamente utilizado para questões de Data e não desenvolvimento de software, contudo o conceito…

Opa, pessoal! Espero que todos estejam bem. Estou iniciando aqui uma série de artigos que vou escrever desde o mais básico até o mais avançado sobre o mundo da Inteligência Artificial (AI). Atualmente, no momento em que escrevo este artigo, não atuo mais diretamente com AI, mas é o meu PDI (Plano de Desenvolvimento Individual), ou seja, algo que estudo porque sei que será o futuro. Portanto, neste artigo, vou te ensinar a desenvolver não apenas um chatbot simples (pois isso já não vale mais nada no mercado), mas sim três agentes de AI utilizando o framework LangChain e Python.…

E aí, pessoal! Estou super animado para compartilhar minha experiência construindo uma arquitetura Data Vault usando tecnologias modernas de Big Data. Se você, assim como eu, está querendo entender como implementar Data Vault na prática (e não apenas na teoria), este artigo é para você! Vamos mergulhar nesse projeto incrível que combina Apache Spark, Delta Lake, Minio e Docker. É coloquei o minIO para deixar diferenciado a coisa e como foi difícil configurar no jupyter notebook para o spark session afff, mas deu bom 😎 O que vamos explorar? Bora lá? Introdução: Data Vault e o Problema que Resolvemos Antes…

Hoje resolvi relembrar alguns conceitos de machine learning e entre eles a parte de vetorização de categorias para ter um dataset mais apto para deep learning (Redes neurais). Portanto neste artigo vou demonstrar de forma pura como utilizar a lib do spark de machine learning e criar o experimento ou seja a pipeline no MLFlow dentro do Databricks. Escolhendo um dataset adequado: Para este artigo vou utilizar um dataset publico do Kaggle chamado parking transaction que é um dataset em csv que contém registros de transações de estacionamento de várias fontes, incluindo medidores de estacionamento e aplicativos de pagamento móveis.…

Nas minhas aventuras de estudo na linguagem Go me deparei com a vontade de trabalhar com micro serviços com a linguagem Go visto que é uma linguagem muito divertida,simples e performática. Ao longo dos estudos conheci o software aberto Prometheus que gerencia muito bem a parte de métricas e gerenciamento de alertas no cenário de micro serviços, trabalhei um pouco também com o RabbitMQ nos diversos tipos de exchange para aprender na prática o comportamento de cada uma e a utilização no cenário de micro serviços para comunicação entre os mesmos através de um sistema de mensageria. Pensei também em…

Neste artigo vou ensinar como se conectar a um cluster serverless do SQL Warehouse do Databricks utilizando as credenciais de um SP – Service Principal do Databricks. Atualmente, não encontrei nenhum tutorial fácil de como fazer isso e tive que fazer um descompile do arquivo JAR do driver de conexão do Databricks para entender se é possível ou não, visto que, na documentação oficial do Databricks, não fica claro se utilizando o clientId, clientSecret e token é possível se conectar pelo DBeaver. O caminho mais direto e fácil foi via PAT – Personal Access Token. Portanto, agora vou demonstrar como…