Camada 1 · Fundação
IA em cima de dado ruim é só erro mais rápido.
Projeto de inteligência artificial que falha raramente falha no modelo. Falha porque o dado chega atrasado, incompleto, sem dono e sem definição. Ninguém confia no número que sai do outro lado. Cuidamos da jornada inteira, da origem até o time saber operar sozinho.
Origem e movimento
O dado nasce espalhado: sistema transacional, planilha, API de terceiro, arquivo que alguém exporta toda segunda.
Ingestão confiável e repetível, com dependência explícita, teste e alerta quando quebra. E vai quebrar.
- Modelagem e administração de bancos relacionais e NoSQL
- Pipelines de ETL e ELT versionados, com teste de qualidade no caminho
- Ingestão de fontes internas, de terceiros e de arquivos legados
- Captura incremental e histórico de mudança quando o negócio exige rastro
- Observabilidade: quem quebrou, quando e o que ficou desatualizado
Arquitetura e modernização
Ambientes que cresceram por acúmulo. Cada nova demanda virou uma rotina nova, e ninguém tem coragem de desligar as antigas.
Proposta de arquitetura defensável e a migração que a executa, sem parar a operação e sem big bang.
- Desenho de data lake, lakehouse, data warehouse ou híbrido, conforme o caso
- Migração de ambientes legados com convivência entre o velho e o novo
- Modelagem dimensional e camadas de consumo bem separadas
- Redução de custo por consulta e por armazenamento, medida antes e depois
- Decisão registrada: por que essa arquitetura e o que ela deixa de fora
Análise, ciência e produtos de dados
Dois relatórios com o mesmo nome e números diferentes. A reunião vira debate sobre qual planilha está certa.
Métrica definida uma vez, no modelo, e reusada em todo lugar. E, quando a pergunta é maior que um painel, produto de dado.
- BI e analytics com modelo semântico e definição de métrica versionada
- Análise exploratória e estatística aplicada com desenho de experimento
- Ciência de dados: predição, segmentação, recomendação e priorização
- Produtos de dados: o dado entregue como serviço, com contrato e SLA
- Autoatendimento para quem não escreve SQL, sem abrir o banco para todos
Catálogo, governança e segurança
Ninguém sabe de onde o campo veio, quem é o dono, nem se pode ser exposto. Então todo mundo pede acesso a tudo.
A camada que torna o dado utilizável por quem não o criou, e defensável perante auditoria.
- Catálogo com dono declarado, definição de negócio e linhagem ponta a ponta
- Controle de acesso por papel e por camada, com trilha de auditoria
- Classificação de dado sensível e política de retenção e descarte
- Testes de qualidade que quebram o pipeline antes de contaminar o relatório
- Conformidade tratada como requisito de engenharia, não como documento
Formação do time interno
Fundação construída por terceiro e nunca transferida vira dependência cara, e apodrece no dia em que o contrato acaba.
Treinamento do time de dados durante o projeto, não num workshop de despedida.
- Capacitação em engenharia, modelagem e ferramentas do stack escolhido
- Padrões de código, revisão e documentação adotados junto com o time
- Transferência progressiva de operação, com plantão decrescente
- Rituais de qualidade que continuam depois que a gente sai
Stack
Escolhemos a arquitetura primeiro e a ferramenta depois. Nessa ordem, sempre.
Nuvem e plataforma
Onde o ambiente roda. A escolha segue o que a empresa já tem e o custo total, não a preferência de quem implementa.
- AWS
- Google Cloud
- Azure
- Databricks
- Kubernetes
Armazenamento e consulta
A fundação. Decidimos o formato antes da ferramenta: nem todo problema pede lakehouse, e nem todo relatório pede warehouse.
- Data lake
- Lakehouse
- Data warehouse
- Amazon S3
- Amazon Redshift
- Amazon Athena
- Trino
- AWS Glue
- NoSQL
Ingestão e transformação
Como o dado se move e vira confiável. Pipeline sem teste e sem observabilidade é dívida, não entrega.
- Apache Airflow
- dbt
- Airbyte
- PySpark
- SQL
- Python
- ETL e ELT
BI, análise e ciência
Onde o dado vira decisão. Dashboard bonito com métrica indefinida é o jeito mais caro de errar em grupo.
- Power BI
- Tableau
- Metabase
- Apache Superset
- SAS Guide
- Estatística aplicada
Catálogo, governança e segurança
O que impede a fundação de virar pântano no segundo ano. Nada disso é burocracia: é o que torna o dado utilizável por quem não o criou.
- OpenMetadata
- Controle de acesso
- Qualidade de dado
- Blockchain
Próximo passo
Comece pelo assessment do seu ambiente.
Inventário do que existe, mapa de dependências, custo atual e riscos, antes de qualquer proposta de arquitetura. É o primeiro passo do método e o único que não pode ser pulado.