Data Engineer

Infracommerce · São Paulo, SP, BR

PresencialNão informado

Publicada há 1 hora

Sobre a vaga

Área e especialização profissional: Informática, TI, Telecomunicações - Processamento de Dados
Senioridade: Especialista
Lugar de trabalho: São Paulo, SP
Regime de contratação de tipo Efetivo – CLT
Jornada Período Integral
Responsabilidades Desenhar e manter pipelines de ingestão batch e incremental a partir de fontes diversas (APIs, bancos transacionais, arquivos, plataformas de e-commerce) para o BigQuery. Modelar os dados em camadas (raw, staging, consumo) seguindo critérios de governança: views governadas, controle de acessos e nenhuma geração de dados isolados fora do modelo. Orquestrar os fluxos com Cloud Composer / Airflow e monitorar sua execução, horários e falhas. Otimizar custos e performance no BigQuery: particionamento, clustering e materialização. Implementar controles de qualidade de dados e alertas para falhas ou desvios. Preparar datasets e features para casos de uso de ML em conjunto com o ML Engineer. Documentar fontes, linhagem e regras de negócio, e registrar o andamento no Jira. Diferenciais Conhecimentos de Data Science: estatística aplicada, feature engineering e noções de modelos de ML (scikit-learn, BigQuery ML), para colaborar com o ML Engineer e preparar dados adequados para modelagem. dbt ou Dataform para transformações. Spark / PySpark. Microsoft Fabric (Pipelines, Lakehouse): hoje a engenharia não é feita no Fabric, mas o conhecimento soma pela convivência com a camada de reporting. Power BI no nível de modelo semântico, para entender como os dados são consumidos. Ferramentas de qualidade de dados (Dataplex). CI/CD para deploy de pipelines e infraestrutura (GitHub Actions ou Cloud Build). Experiência em e-commerce, varejo ou logística, com dados multipaís ou multicliente. Espanhol: desejável.

Leu e ficou na dúvida? No Pro, a nota responde.

Ver os planos