Descripción del Rol – Ingeniero de Datos para Equipo de Ingesta
Como parte de la nueva plataforma de datos, el rol de Data Engineer dentro de los equipos de ingesta, tiene como responsabilidad el diseño, creación y mantenimiento de pipelines de datos, capaces de ingestar cualquier información corporativa de Tenaris en su formato original, cumpliendo con los requisitos necesarios de latencia, volumen y periodicidad. Adicionalmente, poder implementar pipelines para medir y mejorar la calidad de los datos de origen.
Requerido para el rol
• Experiencia de al menos 6 meses con Azure Data Factory, trabajando con Activities, flujos de control y Mapping Dataflows (excluyente)
• Experiencia de más de 3 años trabajando con lenguaje SQL, tanto sobre plataformas Oracle como SQL Server (excluyente)
• Estar familiarizado/a con los conceptos básicos relacionados a la construcción de Data Lakes (zonas, estructura de carpetas, schema-less)
• Estar familiarizado/a con los conceptos de ingestas real-time, near-real-time, batch y micro batch, Change Data Capture (CDC)
• Estar familiarizado/a con los conceptos de Data Quality (atributos)
• CI/CD Pipelines, Git Repos, Azure DevOps, Metodologías Ágiles
Deseable para el rol
• Desarrollo de flujos en Nifi
• Consumo y publicación de Tópicos de Kafka
• Experiencia trabajando con Event Hubs
• Self-Hosted Integration Runtime
• Conocimientos de Spark (Databricks)
• Conocimientos en DataStage
• Conocimientos de Stream Analytics
• Conocimientos de frameworks para Data Quality Control y Data Catalog
• Powershell, Python, C#
• Event Grid, Control-M
Descripción del Rol – Ingeniero de Datos para Equipo de Ingesta Como parte de la nueva plataforma de datos, el rol de Data Engineer dentro de los equipos de ingesta, tiene como responsabilidad el diseño, creación y mantenimiento de pipelines de datos, capaces de ingestar cualquier información corporativa de Tenaris en su formato original, cumpliendo con los requisitos necesarios de latencia, volumen y periodicidad. Adicionalmente, poder implementar pipelines para medir y mejorar la calidad de los datos de origen.
Requerido para el rol • Experiencia de al menos 6 meses con Azure Data Factory, trabajando con Activities, flujos de control y Mapping Dataflows (excluyente) • Experiencia de más de 3 años trabajando con lenguaje SQL, tanto sobre plataformas Oracle como SQL Server (excluyente) • Estar familiarizado/a con los conceptos básicos relacionados a la construcción de Data Lakes (zonas, estructura de carpetas, schema-less) • Estar familiarizado/a con los conceptos de ingestas real-time, near-real-time, batch y micro batch, Change Data Capture (CDC) • Estar familiarizado/a con los conceptos de Data Quality (atributos) • CI/CD Pipelines, Git Repos, Azure DevOps, Metodologías Ágiles
Deseable para el rol • Desarrollo de flujos en Nifi • Consumo y publicación de Tópicos de Kafka • Experiencia trabajando con Event Hubs • Self-Hosted Integration Runtime • Conocimientos de Spark (Databricks) • Conocimientos en DataStage • Conocimientos de Stream Analytics • Conocimientos de frameworks para Data Quality Control y Data Catalog • Powershell, Python, C# • Event Grid, Control-M