Diseñar con visión integral y mejores prácticas una solución tecnológica compuesta por diferentes herramientas de una plataforma tecnológica asegurando que se cumpla de manera óptima los requerimientos del cliente. Asegurar la calidad y la correcta implementación del diseño hasta la conclusión del proyecto.
experiencia 3 años minimo con herramientas big data y databricks.
* ecosistemas de big data
* buena comunicación para trato con clientes de alto nivel
* inglés intermedio hablado y escrito (comunicación semanal con equipos internacionales)
* capacidad para canalizar los datos, vengan estos de fuentes internas o externas.
* diseñar tratamientos de la información sin importar si son procesos en tiempo diferido o procesos en tiempo real.
* modelado de datos
* conocimiento avanzado de pl/sql
* experiencia en desarrollo de etls
* experiencia en desarrollo de software en algún lenguaje como java, python o algún otro orientado a objetos
* capacidad para diseñar y estructurar bases de datos sql y nosql.
* capacidad para trabajar en equipo.
* experiencia avanzada de spark ya sea con scala, java o python.
* gestión de plataforma de databricks
herramientas:
* hadoop {hive, sqoop, kafka}
* azure databricks y data lake storage
* spark (scala, java, python)
* rdbms: microsoft sql server [deseable], azure sql server [deseable], oracle (deseable), etc.
* java
* python
* pl/sql
* herramienta orquestadora de flujos de trabajo (por ejemplo: automic, informatica, control m, airflow [deseable], etc)
* aceleradores de consulta de datos (deseable)
actividades a realizar:
* gestionar la plataforma databricks, usuarios, proyectos y salud de los clusters utilizados, así como buenas practicas de ejeuciones sobre azure databricks
* definir arquitecturas para proyectos de volumenes de datos grandes (big data) con apoyo de equipos nacionales e internacionales, apegándose a las mejores prácticas y estándares definidos por las áreas de datos, así como con las herramientas tecnológicas utilizadas dentro del grupo y que se adecuen a la necesidad de cada proyecto a fin de contemplar la reutilización de la arquitectura por otras iniciativas.
* trabajar en conjunto con las áreas de ingeniería, gobierno de datos, ciencia de datos y representantes de areas de negocio a fin de definir en conjunto soluciones en términos de componentes, módulos, algoritmos, modelos y alternativas a soluciones existentes que se adecuen a las exigencias de cada proyecto por medio de metodologías ágiles.