Développeur Data / IA - Freelance

Description du poste

Pour une mission longue pour un grand groupe, nous recherchons plusieurs développeur Data

• 
  

  Gestion JSON - traitement des json complexes avec multiples imbrications variables

  
  


• 
  

  Gestion de format Delta (similaire JSON) sous Databricks

  
  


• 
  

  Python / SQL / Databricks / Spark

  
  

- Développement et déploiement de Jobs Spark (PySpark et Scala) en CI/CD sur Azure Databricks

- Optimisation des chaines de traitements Big Data en termes de temps d'exécution et de couts des machines virtuelles (Cloud Azure)

- Migration de l’architecture des données vers une architecture médaillon (Bronze, Silver, Gold)

- Création de jobs de mise en qualité de la donnée (couche silver) : nettoyage, dédoublonnage, masquage de la donnée

- Migration code contenu dans JARs (Spark Scala) vers code en Py...