Mise en place d’architectures et de traitements Big Data

Depuis les cinq dernières années, les projets Data Science et d’intelligence artificielle connaissent une forte croissance dans des domaines très variés, tels que l’industrie pétrolière, la téléphonie, la distribution, la banque, la finance et les services. Les récentes évolutions technologiques permettent de faire évoluer ces projets vers la mise en place de véritables solutions d’intelligence artificielle. La réalisation de ces projets nécessite de former des équipes de « Data-Engineers » et de « Data Scientists » pour lesquelles il est nécessaire de conjuguer l’acquisition des compétences techniques et méthodologiques, l’expérience des cas concrets et surtout, un parcours d’apprentissage jalonné. Les principales compétences visées par cette certification sont celles nécessaires à la mise en œuvre des activités suivantes : * Tester et corriger le fonctionnement des infrastructures big data : datalake et datahub * Spécifier et programmer les traitements des données dans le datalake/datahub * Optimiser les traitements des données dans le datalake/datahub

1. Savoir identifier la bonne infrastructure les différents types d'infrastructure Big Data et DataScience 2. Maîtriser le fonctionnement de l'écosystème Hadoop 3. Maîtriser le fonctionnement de l'écosystème Spark 4. Maîtriser le fonctionnement des bases de données NoSql 5. Maitriser le fonctionnement d'une infrastructure cloud majeure 6. Savoir programmer en Scala 7. Savoir programmer avec Hive 8. Savoir utiliser le logiciel Kafka 9. Connaitre les bases de programmation d'un ETL 10. Savoir utiliser le logiciel Nifi 11. Mettre en œuvre la mesure de la performance des traitements sur l'infrastructure cible 12. Savoir paralléliser les traitements sur infrastructure Spark 13. Pouvoir identifier les goulots d'étranglement et les traitements critiques 14. Savoir programmer en Scala avec Spark ML 15. Savoir programmer en PySpark avec Spark ML