- 499 € ou 4 paiements mensuels de 145 €
Développer des Pipelines de données streaming
Apprenez à développer un pipeline streaming complet, de la collecte à la consommation en temps réels des données en partant de zéro, et à le déployer en production
Programme de formation
1 - Installation, Setup et Configuration de démarrage
Installations, Setup et configurations de démarrage - I
Installations, Setup et configurations de démarrage - II
2 - Développer des Producers et des Consumers de données streaming
Développer un contexte Spark Streaming
Développer un Consumer Kafka avec Spark Streaming - I
Développer un Consumer Kafka avec Spark Streaming - II
Développer un Consumer Kafka avec Spark Streaming - III
Développer un Producer Kafka en ligne de commande
Développer un Producer Kafka en Scala
Développer un Consumer Kafka via l'API cliente en Scala
3 - Publier une source de données streaming en temps réel sur Kafka
Publier les tweets en temps réel sur Kafka
Développer un Producer Kafka Twitter via HoseBird
Développer un Producer Kafka Twitter via HoseBird - II
Développer un Producer Kafka Twitter via Twitter4J
Développer un Producer Kafka Twitter via Spark Streaming - I
Comprendre le modèle DStream de Spark Streaming
Comprendre la persistance DStream.ForEachRDD
Développer un Producer Kafka Twitter via Spark Streaming - II
4.0 - Consommer une source de données streaming en temps réel
Consommer les données de topics Kafka via Spark Stream - I
Consommer les données de topics kafka via Spark Stream - II
4.1 - Garantir la cohérence des données consommées
Garantir la sémantique de livraison Exactement-Une-Fois
1 - Persister les offsets dans des topics Kafka
2 - Persister les offsets dans des checkpoints Spark
3 - Persister les offsets dans un support de stockage externe
4.2 - Garantir l'ordre dans la consommation des événements
Comprendre la scalabilité du cluster Kafka
Garantir l'ordre des messages dans un cluster
Affecter un Message_Key et un Kafka_Consumer_Group_ID
Garantir l'ordre des messages dans le Producer/Consumer
4.3 - Rendre la sémantique de livraison d'un Producer Kafka Exactly-Once
Rendre le Producer Kafka Exactly-once
Comprendre la publication de messages dans Kafka
Développer un Producer Kafka Exactly-once
Développer un Producer Kafka Exactly-once II
5 - Développer des indicateurs [KPI] streaming avec Spark Streaming
Principes de développement d'un indicateur streaming
Calcul d'un indicateur streaming - conception de la solution
Calcul d'un indicateur streaming - développer la solution
Calcul d'un indicateur streaming - calculer les métriques
Calcul d'un indicateur streaming - démarrer le streaming
6 - Consommer les indicateurs Streaming
Les 2 aspects de la consommation des indicateurs streaming
Comprendre et installer un environnement Kafka Connect
Publier un fichier plat dans Kafka via Kafka Connect
Publier un fichier dans Kafka via Confluent Connect SpoolDir
Publier des bases MySQL dans Kafka via Kafka Connect JDBC
Consommer les indicateurs streaming avec Kafka Streams
8 - Monitorer une application streaming en production
Monitorer une chaîne streaming déployée en production
7 - Déployer une application Streaming en production
Introduction au déploiement d'une chaîne streaming
Principes de déploiement d'une application Streaming
Savoir debugger son application streaming à la compilation
Déployer un cluster Kafka en production
Déployer un Producer Kafka en production
Déployer un Producer Kafka en production - II
Déployer un Producer Kafka en production - III
Déployer un Consumer Kafka en production
Déployer un Producer Spark Streaming en production
Déployer un Consumer Spark Streaming en production
Déployer un Consumer Spark Streaming en production - II
Déployer un Consumer Spark Streaming en production - III
Exercice - Déployer un indicateur streaming en production
Déployer une application Kafka Connect en production
Ressources
sources de données.zip
Check-list développement d'applications Streaming.txt
spooldir-connector.properties
MySQLBulk-source.properties
fichier de confi de tous les paramètres du consumer Kafka.properties
spark-2.2.0-bin-hadoop2.7.tgz
Winutils for Hadoop 2.7.zip
Bonus - apprendre à programmer en Scala pour le Big Data
Installation et configuration d'Intellij
Installer Scala et son SDK pour le déploiement d'applications
Déployer une application Big Data avec Apache Maven
Prise en main de Scala pour le Big Data
Prise en main de la programmation en Scala
Prise en main de la programmation en Scala - II