-
Jems Group | JemsDataFactory
- Vice président
2017 - maintenant
VP en charge de l'offre BigData chez JemsDataFactory
-
Société Générale
- Architecte Big Data
PARIS
2015 - maintenant
- Définition de l’architecture cible
- Rédaction des Dossiers Architecture.
- Travail en collaboration étroite avec les équipes infrastructures (architecte / exploitant)
- Participations au choix des outils Big Data (spark,logstash,...)
- Architecture de données (collecte, stockage de données, modélisation, ...)
- Participations à l’installation des cluster zookeeper,kafka,spark,elasticsearch,...
- Formation sur Hunk/Splunk
- Formation en sécurité informatique avec Ranger
-
Edis-Consulting / Groupe JEMS
- Consultant Architecte BIG DATA
NEUILLY SUR SEINE
2015 - maintenant
Consultant Big Data dans le secteur bancaire:
Analyse des metrics (cpu, memory, disk,...) :
*Collecte des metrics avec collectd -> kafka
*Récupération et la gestion des événements avec Spark Mapreduce en Streaming
*Stocker les données dans elasticsearch avec spark
*Créer des dashboard avec ZoomData et Kibana
*Stockages des metrics dans InfluxDB/OpenTsdb
*Création des dashboard avec Grafana
Analyse de logs :
*Un Cluster de +55 Noeuds ElasticSearch
*Un Cluster Hortonworks
*500 Go à 2To (300 millions à 2 milliards ) d'evennements indexés par jour avec Storm Streaming
dans ElasticSearch.
*Visualisation et création des dashboard avec Kibana 4
*Analayse de données avec SparkStreaming sous Scala et Python
*1,5 milliards d'evennements par jour ( => Kafka ) stockées dans Hbase et cassandra avec
SparkStreaming
*Aggregation et recherche dans HDFS, Hbase et cassandra avec Spark(mapreduce,Sql), Hive et
Pig
Mise en œuvre d’une solution Big Data complète avec définition et construction de POCs sectoriels sur une plate-forme mutualisée EDIS :
Elaboration et mise en œuvre d’une architecture physique et logiciel Big Data en environnement Linux ( CentOs6)
Installation et paramétrage de la distribution Hadoop Big Data MapR
Construction et intégration de flux de données (Talend, Sqoop, Flume, Logstash…)
Analyse de contenu de logs en Temps Réel & DataMining (logstash --> Kafka --> Spark/storm --> ElasticSearch)
Formateur Big Data (8 ingénieurs) :
Présentation générale sur le big data ( l'écosystème Hadoop, Nosql,...)
Installation d'un cluster cloudera
Traitement de données avec Pig,Hive et Impala
Traitement de données avec Spark, SPARSQL,SPARKStreaming
Transfert de données avec Soop (mysql,oracle vers hadoop)
Collecte de données (fichiers logs) avec Flume, Logstash,Kafka
Ordonnancement des taches avec Oozie
Indexation et recherche avec Solr, ElasticSearch
Nosql : Hbase, Cassandra et Mongodb (js,pig,hive,spark)
-
JEMS group/paris-sacly
- Architecte/Enseignant Big Data
2015 - maintenant
Intervenant/Formateur Big Data à l'université Paris-Sacly :
Mise en Place d'une platforme de formation Big Data sur WindwosAzure :
Un cluster de 5 noeuds Hortonworks :
-Un cluster de 5 neouds Zookeeper
-Un cluster de 5 neouds Hbase
-Un cluster de 5 neouds Kafka
-Un cluster de 5 neouds Spark
Un Cluster de 22 Noeuds ELK(Elasticsearch,Kiabana,Logstash) :
16 Data-Node
3 Master
3 Search/LoadBlancer
3 Instances kibana
Collecte de logs : 4 Instances logstash
Collecte de Metrics : Packetbeat / Topbeat
Sécurité : Shield
Monitoring : Marvel/head
Gestions des Index : HQ/kopf
Un Cluster de 3 noeuds MongoDB
Un Cluster de 3 noeuds Cassandra
InfuxDB/telegraf/Grafana
Un noeud MapR
Un noeud Cloudera
Formateur ELK et retour d'experience chez Edis-Jems-Group :
Création d'un cluster elasticsearch:
20 data node,5 masters, 2 search,proxy and lb
Création de plusieurs instances kibana
Securité avec Sheild (ldap)
Monitoring avec Marvel,HQ,head,supervisor
Création,suppression et optimisation des index avec des templates automatiques(settings,mapping,forcer le typage,retention 1mois_1ans )
Snapshot dans hadoop
Création des dashboard Kibana (aggregation simple,complexe)
Logstash(parsing et filtrage de logs (plusieurs input: tcp,udp,syslogs,firwall,fichiers txt,csv,json,reseaux,...
-
Télécom SudParis/ UPMC Paris 6
- Consultant BIG DATA (Réseaux sociaux)
2013 - 2014
Création d'une Plate Forme BIG DATA :
Regroupement des outils BIG DATA (Hue,hive,pig,mahout,sqoop,flume,Ambari,Oozie,Hbase, spark,zookeeper,Impala,Fuse,Nagios,…),Nosql(Mongodb,Neo4j,Couchdb) )
Crawling de données en temps réels depuis Facebook, Twitter, Google+,Linkdlin, Forum,… avec scribe, Flume, kafka
Création d'un modèle de traitement Machine Learning sous R et Mahout
Création d'un outil de visualisation (Graphx,zoomdata) et de statistique
Traitement des données avec Hive,SHARK,PIG,Mahout,R,Cypher pour Neo4j, JS pour Mongodb
Développement Web avec Python en utilisant le framework Django
-
Capgemini BrestSIG
- Stagiaire :Consultant ingénieur
Paris
2013 - 2013
BIG DATA :
Développement de nouveaux cas d’usage orientés circulation temps réel
Volet Back Office : modélisation de données de circulation ferroviaire semi temps-réel (Big Data, Cloud Computing)
Création d’un cluster Hadoop de 4 machines virtuelles.
Création d’une solution Big Data en installant Hadoop sous Ubuntu avec ses principales composants( Hive,Pig,sqoop,Flume,Oozie,Hbase,Ambri,Hcatalog) en rajoutant tout les connecteur soop_sql(connecter toutes les bases de données classique avec Hadoop-HDFS).
Importation des données depuis Oracle vers HDFS avec Sqoop (Importer et d'exporter les données, de manière parallèle (MapReduce)).
Traitement et Filtrage de données avec Hive (pour les données spatiale la convertie en format JSON en utilisant l’api fournit par ESRI ).
Création des scripts Shell pour faciliter le travail (importation et exportation, lancement de tous les outils en simple click …).
Traitement des données RATP(données des trains (lattitude,longitude, nom gare , direction de train,…) et les données méteo avec PIG (en utilisant le langage Pig_latin).
Création des emplois en temps réel avec Oozie (lancer plusieurs taches de manière ordonnancées).
Gestion et supervision des tache avec Ambri (contrôler si ya de bugs ou des erreurs au niveau de chargement et de traitement de données.).
Création des instances Amazon pour Oracle.
Intégration de MongoDB dans un projet SNCF pour Capgemini SIG Paris :
stockage de données sncf et ratp en temps réel dans mongodb, traitement des données et les afficher sur une carte OpenStreetMap.
Intégration de CouchDB avec OpenStreetMap.
Intégration et utilisation de Neo4j avec Geoserver (calcul de plus court chemin entre les gares…).
Envirennement (HADOOP-0.20.2, TALEND open studio for BigData,ClouderaCH4,HortonWorks,...)
Développement d’une IHM cartographique de requêtage spatiale en HTML5 avec utilisation par des devices mobiles avec le framework DOJO.
-
UBO
- Développeur web
2013 - 2013
Développement d'un site de vente en ligne en utilisant le framwork JSF
-
Université de Bretagne Occidentale & l'ecole navale du brest
- Concepteur
2012 - 2013
Projet exploratoire au sein de l’UBO et en collaboration avec l’école navale : AIS BigDATA,NoSql
Stockage (stockage des données dans un environnement sécurisé HDFS-HADOOP )et extraction (en utilisant Hadoop-sqoop) et traitement des données AIS (avec mapreduce et hadoop-Hive(langage HQL) )
-
Université de Bretagne Occidentale
- Chercheur
Brest Cedex 3
2012 - 2012
Travail de recherche au sein de l’UBO : Modélisation et simulation d'un processeur en SystemC (modéliser un mini processeur de type RISC et de lui faire simuler des algorithmes pour la manipulation des entiers RNS : Système du Nombres Résidus)
-
Université de Bretagne Occidentale
- Développeur
Brest Cedex 3
2011 - 2012
Projet IHM :
-Application traitement des images avec java swing sous Netbeans
-Site web traitement des images en JEE(jsp) sous Eclipse
-
Agence Nationale de la Sécurité Informatique
- Stagaire
2010 - 2010
Développeur en dotNet (C#,SqlServer2008) : Développement d'un Outil de détection des attaques web basé sur l'analyse temp-réels du traces du fichiers journaux du serveur web Apache
