Mes compétences :
MySQL
XML
Visual Basic for Applications
Scala
SQL
PostgreSQL
Spark
Java Enterprise Edition
Java
Hadoop
C++
Maven
Entreprises
XEBIA
- Consultant Big Data
Paris2014 - maintenant
Thales Communications
- Stagiaire Big Data
Colombes2014 - 2014Sujet de stage : portage d'algorithmes de machine learning en environnement Big Data.
Transfert de chaîne de traitement de détection d'anomalies (utilisant la théorie des copules) sous Spark. Développement des algorithmes en Scala (avec le logiciel IntellijIDEA), utilisation de la librairie MlLib, de Spark Streaming pour le traitement des données en flux continu.
Benchmark des technologies : Hadoop vs. Spark. Comparaison des performances grâce à un algorithme de WordCount, puis en utilisant les algorithmes de détection d'anomalies.
Déploiement des algorithmes sur YARN, utilisation de la distribution HortonWorks et d'Ambari pour le management de clusters.
Développement en utilisant la méthode Agile.