Mise en place d’une plateforme Big Data

Mise en place d'une plateforme BigData : Datahub et Datalake
- Architecture plateforme dans le cloud AWS
- Devops : Mise en place de scripts d'industrialisation de la plateforme (Terraform / Ansible)
- Sécurisation de la plateforme : périmétrique (AWS), Kerberos, certificats, ...
- Administration de la plateforme (solution Hortonworks HDP 3.x)
- Gestion des métadatas / gouvernance au niveau de la plateforme

Détails et autres réalisations menées

Mise en place d’une architecture de transition pour passer en mode événementiel avec des flux structurés défini avec AVRO.
Rédaction de l’appel d’offre et participation aux soutenances des sociétés
Définition de l’architecture cible : plateforme Hadoop
- Etude des solutions du marché (HortonWorks, Cloudera, AWS EMR, …)
- Soutenance en comités d’architecture
Etude et mise en place de la plateforme HortonWorks HDP 3.1 sur le cloud : AWS
o Infrastructure As Code (IaC)
- Terraform : pour la partie industrialisation AWS (EC2, RDS, Subnet, VPCs, Security Groups, ALB, …)
- Ansible : Automatisation installation de la plateforme
Environnement technique: Java 8/9/11, Spring Boot / Integration / Batch, Camunda BPM, Apache Kafka, Webservices REST, JMeter, Gatling, Gitlab CI, Sonar, JIRA, Sharepoint, PostgreSQL, DevOps, Terraform, Ansible Docker, logstash, elastic search, Prometheus / Grafana, AWS, …