Stage infrastructure Big Data | Adalta

Description de l’emploi

Big Data et l’informatique distribuée sont au cœur d’Adaltas. Nous accompagnons nos partenaires dans le déploiement, la maintenance et l’optimisation de certains des plus grands clusters de France. Depuis peu, nous fournissons également une assistance pour les opérations quotidiennes.

En tant que grand défenseur et contributeur actif de l’open source, nous sommes à la pointe de l’initiative des plateformes de données TDP (plate-forme de données TOSIT).

Durant ce stage, vous contribuerez au développement de TDP, à son industrialisation, et à l’intégration de nouveaux composants open source et de nouvelles fonctionnalités. Vous serez accompagné du L’équipe d’experts d’Alliage en charge du support de l’éditeur TDP.

Vous travaillerez également avec l’écosystème Kubernetes et l’automatisation des déploiements de datalab Onyxieque nous souhaitons mettre à la disposition de nos clients ainsi qu’aux étudiants dans le cadre de nos modules pédagogiques (devops, big data, etc.).

Vos qualifications contribueront à élargir les services d’Alliage prise en charge open source offre. Les composants open source supportés incluent TDP, Onyxia, ScyllaDB, … Pour ceux qui voudraient faire du web en plus du big data, nous avons déjà un intranet très fonctionnel (gestion des tickets, gestion du temps, recherche avancée, mentions et articles liés, …) mais d’autres fonctionnalités intéressantes sont à prévoir.

Vous pratiquerez les chaînes de publication GitOps et rédigerez des articles.

Vous travaillerez en équipe avec des conseillers seniors comme mentor.

Présentation de la société

Adaltas est une agence de conseil dirigée par une équipe d’experts open source spécialisés dans la gestion des données. Nous déployons et opérons les infrastructures de stockage et de calcul en collaboration avec nos clients.

Partenaire de Cloudera et Databricks, nous sommes également des contributeurs open source. Nous vous invitons à parcourir notre site et nos nombreuses publications techniques pour en savoir plus sur l’entreprise.

Compétences requises et à acquérir

Automatiser le déploiement du datalab Onyxia nécessite une connaissance de Kubernetes et du Cloud natif. Vous devez être à l’aise avec l’écosystème Kubernetes, l’écosystème Hadoop et le modèle informatique distribué. Vous maîtriserez comment les composants de base (HDFS, YARN, stockage objet, Kerberos, OAuth, etc.) interagissent pour répondre aux usages du big data.

Une bonne connaissance de l’utilisation de Linux et de la ligne de commande est requise.

Durant le stage, vous apprendrez :

• L’écosystème Kubernetes/Hadoop afin de contribuer au projet TDP
• Sécuriser les clusters avec KerberosName et Certificats SSL/TLS
• Haute disponibilité (HA) des services
• La répartition des ressources et des charges de travail
• Supervision des services et des applications hébergées
• Cluster Hadoop tolérant aux pannes avec possibilité de récupération des données perdues en cas de défaillance de l’infrastructure
• Infrastructure en tant que code (IaC) via des outils DevOps tels que Ansible et [Vagrant](/fr/tag/hashicorp-vagrant/)
• Être à l’aise avec l’architecture et le fonctionnement d’un data lakehouse
• Codification avec Git, Gitlab et GithubGenericName

Responsabilités

• Se familiariser avec l’architecture et les méthodes de configuration de la distribution TDP
• Déployer et tester des clusters TDP sécurisés et hautement disponibles
• Contribuez à la base de connaissances TDP avec des guides de dépannage, des FAQ et des articles
• Contribuer activement aux idées et au code pour apporter des améliorations itératives à l’écosystème TDP
• Rechercher et analyser les différences entre les principales distributions Hadoop
• Mettre à jour Adaltas Cloud en utilisant Nikita
• Contribuer au développement d’un outil de collecte de logs clients et de métriques sur TDP et ScyllaDB
• Contribuer activement aux idées pour développer notre solution de support

Informations Complémentaires

• Lieu : Boulogne-Billancourt, France
• Langues : français ou anglais
• Date de début : mars 2023
• Durée : 6 mois

Une grande partie du monde numérique fonctionne sur des logiciels Open Source et l’industrie du Big Data est en plein essor. Ce stage est l’occasion d’acquérir une expérience précieuse dans les deux domaines. TDP est désormais la seule distribution Hadoop véritablement Open Source. C’est un grand élan. En tant que membre de l’équipe TDP, vous aurez la possibilité d’apprendre l’un des principaux modèles de traitement de données volumineuses et de participer au développement et à la future feuille de route de TDP. Nous pensons qu’il s’agit d’une opportunité passionnante et qu’à la fin du stage, vous serez prêt pour une carrière réussie dans le Big Data.

Matériel disponible

Un ordinateur portable avec les caractéristiques suivantes :

• 32 Go de RAM
• SSD 1 To
• Processeur 8c/16t

Un cluster composé de :

• 3x 28c/56t Intel Xeon Scalable Gold 6132
• 3x 192 To de RAM DDR4 ECC 2666 MHz
• 3x 14 SSD 480GB SATA Intel S4500 6Gbps

UN Kubernetes cluster et un cluster Hadoop.

Rémunération

• Salaire 1200€/mois
• Tickets restaurants
• Laissez-passer de transport
• Participation à une conférence internationale

Dans le passé, les conférences auxquelles nous avons assisté comprenaient la KubeCon organisé par la fondation CNCF, le Sommet Open Source de la Linux Foundation et de la Fosdem.

Pour toute demande d’informations complémentaires et pour déposer votre candidature, merci de contacter David Worms :