Stage en infrastructure Big Data avec TDP

Description de l’emploi

Big Data et l’informatique distribuée est au cœur d’Adaltas. Nous accompagnons nos partenaires dans le déploiement, la maintenance et l’optimisation de certains des plus grands clusters français. Adaltas est également un défenseur et un contributeur actif de l’Open Source, notre dernier objectif étant un nouveau HadoopName distribution entièrement open source. Ce projet est le Plateforme de données TOSIT (TDP).

Durant ce stage, vous rejoindrez l’équipe projet TDP et contribuerez au développement du projet. Vous déploierez et testerez des clusters Hadoop TDP prêts pour la production, vous contribuerez au code sous la forme d’améliorations itératives sur la base de code existante, vous apporterez votre connaissance du TDP sous la forme de ressources d’assistance prêtes à l’emploi et vous acquerrez de l’expérience dans l’utilisation de composants Hadoop de base tels que HDFS, FIL, Ranger, Étincelle, Rucheet Gardien de zoo.

Ce sera un sérieux défi, avec un grand nombre de nouvelles technologies et pratiques de développement auxquelles vous devrez vous attaquer dès le premier jour. En échange de votre dévouement, vous terminerez votre stage entièrement équipé pour assumer un rôle dans le domaine du Big Data.

Présentation de la société

Adaltas est spécialisé dans le Big Data, l’Open Source et le DevOps. Nous opérons à la fois sur site et dans le cloud. Nous sommes fiers de notre Culture Open Source et nos contributions ont aidé des utilisateurs et des entreprises du monde entier. Adaltas est construit sur une culture ouverte. Nos articles partagent nos connaissances sur Big Data, DevOps et de multiples sujets complémentaires.

Compétences requises et à acquérir

Le développement de la plate-forme TDP nécessite une compréhension du modèle de calcul distribué de Hadoop et de la manière dont ses composants principaux (HDFS, YARN, etc.) fonctionnent ensemble pour résoudre les problèmes de Big Data. Une connaissance pratique de l’utilisation de Linux et de la ligne de commande est requise.

Au cours du stage, vous apprendrez :

• Gouvernance du cluster Hadoop
• Sécurité du cluster Hadoop, y compris KerberosName et Certificats SSL/TLS
• Haute disponibilité (HA) des services
• Évolutivité dans les clusters Hadoop
• Suivi et bilan de santé des services et des emplois
• Cluster Hadoop tolérant aux pannes avec possibilité de récupération des données perdues en cas de défaillance de l’infrastructure
• Infrastructure en tant que code (IaC) via des outils DevOps tels que Ansible et Vagabond
• Collaboration de code à l’aide de Git dans les deux Gitlab et GithubGenericName

Responsabilités

• Se familiariser avec l’architecture et les méthodes de configuration de la distribution TDP
• Déployer et tester des clusters TDP sécurisés et tolérants aux pannes
• Contribuez à la base de connaissances TDP avec des guides de dépannage, des FAQ et des articles
• Participer aux débats sur les objectifs du projet TDP et les stratégies de la feuille de route
• Contribuer activement aux idées et au code pour apporter des améliorations itératives à l’écosystème TDP
• Rechercher et analyser les différences entre les principales distributions Hadoop

Informations Complémentaires

• Lieu : Boulogne-Billancourt, France
• Langues : français ou anglais
• Date de début : mars 2022
• Durée : 6 mois

Une grande partie du monde numérique fonctionne sur des logiciels Open Source et l’industrie du Big Data est en plein essor. Ce stage est l’occasion d’acquérir une expérience précieuse dans les deux domaines. TDP est désormais la seule distribution Hadoop véritablement Open Source. C’est un grand élan. En tant que membre de l’équipe TDP, vous aurez la possibilité d’apprendre l’un des principaux modèles de traitement de données volumineuses et de participer au développement et à la future feuille de route de TDP. Nous pensons qu’il s’agit d’une opportunité passionnante et qu’à la fin du stage, vous serez prêt pour une carrière réussie dans le Big Data.

Matériel disponible

Un ordinateur portable avec les caractéristiques suivantes :

• 32 Go de RAM
• SSD 1 To
• Processeur 8c/16t

Un cluster composé de :

• 3x 28c/56t Intel Xeon Scalable Gold 6132
• 3x 192 To de RAM DDR4 ECC 2666 MHz
• 3x 14 SSD 480GB SATA Intel S4500 6Gbps

UN Kubernetes cluster et un cluster Hadoop.

Rémunération

• Salaire 1200€/mois
• Tickets restaurants
• Laissez-passer de transport
• Participation à une conférence internationale

Dans le passé, les conférences auxquelles nous avons assisté comprenaient la KubeCon organisé par la fondation CNCF, le Sommet Open Source de la Linux Foundation et de la Fosdem.

Pour toute demande d’informations complémentaires et pour déposer votre candidature, merci de contacter David Worms :