5 fonctionnalités de modelops qui augmentent la productivité de la science des données

Dans le Rapport sur l’état de Modelops 2022, 51 % des grandes entreprises avaient réalisé des projets pilotes ou des expériences en intelligence artificielle à un stade précoce, mais ne les avaient pas encore mis en production. Seuls 38 % ont déclaré pouvoir répondre aux questions des dirigeants sur le retour sur investissement de l’IA, et 43 % ont déclaré que leur entreprise était inefficace pour trouver et résoudre les problèmes en temps opportun.

Ces défis soulèvent la question de savoir comment améliorer la productivité du développement, de la livraison et de la gestion des modèles ML en production.

Mlops ou modelops ? Vous aurez peut-être besoin des deux

Désormais, les scientifiques des données ont beaucoup de outils d’analyse parmi lesquels choisir pour développer des modèles, notamment Alteryx, AWS SageMaker, Dataiku, DataRobot, Google Vertex AI, KNIME, Microsoft Azure Machine Learning, SAS et autres. Il y a aussi Plateformes Mlops pour aider les équipes de science des données à intégrer leurs outils d’analyse, à exécuter des expériences et à déployer des modèles de ML pendant le processus de développement.

Rohit Tandon, directeur général de ReadyAI et directeur général de Deloitte Consulting, explique le rôle de MLops dans les déploiements d’IA à grande échelle. “Alors que les entreprises cherchent à faire passer la capacité de développement de l’IA de dizaines à des centaines, voire des milliers de modèles ML, elles peuvent bénéficier de la même discipline d’ingénierie et opérationnelle que devops a apportée au développement de logiciels. MLops peut aider à automatiser les flux de travail manuels et inefficaces et à rationaliser toutes les étapes de la construction et de la gestion des modèles. »

Bien que de nombreuses plates-formes MLops prennent en charge les modèles de déploiement et de surveillance dans les productions, leur fonction principale est de servir les scientifiques des données pendant les processus de développement, de test et d’amélioration. Plateformes Modelops et les pratiques visent à combler une lacune en fournissant des outils de collaboration, d’orchestration et de création de rapports sur les modèles ML exécutés en production et sur leurs performances du point de vue opérationnel, de la conformité et commercial.

Une façon de penser MLops contre modelops est que MLops pour la science des données est similaire aux outils devops, tandis que modelops fournit une gouvernance, une collaboration et des rapports autour du cycle de vie ML, en mettant l’accent sur les opérations, la surveillance et le support.

Exemples de cas d’utilisation de modelops comprennent les banques développant des modèles d’approbation de crédit, les hôpitaux utilisant ML pour identifier les anomalies des patients et les détaillants utilisant ML pour équilibrer le débit de production avec la demande des clients. Dans ces cas, les parties prenantes de l’entreprise cherchent ML explicable et doivent faire confiance aux prédictions. Dans certains cas, les régulateurs exigent transparence du modèle.

Il y a certainement un chevauchement déroutant dans la terminologie et les capacités entre MLops, modelops et même opérations de données. En réfléchissant à la manière d’aider les scientifiques des données à déployer, gérer et fournir des rapports commerciaux sur des modèles conformes, je propose cinq fonctionnalités de modélisation pour améliorer la productivité de la science des données.

1. Collaborez à l’aide d’un catalogue de modèles d’apprentissage automatique

Les équipes de science des données savent-elles quels modèles d’apprentissage automatique fonctionnent en production et quelle est leur performance ? Tout comme la gouvernance des données et les dataops utilisent des catalogues de données comme source de référence pour les ensembles de données disponibles, les modelops peuvent fournir une transparence opérationnelle aux modèles ML.

Dmitry Petrov, cofondateur et PDG d’Iterative, déclare : « La productivité des data scientists peut être mesurée par la rapidité avec laquelle ils peuvent mettre des modèles sur le marché dans les applications et les services de leur organisation. Pour ce faire, je recommande d’améliorer la visibilité et la collaboration entre les équipes de science des données. »

Petrov suggère “d’avoir un emplacement central pour stocker toutes les informations liées au modèle, telles que les données, les expériences, les métriques et les hyperparamètres, et de se connecter à des outils orientés devops afin que la mise en production des modèles se déroule plus facilement”.

2. Établir un chemin cohérent et automatisé vers la production

Les outils devops mentionnés par Petrov font spécifiquement référence à Outils CI/CD pour aider à pousser le code, les paramètres et les artefacts de données vers les environnements d’exécution. Exécution déploiement continu aux environnements de production a des parties prenantes commerciales supplémentaires, en particulier lorsque les modèles prédictifs nécessitent des vérifications de conformité.

Manasi Vartak, fondateur et PDG de Verta, suggère : “Les plates-formes Modelops avec des listes de contrôle de préparation, des flux de travail automatisés et des contrôles d’accès intégrés pour la gouvernance peuvent faciliter et accélérer le transfert.” Elle poursuit : « Les équipes de science des données transmettent les modèles à leurs équipes de gestion des risques de modèle, d’ingénierie ML, SRE et devops pour assurer la fiabilité opérationnelle, la gouvernance, la sécurité et l’évolutivité des déploiements critiques et en temps réel de l’IA.

3. Surveiller les modèles ML pour les opérations et la conformité

Aider les scientifiques des données à automatiser et à déployer plus de modèles plus rapidement peut créer des problèmes commerciaux s’il n’y a pas de modèle opérationnel qui suit le rythme.

Un besoin opérationnel clé est la surveillance des modèles, comme l’explique Kjell Carlsson, responsable de la stratégie et de l’évangélisation en science des données chez Domino Data Lab. “Avec l’aide des plateformes modelops, les data scientists peuvent développer des modèles plus rapidement. Dans le meilleur des cas, ces plates-formes rationalisent le déploiement et la surveillance, par exemple, la dérive des modèles dans les différents environnements où résident les applications métier, que ce soit dans le cloud ou sur site.

John Wills, directeur technique de terrain chez Alation, a partagé une définition facile à comprendre de la dérive du modèle. “La dérive du modèle est la capacité de la plate-forme à mesurer la situation où la distribution des entrées du modèle change”, dit-il. “L’identification précoce de ce changement permet aux scientifiques des données d’anticiper les problèmes et les impacts commerciaux négatifs liés à la perte de précision.”

4. Fournir des rapports exécutifs sur les impacts commerciaux

Lorsque les scientifiques des données déploient des modèles ML en production et que les utilisateurs professionnels en bénéficient, comment les dirigeants qui parrainent les investissements en IA sauront-ils quand ils porteront leurs fruits ?

Krishna Kallakuri, PDG de Diwo, déclare : “L’objectif est de prendre des décisions rapides et précises. Les entreprises doivent donc mesurer la productivité d’un scientifique des données en parallèle avec la productivité des analystes et des utilisateurs professionnels que l’IA sert.”

Petrov d’Iterative ajoute que les plates-formes modelops devraient visualiser les “progrès autour de la construction de modèles et des améliorations et les partager entre les membres de l’équipe et la direction”.

En fin de compte, les impacts de l’IA et du ML de production ne sont pas toujours visibles pour les dirigeants. C’est souvent un ingrédient de l’expérience client, du flux de travail des employés ou de l’intégration d’applications qui fournit l’impact. Les plateformes Modelops avec des rapports au niveau de la direction visent à combler cette lacune.

5. Fournir des fonctionnalités pour prendre en charge le cycle de vie du modèle ML

Considérons certaines des capacités des plateformes modelops qui améliorent la productivité de la science des données :

• Gérez les déploiements de production avec des fonctionnalités de gestion des versions et de restauration
• Permettre la collaboration avec d’autres spécialistes des données, promouvoir le partage des connaissances et permettre la réutilisation
• Identifiez et aidez à hiérarchiser les modèles en production qui sont sous-performants ou nécessitent une assistance
• Améliorez l’audibilité des modèles et les rapports d’audit des modèles afin que les data scientists ne perdent pas un temps précieux à répondre aux régulateurs
• Automatisez les rapports commerciaux afin que les scientifiques des données aient une source unique à partager avec les parties prenantes et les dirigeants d’entreprise qui démontre les impacts commerciaux de leurs modèles

Ce sont quelques-unes des capacités que les leaders de l’IA attendent des plateformes modelops – les résultats qui sont importants pour les organisations visant à générer des impacts commerciaux à partir des investissements ML.

De plus en plus d’organisations expérimenteront le ML et l’IA. La question demeure de savoir si MLops, modelops ou d’autres meilleures pratiques émergentes aideront les data scientists à déployer, gérer et démontrer les résultats commerciaux des modèles en production.