Avec CodeFlare, IBM facilite la mise à l'échelle des flux de travail de Big Data et d'IA sur le cloud hybride.
Un des plus grands défis qui attendent les entreprises est le grand besoin de données. Toutefois, l'intégration et le traitement des workflows présentent également des enjeux de taille. Avec son nouveau framework open source, IBM veut accélérer le développement des modèles de machine learning.
CodeFlare, le nouveau framework open source d'IBM
Il y a quelques jours, IBM a annoncé CodeFlare, un nouveau framework open source. Celui-ci est destiné à la mise à l'échelle des flux de travail de Big Data et d'IA sur le cloud hybride. Ce cadre de travail est construit sur le système de calcul distribué pour les applications de machine learning, appelé Ray. D'après le géant de l'informatique, CodeFlare apporte des éléments spécifiques à Ray pour faciliter l'intégration et le traitement des workflows.
À mesure que les données deviennent plus volumineuses et les systèmes plus complexes, les chercheurs passent plus de temps à les préparer qu'à se focaliser sur la vraie data science. En effet, ils doivent d'abord nettoyer les données et en extraire les caractéristiques avant d'optimiser les modèles.
CodeFlare utilise une interface basée sur Python. Il crée un pipeline qui permet d'intégrer plus facilement les données, ainsi que de les paralléliser et les partager. De cette manière, les workflows sont unifiés sur plusieurs plateformes, et les scientifiques n'ont même pas besoin d'apprendre d'autres langages workload.
Exécution de CodeFlare
CodeFlare s'exécute sur tous les types de cloud sans serveur, à savoir le Cloud Code Engine d'IBM ou encore OpenShift de Red Hat et aussi les écosystèmes cloud natifs. Ainsi, tous les utilisateurs peuvent le déployer n'importe où.
En plus de faciliter le travail des data scientists, CodeFlare permet également d'accélérer les projets de machine learning. Selon IBM, un utilisateur aurait analysé et optimisé près de 100 000 pipelines pour former des modèles de ML. Au lieu des 4 heures nécessaires pour exécuter chaque pipeline, il ne lui en a fallu que 15 minutes grâce à CodeFlare. En d'autres termes, ce gain de temps permet aux utilisateurs de se focaliser sur des problèmes plus importants.
- Partager l'article :
