in

OpenAI muscle Codex : Computer Use sur Mac, images et mémoire persistante au menu

Mise à jour OpenAI Codex

Pendant qu’Anthropic grignotait du terrain avec Claude Code, la firme de Sam Altman déploie la mise à jour la plus ambitieuse de Code. La nouveauté phare ? Codex peut désormais prendre le contrôle du bureau de votre Mac en arrière-plan pour exécuter des tâches complexes dans n’importe quelle application. 

Ajoutez à cela une mémoire persistante entre les sessions et la génération d’images intégrée, et Codex se transforme en un véritable agent autonome pour les 3 millions de développeurs qui l’utilisent chaque semaine.

Le « Computer Use » débarque sur macOS en tâche de fond

C’est la fonctionnalité qui redéfinit l’interaction homme-machine pour les développeurs. Codex est désormais capable d’opérer directement l’interface de macOS.

YouTube video

Comment ça marche ?

Codex est doté de la capacité de « voir » l’écran, de déplacer le curseur, de cliquer et de saisir du texte dans toute application installée sur le Mac. 

Cela inclut les applications natives (Mail, Finder) mais aussi les logiciels métiers et les outils ne disposant pas d’API.

La grande force de cette implémentation réside dans sa discrétion. Plusieurs agents Codex peuvent travailler en parallèle, le tout en tâche de fond

Aucune activité n’est interrompue pendant que l’IA gère des processus complexes en arrière-plan, comme sur Windows.

OpenAI a également intégré un navigateur web spécifique à Codex. Vous pouvez en effet annoter directement les pages web pour donner des instructions chirurgicales à l’agent. 

Mais pour l’instant, cette fonctionnalité est optimisée pour le développement front-end et la création de jeux vidéo, avec l’ambition d’étendre ce contrôle au-delà des applications locales à l’avenir.

Mémoire persistante et automatisation sur plusieurs semaines

La seconde rupture majeure de cette mise à jour d’OpenAI Codex concerne l’intelligence contextuelle de l’agent. Codex intègre une version preview d’une nouvelle mémoire persistante.

L’agent retient désormais les préférences, les corrections précédentes et les informations collectées lors des sessions passées. 

Concrètement, cela signifie que Codex construit un contexte au fil du temps. Les futures tâches n’ont plus besoin d’instructions détaillées et répétitives. L’agent connaît déjà vos habitudes de code et votre environnement de travail.

Grâce à cette mémoire, Codex étend ses capacités d’automatisation. Il peut désormais « planifier du travail futur » et reprendre automatiquement des tâches s’étalant « sur plusieurs jours ou semaines », en s’appuyant sur les fils de conversation existants et les plugins connectés.

Créativité intégrée et explosion de l’écosystème

Codex devient multimodal en intégrant nativement la génération d’images via le modèle gpt-image-1.5

Avis utilisateurs OpenAI Codex
©OpenAI

Vous pouvez générer et itérer des visuels directement dans leur flux de travail. OpenAI cite comme exemples d’utilisation la création de maquettes d’interface, de visuels produits ou d’assets pour les jeux vidéo.

Enfin, l’écosystème Codex s’enrichit massivement avec l’ajout de 90 nouveaux plugins. Parmi les intégrations notables. Dont Atlassian Rovo pour la gestion de JIRA, CircleCI et CodeRabbit pour l’intégration continue et la revue de code, mais aussi GitLab Issues, Microsoft Suite, Neon by Databricks, Remotion et Render.

Disponibilité

À l’instar de celui de Google, le computer use d’OpenAI est disponible dès aujourd’hui sur macOS uniquement. Les utilisateurs d’Europe et du Royaume-Uni seront servis prochainement. 

Les fonctionnalités de personnalisation liées à la nouvelle mémoire (recommandations contextuelles) sont d’abord réservées aux abonnés Enterprise et Edu.

Restez à la pointe de l'information avec INTELLIGENCE-ARTIFICIELLE.COM !