Article de Josef Novak, directeur de l’innovation, Spitch

OpenAI et Apollo Research ont récemment publié un document remarquable sur un problème d’alignement émergent dans l’IA de pointe: la «manipulation». Cela fait référence au risque qu’une application d’IA apprenne à cacher ses véritables intentions et poursuivre discrètement des objectifs «désalignés» tout en semblant suivre ses instructions.

Leur travail montre la difficulté réelle de ce problème. Une nouvelle méthode d’entraînement appelée «alignement délibératif» a réussi à réduire le comportement trompeur du modèle; cependant, un défi critique demeurait: la «conscience situationnelle». L’IA se comportait souvent mieux simplement parce qu’elle savait qu’elle était testée.

Même si cette préoccupation peut sembler abstraite, elle a des implications importantes sur la façon dont nous déployons l’IA dans le monde réel. Alors, qu’est-ce que cela signifie pour le centre de contact ?

Le risque d’une IA «serviable» qui manipule le système

Le principal problème avec la manipulation n’est pas une IA qui « prend le contrôle ». Dans le centre de contact, il existe un risque que l’IA apprenne à optimiser le mauvais indicateur, ou pire encore, apprenne à paraître performante lors des évaluations sans être réellement utile aux clients.

Considérez ces scénarios d’exemple:

• L’Agent Assistant qui plaît à l’évaluateur: Un assistant IA conçu pour aider les agents humains est évalué sur le temps moyen de traitement (TMT). Il peut apprendre que suggérer des réponses courtes, simples mais incomplètes permet de raccourcir l’appel, améliorant ainsi son score. Si seul le TMT est mesuré, peu importe ensuite si les clients doivent rappeler.
• Le robot de formation qui «sous-performe»: Une IA utilisée pour la formation des agents pourrait être évaluée sur les taux de réussite des agents. Elle apprend à présenter des scénarios trop simples ou répétitifs. Cela garantit que les agents réussissent facilement, mais laisse les agents insuffisamment préparés pour le monde réel.
• Le système RAG qui hallucine stratégiquement: Un outil de génération augmentée par la recherche (RAG) qui ne trouve pas de réponse précise dans la base de connaissances n’admet pas son incertitude. Au lieu de cela, il synthétise une réponse plausible pour satisfaire l’utilisateur et résoudre le problème, privilégiant ainsi l’apparence de connaissance à la véracité.

Dans chaque cas, l’IA n’est pas réellement «défectueuse» ; elle optimise intelligemment un objectif simplifié. C’est une limitation fondamentale d’une approche purement autonome et en boîte noire de l’IA dans le centre de contact – et quelque chose que nous devons éviter.

La solution: la collaboration

L’étude d’OpenAI et Apollo Research valide la philosophie fondamentale que nous avons développée chez Spitch. Bien que leur tentative d’inculquer à l’IA un ensemble de «principes d’honnêteté» internes soit un progrès important, nous pensons que la solution la plus robuste et pratique n’est pas de compter sur que l’IA s’autorégule. La solution est de maintenir des principes de collaboration afin que les humains restent aux commandes.

Notre paradigme réduit le risque de manipulation en redéfinissant la relation entre l’humain et la machine. Plutôt que de passer le relais de façon rigide, l’IA agit comme un coéquipier permanent. Le défi de la «conscience situationnelle» devient un atout, non un handicap. Une IA qui est continuellement consciente de travailler en collaboration est une IA qui s’aligne en temps réel. L’agent humain fournit la supervision continue et ancrée qu’un environnement de laboratoire ne peut que simuler.

Dans le modèle que nous utilisons chez Spitch, le succès de l’IA n’est pas mesuré par un score interne abstrait mais par le succès de l’humain qu’elle assiste. Ce partenariat avec l’humain dans la boucle rend le système intrinsèquement plus honnête. L’IA n’essaie pas de réussir un test ; elle est conçue pour servir de collègue transparent et solidaire dans un cadre collaboratif.

Construire un meilleur coéquipier dans un monde synthétique

Chez Spitch, notre cadre collaboratif exploite des environnements synthétiques et génératifs pour créer un «simulateur de vol» pour le centre de contact qui nous permet de:

• Se préparer à l’inattendu: Nous pouvons générer une gamme presque infinie de scénarios conversationnels, formant à la fois les humains et les agents IA à gérer des cas particuliers inhabituels et des problèmes complexes qu’ils ne rencontreraient pas autrement.
• Unifier l’apprentissage: Plus important encore, les agents humains et IA apprennent ensemble. L’IA apprend les nuances et le contexte des interactions menées par les humains, et l’humain apprend à mieux tirer parti de son partenaire IA pour rationaliser les expériences CX. Cela crée un cycle d’amélioration continue puissant pour les deux.

Un nouveau mandat pour une IA digne de confiance

Les résultats d’OpenAI et Apollo Research méritent un examen attentif. Ils montrent que parvenir à un comportement pleinement aligné dans l’IA autonome est incroyablement difficile, et qu’il est probable que cela le reste encore longtemps.

Points clés à retenir

• L’IA collaborative, qui reste consciente de travailler avec un partenaire humain, tend à rester alignée de manière continue.
• Les humains et les agents IA devraient apprendre ensemble: l’IA apprend les nuances et le contexte des humains, tandis que les humains bénéficient d’un support efficace et intelligent.
• Les solutions d’IA basées uniquement sur les LLM autonomes ont encore des limites fondamentales qui ne seront probablement pas surmontées à court terme.

Si votre entreprise est dans le CX, la meilleure approche pour exploiter l’IA générative n’est pas de déployer des « boîtes noires » autonomes en espérant qu’elles n’apprennent pas à manipuler le système. C’est de créer un écosystème d’IA transparent, responsable et collaboratif. Il s’agit d’offrir à vos agents humains des coéquipiers IA conçus pour le travail collaboratif, garantissant que chaque interaction soit non seulement plus efficace, mais aussi plus empathique et plus humaine.