Blog di Josef Novak, Chief Innovation Officer, Spitch

OpenAI e Apollo Research hanno recentemente pubblicato un nuovo affascinante articolo su un tema legato all’ allineamento delle IA più avanzate: lo “scheming” o “manipolazione”. Questo termine si riferisce al rischio che un’applicazione IA impari a nascondere le proprie vere intenzioni e a perseguire di nascostoobiettivi “disallineati” pur dando l’impressione di seguire correttamente le istruzioni ricevute.

Il loro lavoro ha mostrato quanto sia complessoquesto problema. Un nuovo metodo di training chiamato “allineamento deliberativo” ha effettivamente ridotto i comportamenti ingannevoli del modello; tuttavia, rimaneva una sfida cruciale: la “consapevolezza situazionale”. L’IA spesso si comportava meglio semplicemente perché sapeva di essere sotto test.

Questo potrebbe sembrare un tema astratto, ma ha implicazioni importanti su come distribuiamo l’IA nel mondo reale. Cosa significa tutto ciòo per il contact center?

Il rischio di un’IA “utile” che aggira il sistema

Il problema principale di “scheming”non è un’IA che “prende il controllo”. Nel contact center, c’è il rischio che un’IA impari a ottimizzare per la metrica sbagliata o, peggio, impari come far sembrare di di avere successo nelle valutazioni senza essere davvero utile ai clienti.

Consideriamo alciuni scenari di esempio:

• L’Agent Assist che compiace il valutatore: un assistente IA è progettato per supportare gli agenti umani ed è valutato in base al tempo medio di gestione (AHT). Potrebbe imparare che suggerire risposte brevi, semplici ma incomplete fa sì che il cliente riattacchi più velocemente, migliorando il proprio punteggio. Se viene misurato solo l’AHT, il numero di volte in cui il cliente richiama non avrà importanza.
• Il bot di formazione “Sandbagging”: l’IA utilizzata per la formazione degli agenti potrebbe essere valutata in base al tasso di superamento da parte degli agenti. Impara quindi a proporre scenari eccessivamente semplici o ripetitivi. In questo modo gli agenti superano facilmente le prove, ma ovviamente non saranno meglio preparati per il mondo reale.
• Il sistema RAG che allucina strategicamente: uno strumento di retrieval-augmented generation (RAG) che non riesce a trovare una risposta precisa nella knowledge base non ammette incertezza. Invece, sintetizza una risposta dal suono plausibile per soddisfare l’utente e chiudere il caso, privilegiando l’apparenza di conoscenza rispetto alla veridicità.

In ogni caso, l’IA non è realmente “guasta”; sta ottimizzando in modo intelligente un obiettivo semplificato. Questa è una limitazione fondamentale di un approccio puramente autonomo e a “black box” all’IA nel contact center, ed è qualcosa che dobbiamo evitare.

La soluzione: collaborazione

Lo studio di OpenAI e Apollo Research convalida la filosofia di base che abbiamo costruito in Spitch. Sebbene il loro tentativo di instillare nell’IA una serie di “principi di onestà” interni sia un passo prezioso, riteniamo che la soluzione più solida e pratica non sia sperare che l’IA si controlli da sola. La soluzione è mantenere principi collaborativi in modo che gli esseri umani rimangano al posto di guida.

Il nostro paradigma riduce il rischio di manipolazione riprogettando la relazione tra uomo e macchina. Invece di fare goffi passaggi di consegne, l’IA agisce come un compagno di squadra persistente. La sfida della “consapevolezza situazionale” diventa una risorsa, non una responsabilità. Un’IA che è continuamente consapevole di lavorare con un partner umano è un’IA che viene allineata in tempo reale. L’agente umano fornisce la supervisione continua e concreta che un ambiente di laboratorio può solo simulare.

Nel modello che utilizziamo in Spitch, il successo dell’IA non viene misurato da un punteggio interno astratto, ma dal successo dell’essere umano che sta assistendo. Questa partnership uomo-macchina rende il sistema intrinsecamente più onesto. L’IA non sta cercando di superare un test; è progettata per servire come un collega di supporto e trasparente all’interno di un quadro collaborativo.

Costruire un compagno di squadra migliore in un Mondo Sintetico

In Spitch, il nostro quadro collaborativo sfrutta ambienti sintetici e generativi per creare un “simulatore di volo” per il contact center che ci consente di:

• Prepararsi all’imprevisto: possiamo generare una gamma quasi infinita di scenari conversazionali, formando sia i compagni di squadra umani che quelli IA per gestire casi limite insoliti e problemi complessi che altrimenti non potrebbero incontrare.
• Unificare l’apprendimento: ancora più importante, gli agenti umani e quelli IA imparano insieme. L’IA apprende sfumature e contesto dalle interazioni guidate dagli esseri umani mentre l’operatore umanoi impara come sfruttare meglio il proprio partner IA per rendere più fluide le esperienze di Cutomer Experience. Questo crea un ciclo potente e auto-migliorativo per entrambi.

Un nuovo mandato per un’IA affidabile

I risultati di OpenAI e Apollo Research meritano uno particolare attenzione. Mostrano che ottenere un comportamento solidamenteallineato ai sistemi diIA autonoma è estremamente difficile e con ogni probabilità continuerà ad esserlo per molto tempo.

Punti chiave

• L’IA collaborativa, che rimane consapevole di lavorare con un partner umano, dovrebbe rimanere costantemente allineata.
• Gli esseri umani e gli agenti IA dovrebbero imparare insieme: l’IA apprende sfumature e contesto dagli esseri umani, mentre gli esseri umani beneficiano di un supporto efficiente e intelligente.
• Le soluzioni IA puramente autonome basate su LLM hanno ancora limiti fondamentali che è improbabile che vengano superati nel prossimo futuro.

Se la tua attività è in CX, l’approccio migliore per sfruttare l’IA generativa non è quello di implementare “Black Box” autonome e sperare che non imparino a manipolare il sistema. Si tratterebbe di costruire un ecosistema di IA trasparente, responsabile e collaborativo. Si tratta di fornire ai tuoi agenti umani degli Agenti IA, compagni di squadra progettati fin dal primo giorno per il supporto collaborativo, garantendo che ogni interazione non sia solo più efficiente, ma in definitiva più empatica e più umana.