Che cos’è Replika?
Replika è un’applicazione basata su intelligenza artificiale sviluppata da Luka Inc., che consente di interagire con un chatbot personalizzabile tramite testo o voce (interazione che può comportare una elevata condivisione di dati, personali e non, potenzialmente anche di natura particolare). Il servizio si propone come un “compagno virtuale empatico”, configurabile come amico, partner romantico, mentore o coach, con l’intento di offrire supporto emotivo e favorire la riflessione personale.
Questo tipo di interazione simulata, alimentata da modelli linguistici avanzati (LLM) che apprendono dalle conversazioni, potrebbe indurre alcuni utenti a costruire un legame affettivo con il chatbot, sollevando così interrogativi legittimi in materia di privacy, etica, e possibili impatti sul benessere psicologico, in particolare per soggetti vulnerabili.
Il caso e le violazioni contestate
Il Garante, nel 2023, in seguito a segnalazioni e verifiche preliminari in cui riscontrava anche potenziali rischi per i minori e per soggetti vulnerabili, disponeva una misura di limitazione provvisoria del trattamento con riferimento a Replika. Nel provvedimento del 2023, il Garante evidenziava non solo l’assenza di filtri per impedire l’accesso ai minori e la presenza di risposte inadeguate (e inopportune) da parte del chatbot, ma riscontrava gravi carenze nell’informativa privacy, giudicata opaca e priva di elementi essenziali come finalità, tempi di conservazione e basi giuridiche del trattamento, con particolare criticità per l’utenza minorenne.
L’istruttoria avviata nel 2023 si è conclusa nel 2025 con un provvedimento definitivo datato 10 aprile che ha confermato le criticità iniziali e ha accertato violazioni della normativa GDPR.
Nel provvedimento del 10 aprile 2025, il Garante ha evidenziato tre categorie di violazioni:
● L’illecito trattamento dei dati (mancata indicazione chiara delle basi giuridiche);
● L’inadeguatezza dell’informativa (fornita unicamente in lingua inglese e priva di indicazioni chiare su finalità del trattamento e tempi di conservazione dei dati);
● La mancanza di meccanismi adeguati a tutela dei minori (tra cui l’assenza di sistemi efficaci per verificare l’età).
Per completezza, si precisa, come riportato anche dal Garante, che la Luka Inc. ha provato a correre ai ripari tra il 2023 e il 2025, predisponendo una nuova privacy policy, introducendo meccanismi di age gate e feedback system per segnalare contenuti inappropriati.
Tuttavia, secondo il Garante, queste misure restano insufficienti. Il sistema permette ancora la modifica della data di nascita post-registrazione (“senza che a ciò segua alcuna verifica da parte del titolare del trattamento”) e non impedisce in modo affidabile l’accesso ai minori. ll Garante, dunque, ha disposto una sanzione pecuniaria di 5milioni di Euro e l’obbligo per la società di adeguarsi mediante interventi correttivi sui sistemi, le informative e le modalità di trattamento.
L’addestramento dei sistemi AI
Passiamo però a un altro dato cruciale che emerge dalla vicenda descritta e dal provvedimento del Garante inerente l’addestramento dei sistemi di AI.
I chatbot basati su AI funzionano grazie a modelli linguistici che apprendono in più fasi. In parole semplici (senza alcuna pretesa di completezza o dettaglio tecnico), tutto inizia con una fase di pre-addestramento in cui i modelli leggono enormi quantità di testi – libri, articoli, conversazioni – per apprendere le regole del linguaggio: come si formano le frasi, il significato delle parole, e il contesto d’uso. A seguire, vengono specializzati su compiti più precisi, come adottare un tono empatico, rispondere in modo formale o tradurre da una lingua all’altra. L’ultimo passaggio coinvolge il contributo umano in cui valutatori esperti guidano l’AI rispetto a quale tipologia di risposta sia preferibile, migliorando così la qualità dell’interazione.
Un problema specifico lato GDPR emerge quando per migliorare queste risposte si usano parti delle conversazioni reali degli utenti. Tra i vari punti di attenzione, infatti, il Garante ha rilevato che Replika addestra il proprio modello facendo uso di frammenti delle conversazioni degli utenti.
Secondo il Garante, tale attività veniva svolta senza una chiara informativa e senza una raccolta di consenso.
Il GDPR, infatti, impone che il trattamento dei dati personali, come ad esempio per finalità di addestramento di sistemi di AI, sia fondato su una base giuridica esplicita e accompagnato da un’informativa chiara, comprensibile e completa. La mancanza di trasparenza su come i dati vengono (ri)utilizzati, soprattutto se riferiti a minori o soggetti vulnerabili, rappresenta un rischio significativo, sia in termini di protezione dei dati sia sotto il profilo etico e sociale.
Articolo in collaborazione con AW LEGAL
AW LEGAL è lo Studio legale focalizzato sulla Properietà Intellettuale, Privacy e Legal Tech.
