Nel corso della lezione numero 3 si è parlato, tra le altre cose, delle criticità legate all’opacità del funzionamento degli algoritmi i cui risultati ci appaiono spesso come una black box di cui non siamo in grado di comprendere il processo di elaborazione. Il dibattito odierno sull’explainability si concentra proprio sulla possibilità - o impossibilità - di rendere più trasparenti tutti quei processi attraverso cui l’IA fornisce risposte e risultati.
Perché questa trasparenza è importante?
Per riflettere ulteriormente su tale aspetto e coglierne alcune implicazioni proponiamo questo approfondimento all’interno del quale si propone un caso specifico: l’utilizzo dei sistemi di IA nell’ambito medico.
Come si è già detto, la riconosciuta opacità dei sistemi di IA di ultima generazione solleva l’interrogativo di come garantire il rispetto per i diritti delle persone coinvolte, soprattutto in contesti in cui il risultato di un algoritmo abbia un impatto significativo sulla loro vita. Al fine di comprendere le implicazioni della (un)explainability, immaginiamone una contestualizzazione nell’ambito sanitario e consideriamo il caso di un medico, da una parte, e di un dispositivo governato dall’IA dall’altra che, utilizzando gli stessi dati relativi al medesimo paziente, giungano a due diagnosi differenti sulla patologia da cui quest’ultimo è affetto. A fronte di due esiti incompatibili, la non explainability che caratterizza i risultati di IA rende molto difficile, per il medico, il compito di risalire alle ragioni che hanno guidato la macchina nel suo processo di elaborazione della diagnosi in modo da operare un confronto utile a comprendere dove si sia originata la contrapposizione nelle due valutazioni e, quindi, potenzialmente, a scioglierla. Senza la possibilità di ripercorrere il sentiero seguito dalla macchina, diventa complicato superare la contrapposizione tra le due diagnosi e arrivare a una sintesi. Si possono aprire allarmanti derive di dogmatismo: non sarà difficile, in tale contesto, per un medico, prendersi la responsabilità di sostenere – a meno di errori clamorosi ed eclatanti compiuti a opera dell’IA – l’infondatezza della diagnosi elaborata dalla macchina? Dovrebbe, peraltro, avere la certezza di averne copertura assicurativa, ad esempio: questione che apre ad ulteriori problemi di ordine socio-economico e legislativo. La mancanza di una possibilità di confronto, nel caso di diagnosi differenti causata dall’opacità del processo seguito dall’IA, presenta delle significative ripercussioni etiche che incidono sul principio di beneficenza, di non maleficenza e sulla promozione del miglior interesse del paziente. Non va trascurato il rischio, a lungo termine, di perdita di competenze da parte del personale medico-sanitario: defraudato dalle macchine “intelligenti” di ogni autorevolezza, rischia di perdere fiducia in se stesso e nell’importanza del continuo autoaggiornamento.
Un certo livello di trasparenza nei processi che portano l’IA a un determinato risultato si rivela, inoltre, significativo anche per la tutela dell’autonomia decisionale del paziente, perché ha implicazioni per l’autodeterminazione nelle scelte di cura. Potrebbe, infatti, avere difficoltà a comprendere le motivazioni che hanno portato l’IA ad elaborare un determinato risultato, con effetti diretti o indiretti sulla sua vita – ad esempio nel caso di una diagnosi o della definizione di un percorso terapeutico – e potrebbe non essere in grado di confrontarsi con esso e negoziare una alternativa. Cosa che potrebbe fare, invece, stringendo un’alleanza terapeutica con il medico se, a partire dalla diagnosi prodotta, potessero insieme ordinare le opzioni d’uscita disponibili secondo una gerarchia di valori meglio corrispondente ai progetti di vita del paziente. Per quanto l’ultima decisione spetti al paziente, le modalità in cui vengono presentate le opzioni disponibili e l’ordine gerarchico che viene loro assegnato nella presentazione possono influenzare la sua decisione, orientandone la scelta con implicazioni sull’autonomia decisionale e sul diritto di autodeterminazione nelle scelte di cura: questo è vero anche nella relazione medico-paziente, ma nel caso del risultato algoritmico inesplicabile il paziente non può avere un termine di confronto dialogico.
Questo non significa che l’ambiente cibernetico-digitale caratterizzato dall’IA non offra grandi opportunità per la medicina, ma conferma la necessità di un sorvegliamento critico: ci si trova, ancora una volta, di fronte a un pharmakon: rimedio ma anche veleno…