In dit artikel geef ik een overzicht van de laatste inzichten in het gebruik van neuro-imaging en machine­learning voor het maken van diagnostische modellen en prognostische modellen die de behandeluitkomst kunnen voorspellen. Na een korte inleiding over functionele magnetic resonance imaging (fMRI) en machinelearning bespreek ik de toepassing voor het maken van diagnostische biomarkers op basis van resultaten van meta-analyses en grote multicenterstudies. Vervolgens ga ik in op het voorspellen van behandeluitkomst met een focus op functionele netwerken voor depressie en psychotische stoornissen, waarvoor op dit moment de meeste literatuur beschikbaar is. Tot besluit volgt een beschouwing over het benodigde onderzoek om de onderzoeksresultaten te vertalen naar klinische toepassingen.

Neuro-imaging

Functionele MRI heeft het mogelijk gemaakt om de communicatie tussen verschillende hersengebieden in beeld te brengen. De hersengebieden die het sterkst met elkaar verbonden zijn via grote wittestofbanen vertonen ook de grootste mate van synchrone activiteit, ofwel functionele connectiviteit.¹ Functionele MRI is daarom ook veelvuldig gebruikt om het functioneren van hersennetwerken bij patiënten met verschillende psychiatrische stoornissen te onderzoeken.

Er zijn verschillende benaderingen voor het onderzoek naar functionele hersennetwerken. De meest gebruikte methodes zijn functional connectomics en onafhankelijke componentanalyse.² Bij functional connectomics worden de hersenen opgedeeld in afzonderlijke hersengebieden volgens een anatomische (of functionele) atlas. Vervolgens wordt de verandering in hersenactiviteit gedurende de fMRI-scan van al deze hersengebieden met elkaar gecorreleerd. Dit levert een correlatiematrix op die laat zien welke hersengebieden samen een netwerk vormen. Bij onafhankelijke componentanalyse wordt de hersenactiviteit van alle hersengebieden tegelijk geanalyseerd om daar een aantal functionele netwerken uit te halen.

Onderzoek naar functionele netwerken bij psychiatrische stoornissen heeft een enorme vlucht genomen door de oprichting van internationale consortia waarbij fMRI-data of afgeleiden daarvan worden gedeeld. Dit heeft geleid tot beter inzicht in de neurale basis van onder andere autismespectrumstoornissen, schizofrenie en depressie. In dergelijke studies gebruikt men doorgaans univariate statistische methodes om verschillen tussen patiënten en controlepersonen zonder klachten te onderzoeken. Daarbij wordt de gemiddelde connectiviteit van een patiëntengroep vergeleken met de gemiddelde connectiviteit van controlepersonen met variantieanalysen of t-testen voor alle hersenverbindingen afzonderlijk. Daarnaast kunnen multivariate methoden zoals machinelearning worden gebruikt om maximaal onderscheid tussen patiënten en controlepersonen te maken door alle verbindingen tegelijk te analyseren. Machinelearning biedt ook de mogelijkheid om uitspraken te doen voor individuele patiënten, wat noodzakelijk is voor klinische toepassing.

Machinelearning

Het voornaamste doel van machinelearning is om voorspellingsmodellen te maken op basis van alle beschikbare data. Hierbij wordt een deel van de data (meestal 80 of 90%) gebruikt om modellen te maken, ofwel te trainen. Het resterende deel van de data (10 of 20%) wordt gebruikt om de voorspellende nauwkeurigheid te testen. Dit wordt vaak gedaan met kruisvalidatie, waarbij de data die worden gebruikt voor het trainen en testen steeds afwisselen. Er wordt dan vooral gekeken naar hoe nauwkeurig (balanced accuracy, ofwel het gemiddelde van sensitiviteit en specificiteit) de getrainde modellen voorspellingen kunnen maken voor de testdata. Bij machinelearning worden modellen dus altijd gevalideerd door een model te testen met nieuwe deelnemers. Zolang de testdata onafhankelijk zijn van de trainingsdata geeft dit een betrouwbare schatting.

Maar helaas worden hier nog regelmatig fouten mee gemaakt waardoor informatie van de testdata doorlekt naar de getrainde modellen (data leakage). Dit heeft tot gevolg dat de resultaten beter lijken dan ze zullen zijn wanneer het model op werkelijk onafhankelijke data wordt getest (positieve bias). In een recente systematische review vonden wij dat dit het geval kan zijn bij de helft van de gerapporteerde studies,³ waardoor veel publicaties in de psychiatrie een overschatting geven van de nauwkeurigheid. Om dit in de toekomst te voorkomen hebben Poldrack en collega’s een korte hand­leiding geschreven voor correct gebruik van machinelear­ningmethoden voor de psychiatrie.⁴

De benodigde effectgrootte om voorspellingen te doen voor individuele patiënten is aanzienlijk. Deze is ook substantieel groter dan wat gebruikelijk is om significante verschillen tussen groepen te detecteren en op basis waarvan huidige behandelingen zijn gebaseerd. Een richtlijn voor de nauwkeurigheid van diagnostische biomarkers van de American Psychiatric Association (APA) is 80%.⁵ Dat betekent dat de biomarker voor 8 van de 10 patiënten een correcte uitslag geeft, wat neerkomt op een oddsratio van 16. Ter vergelijking: meta-analyses laten zien dat de proporties patiënten die een respons vertonen op antidepressiva en antipsychotica maximaal twee keer zo groot zijn als de proporties patiënten die een respons vertonen op placebo. Dit komt neer op oddsratio’s van rond de 2.^6,7 De eis aan de effectgrootte voor voorspellingsmodellen is dus vele malen hoger dan die voor medicatie.

Diagnostische biomarkers

Diagnostische biomarkers voor psychiatrische stoornissen zijn in eerste instantie onderzocht in kleine steekproeven. Meta-analyses van dergelijke studies laten zien dat functionele netwerken een (zeer) goed onderscheid kunnen maken tussen controlepersonen zonder psychische aandoeningen en patiënten met onder andere autismespectrumstoornissen (balanced accuracy: 74%),⁸ schizofrenie (81%)⁹ en depressie (84%)¹⁰ en voldoen veelal aan de richtlijn van de APA. De nauwkeurigheid van de diagnostische modellen wordt echter lager wanneer kleine steekproeven worden gecombineerd tot grote datasets voor multicenteronderzoek.^11,12

Dit is opmerkelijk aangezien machinelearningmodellen altijd beter presteren naarmate meer data beschikbaar zijn om de modellen te trainen.¹³ De lagere nauwkeurigheid van grote studies komt vermoedelijk doordat de klinische heterogeniteit bij grote studies ook groter is.¹⁴ Er is dus een balans tussen nauwkeurige modellen voor specifieke doelgroepen en minder nauwkeurige modellen die goed bruikbaar zijn voor de verscheidenheid aan patiënten die wel allemaal aan dezelfde diagnose voldoen.

Recente onderzoeken laten zien dat de nauwkeurigheid van diagnostische modellen getraind op functionele netwerkdata van grote consortia rond de 67% ligt voor autismespectrumstoornissen,¹⁵ 61% voor depressie,¹⁶ 81% voor schizofrenie¹⁷ en 63% voor obsessieve-compulsieve stoornis.¹⁸ Hieruit blijkt dat hersennetwerkfunctie wel degelijk verschilt tussen patiënten met verschillende psychiatrische stoornissen, maar dat de nauwkeurigheid om individuele patiënten te onderscheiden doorgaans laag is. De uitzondering lijkt schizofrenie, waarbij verschillen in hersennetwerkfunctie ten opzichte van controlepersonen mogelijk groter zijn en/of de verscheidenheid binnen de patiënten kleiner is dan bij andere psychiatrische stoornissen.

De klinische relevantie van diagnostische modellen is echter vooralsnog beperkt. Het wordt relevanter wanneer dergelijke modellen ook geschikt zijn voor differentiële diagnostiek, bijvoorbeeld om onderscheid te kunnen maken tussen bipolaire stoornis, unipolaire depressie en schizofrenie.¹⁹ Maar studies om het volledige spectrum van stoornissen te kunnen onderscheiden zijn nog niet voor handen.

Voorspellen van behandeluitkomst

Een toepassing die wel direct klinisch relevant is, is het voorspellen van behandeluitkomst. De effectiviteit van verschillende behandelingen is zoals in het voorgaande beschreven beter dan die van placebo. Maar bij elke fase van een behandeltraject herstelt een aanzienlijk deel van de patiënten niet voldoende. Zo laten grote naturalistische studies zien dat hooguit een derde van de patiënten met een depressie herstelt na elke behandeling met antidepressiva of psychotherapie.²⁰ En zo herstelt hooguit de helft van de patiënten met een psychotische stoornis na elke behandeling met antipsychotica.²¹

De effectiviteit van deze behandelingen zou kunnen verbeteren wanneer een behandeling kan worden afgestemd op de patiënt. Het is dan niet meer nodig om via trial-and-error een passende behandeling te vinden. Maar voor zulke zogenaamde gepersonaliseerde, precisie- of high-performancezorg²² is het nodig om vooraf de beste behandeling te kunnen selecteren. Behandelaars kunnen de behandeluitkomst niet goed voorspellen en hebben een positieve bias dat hun behandeling zal werken.²³ Daarom bestaat er al een lange geschiedenis om methoden te ontwikkelen die wel een nauwkeurige voorspelling kunnen geven. Zo ontwikkelde Hobson al in 1953 een scoringsmethode om de respons op elektroconvulsietherapie (ECT) te voorspellen.²⁴ Maar tot op heden zijn er nog geen instrumenten beschikbaar die bruikbaar zijn in de klinische praktijk.

De laatste jaren is machinelearning enorm in opkomst om de respons op een behandeling te voorspellen. Bij psychotische stoornissen voorspellen klinische variabelen, demografische gegevens en vooral de zorgbehoeften een goede uitkomst na 4 weken behandeling met haloperidol, amisulpride, olanzapine, quetiapine of ziprasidon met 75% nauwkeurigheid.²⁵ Bij depressie voorspellen demografische gegevens en vooral de symptomen of er wel of geen remissie zal zijn na 12 weken behandeling met citalopram met 65% nauwkeurigheid.²⁶ Deze scores werden behaald wanneer de nauwkeurigheid werd getest voor nieuwe patiënten uit dezelfde steekproef, ofwel met interne validatie. Wanneer het voorspellingsmodel voor psychotische stoornissen werd getest op patiënten van nieuwe ziekenhuizen, dan daalde de nauwkeurigheid naar 72%. En wanneer het voorspellingsmodel voor depressie werd toegepast op een andere studie met escitalopram, daalde de nauwkeurigheid naar 60%, wat niet veel beter is dan het 50%-kansniveau.

Deze manier van externe validatie geeft de beste voorspelling van de verwachte nauwkeurigheid wanneer een model ook daadwerkelijk wordt toegepast in de klinische praktijk. Het gebruik van klinische variabelen is dus veelbelovend voor psychotische stoornissen. Maar de voorspellende waarde van klinische variabelen voor depressie is beperkt. Er is daarom ook een zoektocht gaande naar de beste biomarkers om de voorspelling te verbeteren. Daarvoor wordt onder andere onderzoek gedaan naar genetica, maar is vooral neuro-imaging gebruikt.^27,28

Voorspellen met neuro-imaging

Uit een eerste meta-analyse naar het gebruik van verschillende typen data om met machinelearning de behandeluitkomst bij depressie te voorspellen kwam neuro-imaging als meest belovend naar voren.²⁹ De 13 geïncludeerde neuro-imagingstudies hadden een gemiddelde nauwkeurigheid van 85%, terwijl de 5 studies met klinische variabelen een gemiddelde nauwkeurigheid van 69% hadden. De neuro-imagingstudies bestonden echter veelal uit kleine steekproeven, terwijl men in de studies met klinische variabelen grote steekproeven had gebruikt. De schatting voor de nauwkeurigheid van de neuro-imagingstudies is derhalve minder betrouwbaar dan voor de klinische studies en zou bij nieuwe studies zowel hoger als lager uit kunnen vallen. Daarnaast werden bij deze meta-analyse verschillende typen neuro-imaging, behandelingen en typen uitkomsten samengevoegd, waardoor men in de meta-analyse vooral heeft onderzocht waarmee kan worden voorspeld en het onduidelijk blijft wat er kan worden voorspeld.

Om te onderzoeken welke behandeluitkomsten goed voorspeld kunnen worden, hebben wij een nieuwe meta-analyse naar de beschikbare MRI-studies bij depressie uitgevoerd.³⁰ We hebben 27 studies geïncludeerd met een gemiddelde steekproefgrootte van 44 patiënten, variërend van 12 tot 124. Uit de resultaten bleek de gemiddelde nauwkeurigheid 82% voor ECT (9 onafhankelijke studies), 74% voor verschillende antidepressiva (8 onafhankelijke studies), 81% voor repetitieve transcraniële magnetische stimulatie (rTMS; 3 onafhankelijke studies) en 78% voor verschillende psychotherapieën (2 onafhankelijke studies). In de studies hebben onderzoekers allemaal verschillende neuro-imagingmethoden gebruikt, waarvan ongeveer een derde structurele MRI, een derde taakgerelateerde fMRI en een derde resting-state-fMRI. Meta-regressieanalyses lieten geen significant verschil in de nauwkeurigheid tussen de verschillende behandelingen en typen MRI zien.

Deze meta-analyse laat zien dat verschillende MRI-methoden de behandeluitkomst voor verschillende behandelingen bij depressie met hoge nauwkeurigheid kunnen voorspellen. Een meta-analyse van de beschikbare elektro-encefalogram(eeg)-studies toont vergelijkbare resultaten.³ Maar door het gebruik van verschillende methoden blijft zowel voor MRI als eeg onduidelijk met welke variabelen men die voorspelling kan doen.

In een vergelijkbare meta-analyse van resting-state-
fMRI-studies heeft men de respons op antipsychotica bij psychotische stoornissen onderzocht.³¹ In deze studie werden alleen studies geïncludeerd waarbij men functionele netwerken had gebruikt. De onderzoekers hebben 9 datasets uit 7 verschillende studies geïncludeerd met een gemiddelde steekproefgrootte van 50 patiënten (27 tot 90 patiënten) die de respons op verschillende antipsychotica hebben voorspeld. De gemiddelde nauwkeurigheid van deze studies was 79%. Meta-regressieanalyses toonden alleen een significante invloed van ziekteduur, waarbij de voorspelling nauwkeuriger is voor patiënten die al langer psychotisch zijn. Deze meta-analyse laat zien dat functionele netwerken ook de respons op verschillende antipsychotica bij psychotische stoornissen kunnen voorspellen. Maar ook hier is door het gebruik van verschillende definities van hersennetwerkfunctie niet duidelijk wat nu precies de voorspellende netwerken zijn.

Explainable artificial intelligence

Machinelearningalgoritmen zoeken naar een combinatie van variabelen (features) om de beste voorspelling te maken. Door deze multivariate benadering wordt het niet direct inzichtelijk hoe een model de voorspelling maakt. Met aanvullende methoden kan de zogenaamde feature importance worden bepaald, maar dat betreft echter nog steeds de relatieve bijdrage van deze features in combinatie met andere variabelen. Er zijn ook methoden beschikbaar om de invloed van individuele hersengebieden te bepalen, maar daarvoor zijn grotere steekproeven nodig. Die zijn nog niet beschikbaar voor het voorspellen voor de behandeluitkomst, maar sinds kort wel voor diagnostische biomarkers. Zo hebben wij onlangs in twee grote consortia voor depressie de bijdrage van verschillende hersengebieden onderzocht met verschillende zogenaamde visualisatietechnieken. Daaruit blijkt hyperconnectiviteit van de thalamus in beide consortia het belangrijkste om patiënten met een depressieve stoornis te identificeren.¹⁶ Voor schizofrenie blijkt bij twee grote consortia vooral de connectiviteit tussen subcorticale hersenstructuren en de temporaal­kwab van belang, maar de unieke bijdrage is daarbij niet onderzocht.¹⁷

Naar klinische toepassing

Uit de beschreven meta-analyses voor depressie en psychotische stoornissen blijkt dat functionele netwerken de behandeluitkomst goed kunnen voorspellen, met een gemiddelde nauwkeurigheid van rond de 80%.^30,31 De APA geeft 80% nauwkeurigheid als richtlijn voor klinische toepassing van diagnostische biomarkers, maar geeft geen richtlijn voor prognostische biomarkers.⁵ Met een nauwkeurigheid van 80% kan het behandelsucces toenemen tot 80% wanneer alleen patiënten met een goede prognose de betreffende behandeling krijgen. Op dit moment is het behandelsucces van antidepressiva en antipsychotica hooguit 50%.^20,21 Prognostische modellen die minder nauwkeurig zijn dan 80% kunnen daarom ook voor betere behandelresultaten zorgen en zullen daarom waarschijnlijk ook kosteneffectief zijn. Zo ver is het echter nog niet. De steekproeven van de geïncludeerde studies waren doorgaans klein, de features verschilden per studie en in elke studie onderzocht men slechts de uitkomst van één type behandeling.

Het is daarom nog onduidelijk of de gerapporteerde resultaten ook in de praktijk kunnen worden behaald. In toekomstige studies zal men daarom eerst moeten onderzoeken of voorspellingsmodellen ook toegepast kunnen worden voor patiënten van andere ziekenhuizen. Dit lijkt in ieder geval mogelijk voor de voorspelling van herstel na ECT.³² Daarnaast is het voor de toepassing van voorspellingsmodellen vooral relevant om de respons voor verschillende behandelingen in kaart te brengen. Op die manier kunnen voorspellingsmodellen de behandelaar ondersteunen om voor elke patiënt de best passende behandeling te selecteren en daarmee de behandeling te personaliseren. Maar dergelijke studies zijn nog nauwelijks uitgevoerd.

Conclusie

Ik concludeer dat functionele netwerken de behandel­uitkomst voor individuele patiënten met depressie en psychotische stoornissen met ongeveer 80% nauwkeurigheid kunnen voorspellen. Deze resultaten zijn echter behaald in kleinschalige studies, waarbij onduidelijk is of dezelfde resultaten ook in nieuwe steekproeven kunnen worden behaald. Daarnaast moet nog blijken of toepassing van voorspellingsmodellen het behandelsucces daadwerkelijk verhoogt.

literatuur

1 Hagmann P, Cammoun L, Gigandet X, e.a. Mapping the structural core of human cerebral cortex. PLoS Biol 2008; 6: e159.

2 van den Heuvel MP, Hulshoff Pol HE. Exploring the brain network: a review on resting-state fMRI functional connectivity. Eur Neuropsychopharmacol 2010; 20: 519-34.

3 Cohen SE, Zantvoord JB, Wezenberg BN, e.a. Electroencephalography for predicting antidepressant treatment success: a systematic review and meta-analysis. J Affect Disord 2023; 321: 201-7.

4 Poldrack RA, Huckins G, Varoquaux G. Establishment of Best Practices for Evidence for Prediction: A Review. JAMA Psychiatry 2020; 77: 534-40.

5 First M, Botteron K, Carter C, e.a. Consensus report of the APA work group on neuroimaging markers of psychiatric disorders. Washington: American Psychiatric Association; 2012.

6 Leucht S, Leucht C, Huhn M, e.a. Sixty years of placebo-controlled antipsychotic drug trials in acute schizophrenia: systematic review, Bayesian meta-analysis, and meta-regression of efficacy predictors. Am J Psychiatry 2017; 174: 927-42.

7 Cipriani A, Furukawa TA, Salanti G, e.a. Comparative efficacy and acceptability of 21 antidepressant drugs for the acute treatment of adults with major depressive disorder: a systematic review and network meta-analysis. Lancet 2018; 391: 1357-66.

8 Santana CP, de Carvalho EA, Rodrigues ID, e.a. rs-fMRI and machine learning for ASD diagnosis: a systematic review and meta-analysis. Sci Rep 2022; 12: 6030.

9 Kambeitz J, Kambeitz-Ilankovic L, Leucht S, e.a. Detecting neuroimaging biomarkers for schizophrenia: a meta-analysis of multivariate pattern recognition studies. Neuropsychopharmacology 2015; 40: 1742-51.

10 Kambeitz J, Cabral C, Sacchet MD, e.a. Detecting neuroimaging biomarkers for depression: a meta-analysis of multivariate pattern recognition studies. Biol Psychiatry 2017; 82: 330-8.

11 Arbabshirani MR, Plis S, Sui J, e.a. Single subject prediction of brain disorders in neuroimaging: Promises and pitfalls. Neuroimage 2017; 145: 137-65.

12 Varoquaux G. Cross-validation failure: Small sample sizes lead to large error bars. Neuroimage 2018; 180: 68-77.

13 Nieuwenhuis M, van Haren NE, Hulshoff Pol HE, e.a. Classification of schizophrenia patients and healthy controls from structural MRI scans in two large independent samples. Neuroimage 2012; 61: 606-12.

14 Schnack HG, Kahn RS. Detecting neuroimaging biomarkers for psychiatric disorders: sample size matters. Front Psychiatry 2016; 7: 50.

15 Abraham A, Milham MP, Di Martino A, e.a. Deriving reproducible biomarkers from multi-site resting-state data: An autism-based example. Neuroimage 2017; 147: 736-45.

16 Gallo S, El-Gazzar A, Zhutovsky P, e.a. Functional connectivity signatures of major depressive disorder: machine learning analysis of two multicenter neuroimaging studies. Mol Psychiatry.

17 Meng X, Iraji A, Fu Z, e.a. Multi-model order spatially constrained ICA reveals highly replicable group differences and consistent predictive results from resting data: A large N fMRI schizophrenia study. Neuroimage Clin 2023; 38: 103434.

18 Bruin WB, Abe Y, Alonso P, e.a. The functional connectome in obsessive-compulsive disorder: resting-state mega-analysis and machine learning classification for the ENIGMA-OCD consortium. Mol Psychiatry 2023; doi: 10.1038/s41380-023-02077-0.

19 Claude LA, Houenou J, Duchesnay E, e.a. Will machine learning applied to neuroimaging in bipolar disorder help the clinician? A critical review and methodological suggestions. Bipolar Disord 2020; 22: 334-55.

20 Rush AJ, Trivedi MH, Wisniewski SR, e.a. Acute and longer-term outcomes in depressed outpatients requiring one or several treatment steps: a STAR*D report. Am J Psychiatry 2006; 163: 1905-17.

21 Kahn RS, Winter van Rossum I, Leucht S, e.a. Amisulpride and olanzapine followed by open-label treatment with clozapine in first-episode schizophrenia and schizophreniform disorder (OPTiMiSE): a three-phase switching study. Lancet Psychiatry 2018; 5: 797-807.

22 Topol EJ. High-performance medicine: the convergence of human and artificial intelligence. Nat Med 2019; 25: 44-56.

23 Smith M, Francq B, McConnachie A, e.a. Clinical judgement, case complexity and symptom scores as predictors of outcome in depression: an exploratory analysis. BMC Psychiatry 2020; 20: 125.

24 Hobson RF. Prognostic factors in electric convulsive therapy. J Neurol Neurosurg Psychiatry 1953; 16: 275-81.

25 Koutsouleris N, Kahn RS, Chekroud AM, e.a. Multisite prediction of 4-week and 52-week treatment outcomes in patients with first-episode psychosis: a machine learning approach. Lancet Psychiatry 2016; 3: 935-46.

26 Chekroud AM, Zotti RJ, Shehzad Z, e.a. Cross-trial prediction of treatment outcome in depression: a machine learning approach. Lancet Psychiatry 2016; 3: 243-50.

27 Sajjadian M, Lam RW, Milev R, e.a. Machine learning in the prediction of depression treatment outcomes: a systematic review and meta-analysis. Psychol Med 2021; 51: 2742-51.

28 Del Fabro L, Bondi E, Serio F, e.a. Machine learning methods to predict outcomes of pharmacological treatment in psychosis. Transl Psychiatry 2023; 13: 75.

29 Lee Y, Ragguett RM, Mansur RB, e.a. Corrigendum to ‘Applications of machine learning algorithms to predict therapeutic outcomes in depression: A meta-analysis and systematic review.’ J Affect Disord. 2018; 241: 519-32. J Affect Disord 2020; 274: 1211-5.

30 Cohen SE, Zantvoord JB, Wezenberg BN, e.a. Magnetic resonance imaging for individual prediction of treatment response in major depressive disorder: a systematic review and meta-analysis. Transl Psychiatry 2021; 11: 168.

31 Mehta UM, Ibrahim FA, Sharma MS, e.a. Resting-state functional connectivity predictors of treatment response in schizophrenia - A systematic review and meta-analysis. Schizophr Res 2021; 237: 153-65.

32 Bruin WB, Oltedal L, Bartsch H, e.a. Development and validation of a multimodal neuroimaging biomarker for electroconvulsive therapy outcome in depression: a multicenter machine learning analysis. Psychol Med 2023; doi: 10.1017/S0033291723002040.