Het bepalen van de inhoud voor onderwijs in de medische (vervolg)opleidingen is traditioneel in handen van experts, passend bij het meester-gezelmodel. Steeds vaker worden ook andere belanghebbenden, onder wie patiënten en hun naasten, betrokken bij het formuleren van leerdoelen (Rowland e.a. 2019; Adam e.a. 2021). Om met een gelijkwaardige inbreng van belanghebbenden tot consensus te komen kan men een delphimethode gebruiken (Green 2014; Barrington e.a. 2021). In deze studie passen wij deze methode voor het eerst toe om leerdoelen te bepalen voor de kinder- en jeugdpsychiatrie in de opleiding tot psychiater.

De meeste psychische stoornissen ontstaan tijdens de adolescentie (Kessler e.a. 2005; Solmi e.a. 2021); 50% van de psychische problemen ontstaat voor het 14de levensjaar en 75% voor de leeftijd van 24 jaar (De Girolamo e.a. 2012). Daarnaast hebben volwassenen met psychiatrische klachten regelmatig kinderen die zelf ook psychische problemen hebben (Rutter & Quinton 1984) en kunnen die het functioneren van de ouders negatief beïnvloeden (van Loon e.a. 2014). Psychiatrische klachten in verschillende levensfasen dreigen op deze manier transgenerationeel te worden overgedragen en in stand gehouden.

Dit gegeven ligt ten grondslag aan een belangrijke wijziging in het sinds juli 2020 ingevoerde Nederlandse opleidingsplan ‘De Psychiater’. Ten opzichte van het vorige opleidingsplan (‘HOOP2.0’) is er meer aandacht voor levenslooppsychiatrie (Nederlandse Vereniging voor Psychiatrie (NVvP) 2019). De arts in opleiding tot psychiater (aios) werkt tijdens de opleiding toe naar competentieontwikkeling in de verschillende levensfasen, onder andere door een stage kinder- en jeugd-, volwassenen- en ouderenpsychiatrie. Daarnaast zorgt het herontwerp van het landelijke kennisonderwijs door het onderwijsbureau van de NVvP ervoor dat de onderwijsmodules beter aansluiten bij de levenslooppsychiatrie.

Bij de ontwikkeling of het aanpassen van deze onderwijsmodules is het gebruikelijk om aan een groep van
5 tot 8 experts te vragen welke leerdoelen zij van belang achten om op basis daarvan samen met hen een leerplan voor de module op te stellen. In deze studie kozen wij voor een delphimethode (Hecht 1979; Custer e.a. 1999; Green 2014). Een delphimethode is een gestructureerde bevragingsmethode waarin groepen belanghebbenden onafhankelijk van elkaar gedurende meerdere rondes hun mate van instemming op items zoals leerdoelen tonen en een bijdrage kunnen leveren aan het aanpassen daarvan (Humphrey-Murto 2017).

In de psychiatrie is deze methode eerder toegepast om consensus onder huisartsen te verkrijgen over psychiatrie in de studie geneeskunde (Salmon & Tombs 2018) en om opleiders te bevragen over entrustable professional activities (EPA’s) in de opleiding psychiatrie (Young e.a. 2018). Bij geen van deze studies maakte men echter gebruik van de mogelijkheid om ook de inbreng van patiënten of familie mee te nemen, terwijl het steeds gebruikelijker wordt om ook andere groepen belanghebbenden te betrekken bij het vormgeven van de inhoud van opleiding en onderwijs van zorgprofessionals (Khodyakov e.a. 2020; Barrington e.a. 2021).

doelen

Met de huidige studie beogen wij ten eerste om te kijken wat de toegevoegde waarde kan zijn van het voorleggen van een set leerdoelen die werd opgesteld door een kleine groep experts aan een bredere groep van belanghebbenden. We kozen voor een delphimethode waarbij we niet alleen psychiaters als experts, maar ook aiossen en patiënten en hun naasten vroegen naar relevante leerdoelen.

Ten tweede heeft deze studie als doel om inhoudelijk richting te geven aan de onderwijsvernieuwingen voor kinder- en jeugdpsychiatrie in de opleiding psychiatrie door de lijst met leerdoelen uit te breiden, te selecteren, te prioriteren en vervolgens tot een gedragen consensus te komen.

methode

Met een gemodificeerde delphimethode vroegen we belanghebbenden antwoord te geven op vragen over de aard en het belang van een initiële lijst met leerdoelen over de kinder- en jeugdpsychiatrie in Nederland. In tegenstelling tot een klassieke delphimethode bouwt men bij deze gemodificeerde methode voort op een lijst die vooraf werd opgesteld door een aantal experts op basis van reeds beschikbare bronnen en materiaal (Hecht 1979; Custer 1999). Zo kan men in een aantal rondes toewerken naar een aanpassing van en consensus over de voorgelegde items.

Ontwikkeling aanvankelijke lijst met leerdoelen

De werkgroep Onderwijsvernieuwing kinder- en jeugdpsychiatrie (opgericht in 2019) stelde de opzet voor de leerdoelen samen. De werkgroep bestond uit 7 kinder- en jeugdpsychiaters, 2 aiossen kinder- en jeugdpsychiatrie (KJP) en een onderwijskundige van het onderwijsbureau van de NVvP. De opdracht van de werkgroep was om na te denken over onderwijs voor de aiossen met profilering kinder- en jeugdpsychiatrie, maar omvatte ook de invulling van het onderwijs voor alle aiossen tijdens de 6 maanden durende stage levensloop/KJP, in aansluiting op het herontwerp onderwijsplan van het onderwijsbureau van de NVvP.

Op basis van het eerdere Nederlandse opleidingsplan, HOOP2.0, het bestaande cursusmateriaal van het onderwijsbureau en internationaal materiaal over de opleiding en onderwijs in de kinder- en jeugdpsychiatrie (UEMS-CAP e.a. 2014; 2021). kwam de werkgroep tot een lijst van 27 leerdoelen bestaande uit kennis (9 onderdelen), vaardigheden (10 onderdelen) en attitudes (8 onderdelen) (zie appendix 1, op de site van het Tijdschrift).

Participanten delphistudie

Deelnemers aan de studie waren aiossen psychiatrie, psychiaters werkzaam in de volwassenenpsychiatrie en kinder- en jeugdpsychiaters. Zij werden geselecteerd via een gestratificeerde steekproef naar opleiding in: geografische spreiding in regio (4 opleidingen in het Noorden, Midden, Westen en Zuiden van Nederland) en in aantal gelijk verdeeld over academische of niet-academische opleidingsinstelling (resulterend in 2 academische en 2 niet-academische opleidingsinstellingen).

Per opleiding (4 in totaal) vroegen we een centrale contactpersoon om per e-mail de volledige opleidingsgroep (zowel staf als aiossen) te benaderen met een verzoek tot deelname aan de studie. De volwassenen met psychiatrische klachten voor de groep ‘patiëntenorganisatie’ benaderden we via een nationale organisatie (MIND). Deelnemers ontvingen per e-mail een korte uitleg over het doel en de duur van de studie en een link voor deelname, kregen schriftelijke informatie over achtergrond en doel van de studie en gaven toestemming voor het anoniem verwerken van hun mening.

Vraagstelling eerste ronde

De leerdoelen die de werkgroep vooraf had opgesteld, presenteerden we met als verzoek bij elk doel op een likertschaal van 1 tot 5 de mate van belangrijkheid aan te geven (1 = onbelangrijk, 2 = beetje/enigszins belangrijk, 3 = neutraal, 4 = belangrijk, 5 = absoluut noodzakelijk) (Likert 1932). Bij elk leerdoel vroegen we actief naar opmerkingen of vragen met als doel de stellingen te verhelderen. Daarna vroegen we de gepresenteerde leerdoelen te prioriteren in een top 3 waarbij de deelnemers aan 3 stellingen een positie 1, 2 of 3 konden toekennen. Om tot aanvullende leerdoelen te komen vroegen we aan het begin naar de drie belangrijkste onderwerpen die een psychiater zou moeten kennen en kunnen op het terrein van de kinder- en jeugdpsychiatrie en aan het einde vroegen we of er nog leerdoelen waren die volgens de deelnemers ontbraken.

Data-analyse eerste ronde

Om resultaten van een delphistudie te verwerken gebruikten we de content validity index (CVI) als maat voor mate van belangrijkheid. Die wordt berekend door het aantal panelleden dat een van de hoogste twee beoordelingen gaf voor elke stelling te delen door het totale aantal panelleden (Lynn 1986). CVI-waarden kunnen variëren van 0 tot 1. Voor de eerste ronde hielden we een CVI van 0,8 aan, hetgeen betekent dat we items zouden behouden voor de volgende ronde als 80% of meer van de deelnemers de items een score belangrijk (4) of absoluut noodzakelijk (5) gaf (Polit e.a. 2007; Zamanzadeh 2015).

We verwijderden items als minder dan 60% van de deelnemers deze score toekende. Van de items met een CVI van 0,6-0,8 pasten we de leerdoelen aan aan de hand van de schriftelijke opmerkingen van deelnemers als het advies en/of aanpassing door 5% of meer van de deelnemers werd aangedragen.

Voor het toevoegen van nieuwe leerdoelen selecteerden we thema’s die 5% of meer van de deelnemers aandroeg in de open vragen aan het begin of einde van de vragenlijst.

Voor de prioritering brachten we een volgorde in de leerdoelen aan op basis van het totaal aantal keren dat een item in de top 3 terechtkwam (som van aantal keer dat een item een positie 1, 2 of 3 kreeg, waarbij elke top 3-classificering even zwaar woog in de prioritering). Deze ranking is nuttig voor het prioritiseren van leerdoelen in de praktijk met beperkte tijd.

Vraagstelling tweede ronde

In de tweede ronde informeerden we de deelnemers die de eerste ronde volledig hadden ingevuld welke stellingen we zonder aanpassingen zouden behouden. Daarna kregen zij de aangepaste en toegevoegde stellingen voorgelegd met een korte uitleg over de verwerkte aanpassingen. Zij beoordeelden net als in ronde 1 de stelling op mate van belangrijkheid met gebruik van de likertschaal. Tot slot kregen ze alle stellingen, inclusief de aangepaste en toegevoegde stellingen, opnieuw aangeboden met een voorzet tot gemiddelde prioritering die op basis van de inbreng van de deelnemers in de eerste ronde was gemaakt met daarbij de vraag opnieuw een top 3 aan te geven.

Data-analyse tweede ronde

Voor de tweede ronde stelden we naast de genoemde prioritering het consensuspercentage voor elke nieuwe stelling op 80%. De prioritering vond plaats op dezelfde wijze als in ronde 1.

resultaten

Ronde 1

In totaal reageerden 72 mensen met het openen van de link na het sturen van een eerste uitnodiging en een reminder. Van hen waren er 22 die niet alle vragen uit de studie invulden. Na het sturen van een tweede reminder aan 7 respondenten uit deze groep die meer dan de helft van de studievragen hadden beantwoord, reageerden 3 alsnog met het volledig invullen van de vragenlijsten. In de eerste ronde konden we in totaal de volledig ingevulde antwoorden van 53 deelnemers gebruiken (aiossen psychiatrie (n = 9), psychiaters werkzaam in de volwassenenzorg (n = 12), kinder- en jeugdpsychiaters (n = 17) en volwassen patiënten en naasten (n = 15)).

Mate van belang op basis van likertschaal

Van de 27 leerdoelen verwijderden we er 2, omdat minder dan 60% van de respondenten ze als belangrijk of noodzakelijk beoordeelde.

Het grootste deel (20 van de 27) van de leerdoelen over kennis (7 van de 9), vaardigheden (8 van de 10) en attitudes (5 van de 8) werd door 80% van de respondenten of meer als een ‘4: belangrijk’ of ‘5: absoluut noodzakelijk’ gescoord. Deze leerdoelen behielden we zonder aanpassing voor de tweede ronde.

De overige leerdoelen (5 van de 27) beoordeelde 60-80% van de respondenten als belangrijk of noodzakelijk. De volgende leerdoelen pasten we aan op basis van de open tekstvelden:

– Kennis van de diagnostische criteria van in de kindertijd beginnende stoornissen volgens de DSM-classificatie. Dit leerdoel kortten we in door ‘specifieke stoornissen’ te verwijderen. Nadelen en bredere context van classificatie werden toegevoegd.

– Vaardigheid in het vinden van bronnen voor specifieke wet- en regelgeving. De vaardigheid in het vinden van bronnen pasten we aan naar het hebben van parate kennis op hoofdlijnen. In de tweede delphironde werd dit leerdoel verplaatst en viel het onder het kopje ‘kennis’ in plaats van ‘vaardigheden’.

– De houding te blijven leren over kinderpsychiatrische onderwerpen. Aan de formulering van dit leerdoel voegden we toe ‘in de mate waarin dat past bij de eigen werkcontext’.

– De houding zich bewust te zijn van de impact van tegenslag in de context op de ontwikkeling. Dit leerdoel formuleerden we voor een bredere context, factoren buiten het gezin meenemend.

– De houding stigma te verminderen en te voorkomen. Dit leerdoel pasten we aan door het publiekelijk representeren van het vak minder expliciet te formuleren.

Verder voegden we twee nieuwe leerdoelen toe op basis van de bijdrage van deelnemers in de open tekstvelden:

– Kennis van de intergenerationele problematiek in gezinnen met psychische kwetsbaarheid, waaronder de invloed van psychiatrische klachten van ouders op kinderen en de spanningen die ouders kunnen ervaren tussen hun opvoedersrol en hun individuele wensen en behoeftes als mens.

– De houding contact te maken met ouders en kinderen op een open, authentieke, nieuwsgierige en niet-oordelende manier, en aan te sluiten bij hun belevingswereld.

Deze 7 leerdoelen (5 aangepast en 2 nieuw) legden we vervolgens opnieuw voor aan de participanten in ronde 2.

Prioritering en ranking

Van de kennisleerdoelen werden de items ‘kennis biopsychosociaal model’ (kreeg van 75% van de deelnemers een ranking in hun top 3), ‘kennis gezonde ontwikkeling’ (55%), ‘kennis over klinische uitingsvormen’ (45%) en ‘kennis van behandeling’ (38%) het meest genoemd, de overige items werden allemaal door minder dan 17% genoemd. Bij vaardigheden kwamen de items ‘contact maken met kinderen’ (58%), ‘contact maken met gezinnen’ (53%) en ‘informatie integreren’ (49%) als belangrijkste leerdoelen naar voren. Bij attitudes waren dat ‘steunend samenwerken’ (64%), het ‘bewust zijn van eigen beperkingen’ (62%), gevolgd door ‘levenslang leren’ (30%) en ‘streven naar gelijke beschikbaarheid van zorg ongeacht culturele of sociaal-economische achtergrond’ (28%).

Ronde 2

De tweede ronde leverde een respons op van in totaal 20 van de 53 deelnemers (4 psychiaters in opleiding, 4 psychiaters, 7 kinder- en jeugdpsychiaters en 5 patiënten/naasten).

Mate van belangrijkheid op basis van likertschaal

Tijdens deze tweede ronde werden van de 7 opnieuw aangeboden leerdoelen er 5 door 80% of meer van de deelnemers als belangrijk of noodzakelijk beoordeeld. Het betrof 2 van de 3 aangeboden kennisleerdoelen over de diagnostische criteria en intergenerationele problematiek. De kennis over de specifieke wet- en regelgeving beoordeelde 75% van de deelnemers als belangrijk of noodzakelijk. Van de 4 leerdoelen voor houding en gedrag beoordeelde 80% of meer van de deelnemers er 3 als noodzakelijk of belangrijk. Het voorkomen van stigma en het waar mogelijk representeren van het vak in het publieke domein beoordeelde 60% als belangrijk of noodzakelijk.

Prioritering en ranking

Van de kennisleerdoelen werden de items ‘kennis biopsychoscociaal model’ (85% van de deelnemers in de top 3), ‘kennis gezonde ontwikkeling’ (80%) , ‘kennis van behandeling’ (60%) en ‘kennis over intergenerationele problematiek in gezinnen’ (55%) het meest genoemd. De overige items werden allemaal door minder dan 30% van de deelnemers genoemd. Bij vaardigheden werden geen stellingen aangepast of toegevoegd en deze leerdoelen boden we daarom in de tweede ronde niet opnieuw ter prioritering aan. Bij attitudes noemde 70% van de deelnemers ‘een open, authentieke, nieuwsgierige, niet-oordelende manier contact maken met ouders en kinderen’ en ‘bewust zijn van eigen beperkingen’ beide in de top 3, gevolgd door het leerdoel ‘steunend samenwerken in relaties en contexten die mogelijk conflictueus zijn’ (40%).

Op basis van de ranking na tweede ronde stelden we een definitieve lijst van 25 leerdoelen op. Zie voor de lijst van ingekorte leerdoelen tabel 1. De volledige lijst is in appendix 2 (online) terug te lezen.

discussie

Met deze studie leren we ten eerste dat een delphistudie een waardevolle aanvulling kan zijn bij het opstellen van een lijst met leerdoelen door een kleine groep experts/medisch specialisten in de opleiding. Enkele leerdoelen die vooraf door een groep experts werden opgesteld, vond de bredere groep van belanghebbenden vervolgens minder relevant (bijvoorbeeld betreffende financiering van de ggz). Daarnaast werden leerdoelen aangescherpt (bijvoorbeeld betreffende specifieke classificaties/stoornissen) en toegevoegd (betreffende intergenerationele problematiek in gezinnen en de invloed van psychiatrische klachten van ouders op kinderen).

Ten tweede konden we door deze studie een lijst van leerdoelen samenstellen die meer dan 80% van de belanghebbenden als belangrijk of noodzakelijk zag. Er tekende zich een duidelijk beeld af wat betreft prioritering die richting geeft bij de keuzes die onvermijdelijk zijn bij de beperkt te besteden onderwijstijd. De top 3-prioritering betrof: kennis over gezonde ontwikkeling en intergenerationele problematiek; de vaardigheid om contact te maken met kinderen en gezinnen met oog voor beschermende en risicofactoren van kind en omgeving; en het kennen van eigen beperkingen van competenties aangaande kinderpsychiatrische thema’s.

Sterke kanten en beperkingen

Als sterke kanten van de huidige studie noemen we de trapsgewijze voorbereiding en uitvoering in afstemming van met de afdeling KJP, de landelijke opleiders KJP en het onderwijsbureau van de NVvP die leidden tot een aanvankelijke lijst met leerdoelen. Deze konden we vervolgens versterken door een grote spreiding bij het werven van deelnemers naar geografie, werksetting en rol.

De inbreng van patiënten en naasten past in een bredere trend in de gezondheidszorg als het gaat over de relatie zorgverlener-zorgafnemer (of arts-patiënt): ‘nothing about me without me’ (Delbanco e.a. 2001). Onderwijs van professionals wordt beter door de mening van patiënten en hun naasten mee te nemen bij het bepalen wat toekomstige medische professionals dienen te weten en te kunnen, hoe ze zich moeten verhouden tot patiënten en familie, en hoe ze zich moeten gedragen in de spreekkamer (Rowland e.a. 2019; Adam e.a. 2021).

Als we kijken naar zowel de inhoud van de toegevoegde leerdoelen als de prioritering valt op dat vooral algemene kennis, vaardigheden en competenties werden benadrukt die niet zozeer specifiek tot het domein van de kinder- en jeugdpsychiater behoren, maar die ook van waarde zijn voor professionals van aanpalende vakgebieden. De brede groep belanghebbenden, onder wie patiënten en hun naasten, lijkt hiermee een signaal af te geven dat ook de gezonde ontwikkeling, veerkracht, beschermende factoren en het belang van een stimulerende en steunende omgeving voor de psychische gezondheid van kinderen en jongeren een plaats verdienen in de opleiding psychiatrie, naast specifiekere doelen gericht op diagnostiek en behandeling van klachten.

Als voornaamste beperking in het onderzoek signaleren we de uitval van ongeveer de helft van de deelnemers tussen de eerste en de tweede ronde. Het is helaas niet te achterhalen wat deze non-respons veroorzaakte. Omdat na de eerste ronde het belang van een groot deel van de leerdoelen en de prioritering gelijkwaardig was aan die in de tweede ronde, is het onwaarschijnlijk dat een kleinere uitval veel invloed zou hebben gehad op de resultaten.

Een tweede beperking betreft het vooraf vastgestelde criterium dat 80% van de respondenten een leerdoel als belangrijk of noodzakelijk moest benoemen. Dit is in lijn met de literatuur en gebruikelijk bij de delphimethode (Polit e.a. 2007; Zamanzadeh 2015). Het geeft enerzijds helderheid, maar het blijft toch ook enigszins arbitrair om op grond van dit criterium leerdoelen niet op te nemen. Zo verwierpen wij in deze studie een leerdoel dat 75% van de deelnemers als belangrijk of essentieel beoordeelde.

Tot slot waren de subgroepen te klein om afzonderlijke analyses per groep uit te voeren. Bij nog meer deelnemers uit de verschillende groepen zou een aanvullende analyse interessant zijn geweest. Daaruit zou kunnen blijken dat verschillende belanghebbenden leerdoelen voor onderwijs verschillend beoordelen en bepaalde doelen toch op kunnen worden genomen in een onderwijsplan omdat zij daarvoor goede redenen aandragen die (nog) niet door anderen worden gedeeld. Als we specifiek kijken naar de resultaten van deze studie zou het interessant zijn om na te gaan of het leerdoel ‘de houding tot verminderen en voorkomen van stigma’ dat uit de uiteindelijke lijst werd verwijderd door patiënten en naasten anders werd gewaardeerd.

Vervolgonderzoek

Het zou in de toekomst ook interessant kunnen zijn om de variatie in de belanghebbenden nog verder uit te breiden. Zo kan men voor dit specifieke onderwerp ook kinderen en jongeren bevragen. Meer algemeen valt verder te denken aan andere hulpverleners zoals werkers in het jeugdveld, jeugdartsen, kinderartsen of huisartsen, maar ook aan andere maatschappelijke partijen. Door hen te bevragen over welke kennis, vaardigheden en attitude zij verwachten van toekomstige psychiaters, zorgen we er als beroepsgroep ook voor dat er voldoende aansluiting blijft bij wat het maatschappelijke veld van ons nodig heeft.

conclusie

Met een gemodificeerde delphimethode kon een brede groep belanghebbenden bijdragen aan de aanpassing van leerdoelen in het onderwijs voor psychiaters in de kinder- en jeugdpsychiatrie. Zo konden we de inhoud en het draagvlak van de leerdoelen verbeteren. De resultaten kunnen we gebruiken bij de verdere ontwikkeling van onderwijs over kinder- en jeugdpsychiatrie. De gemodificeerde delphimethode bleek goed uitvoerbaar. Het is mogelijk een nuttige methode voor het bevorderen van de inbreng en het draagvlak van groepen belanghebbenden, onder wie patiënten en hun naasten, bij de vormgeving van toekomstige onderwijsinnovaties.

v Monique van den Eijnden, Marijke Hofstra, Alexa Rutten en Marieke Schuppert leverden een bijdrage aan de dataverzameling en Zimbo Boudewijns gaf technische hulp bij het uitzetten van de vragenlijsten.

literatuur

Adam HL, Giroux CM, Eady K, e.a. A qualitative study of patients’ and caregivers’ perspectives on educating healthcare providers. Can Med Educ J 2021; 12(4): 7-16.

Barrington H, Young B, Williamson PR. Patient participation in Delphi surveys to develop core outcome sets: systematic review. BMJ Open 2021; 2: 11(9).

Custer RL, Scarcella JA, Stewart BR. The modified Delphi technique - a rotational modification. J Vocat Tech Educ 1999; 15(2): 50-8. https://files.eric.ed.gov/fulltext/EJ590767.pdf.

Delbanco T, Berwick DM, Boufford JI, e.a. Healthcare in a land called PeoplePower: nothing about me without me. Health Expect 2001; 4: 144-50.

Girolamo G de, Dagani J, Purcell R, e.a. Age of onset of mental disorders and use of mental health services: needs, opportunities and obstacles. Epidemiol Psych Sci 2012; 21: 47-57.

Green RA. The Delphi technique in educational research.. SAGE Open 2014; april-june: 1-8.

Hecht AR. A modified Delphi technique for obtaining consensus on institutional research priorities. Community Jr Coll Res Q 1979; 3: 205-14.

Humphrey-Murto S, Varpio L, Wood TJ, e.a. The use of the Delphi and other consensus group methods in medical education research. Acad Med 2017; 92: 1491-8.

Kessler RC, Berglund P, Demler O, e.a. Lifetime prevalence and age-of-onset distributions of DSM-IV disorders in the National Comorbidity Survey Replication. Arch Gen Psychiatry 2005; 62: 593-602.

Khodyakov D, Grant S, Denger B, e.a. Practical considerations in using online modified-Delphi approaches to engage patients and other stakeholders in clinical practice guideline development. 2020; 13(1): 11-21.

Likert R. Technique for the measurement of attitudes, A. Arch Psychol 1932; 140: 1-55.

Loon LMA van, de Ven M, Doesum K, e.a. The relation between parental mental illness and adolescent mental health: the role of family factors. J Child Fam Stud 2014; 23: 1201-14.

Lynn MR. Determination and quantification of content validity. Nurs Res 1986; 35: 382-6.

Nederlandse Vereniging voor Psychiatrie. De Psychiater: Medisch expert. Sociaal maatschappelijk betrokken. Professioneel. Landelijk Opleidingsplan voor de geneeskundige vervolgopleiding Psychiatrie. Deel 1. www.nvvp.net/stream/landelijk-opleidingsplan-de-psychiater.pdf. 2020

Polit DF, Tatano Beck C, Owen S V. Is the CVI an acceptable indicator of content validity? Appraisal and Recommendations. Res Nurs Heal 2007; 30: 459-67.

Rowland P, Anderson M, Kumagai AK, e.a. Patient involvement in health professionals’ education: a meta-narrative review. 2019; 24: 595-617.

Rutter M, Quinton D. Parental psychiatric disorder: Effects on children. Psychol Med 1984; 14: 853-80.

Salmon G, Tombs M. Teaching undergraduate medical students child and adolescent psychiatry (CAP): a Delphi study on curriculum content. BMC Med Educ 2018; 18: 315-9.

Solmi M, Radua J, Olivola M, e.a. Age at onset of mental disorders worldwide: large-scale meta-analysis of 192 epidemiological studies. Mol Psychiatr 2021; 27: 281-95.

UEMS-CAP, Jacobs B. Training Requirements for the Specialty of Child and Adolescent Psychiatry. Union Européenne Des Médecins Spécialistes (European Union Of Medical Specialists), 2014. http://www.uemscap.eu/uploads/44/Training-Requirement-for-Child-adolescent-Psychiatry-approved_by_UEMS_Council_April_2014-pdf

UEMS-CAP, Deschamps P, Schumann T. UEMS-CAP Curriulum Framework for guidance in CAP training, version 2021. http://www.uemscap.eu/news/17/193/UEMS-CAP-Curriculum-Framework-revision Young JQ, Hasser C, Hung EK, e.a. Developing end-of-training entrustable professional activities for psychiatry. Acad Med 2018; 93: 1048-54.

Zamanzadeh V, Ghahramanian A, Rassouli M, e.a. Design and implementation content validity study: development of an instrument for measuring patient-centered communication. J Caring Sci 2015; 4: 165-78.