Functioning of parents and adolescents after family intervention Parenting with Love and Limits
Background Parenting with Love and Limits (PLL) is a family intervention aimed at reducing behavioral problems in adolescents up to the age of 18 by, among other things, improving communication between family members and the parenting skills of the parents. Aim This prospective study examined whether parental communication and parenting skills and youth externalizing problem behavior were positively changed after PLL. Method The study group consisted of 48 adolescents who had completed the PLL-intervention with their primary caregivers. Data from two measurements completed by the primary caregivers (44 mothers and 4 fathers) were used: prior to PLL (T0) and after PLL (T1). Results Results of the paired t-test indicated strong positive changes in communication, parenting and aggressive behavior after nearly eight months of PLL. A statistically significant (reliable change) decrease in aggressive behavior was found in one third of the adolescents, but not in deviant behavior. Conclusion PLL improved functioning in some of the families, but further research is needed into the effective elements and for whom the intervention is effective under what circumstances.
Uit onderzoek van Health Behavior in School aged Children (HBSC) blijkt dat 14% van de leerlingen gedragsproblemen heeft, waaronder ongehoorzaamheid, agressief gedrag, liegen en stelen (Stevens e.a. 2017). Er is sprake van ernstige gedragsproblemen wanneer een kind of jongere een patroon heeft ontwikkeld van negativistisch, opstandig en vijandig gedrag tegenover autoriteitsfiguren, of van gedrag waarbij de grondrechten van anderen en belangrijke sociale normen of regels worden geschonden. Van de jongeren met gedragsproblemen wordt bij 3% een oppositionele-opstandige stoornis (ODD) gediagnosticeerd en bij 2% een normoverschrijdend-gedragsstoornis (CD) (Matthys & Van de Glind 2013; ). Deze gedragsstoornissen kunnen het functioneren op latere leeftijd negatief beïnvloeden (Riley e.a. 2016). Vroege interventie is dan ook aan te bevelen.
In de richtlijn Ernstige gedragsproblemen voor jeugdhulp en jeugdbescherming (De Lange e.a. 2018) adviseert men om bij jongeren vanaf 12 jaar met ernstige gedragsproblemen, naast cognitieve gedragstherapie, een (multi)systeeminterventie in te zetten. Het kan daarbij gaan om gezinstherapie en/of om multisysteeminterventies, waarbij ook de school en de omgeving worden betrokken. Een intensieve gezinsinterventie is gericht op inadequate opvoedingsvaardigheden van ouders en interactiepatronen met de jongere die probleemgedrag in stand houden of verergeren (Reitz e.a. 2006).
Ouder-kindcommunicatie is een essentieel aspect in effectieve opvoeding. Als ouders geen positieve ondersteuning meer kunnen geven, leidt dit tot verbittering, verwaarlozing en afwijzing. Deze gevoelens worden (naast gebrekkig toezicht) beschouwd als een voorspeller voor delinquent gedrag (Hoeve e.a. 2009). Gezinsinterventies richten zich op verandering van gezinsinteracties die het (externaliserende) gedrag van gezinsleden in stand houden. Daarbij wordt gestreefd naar een duidelijke gezinshiërarchie waarin ouders meer zeggenschap hebben dan kinderen en waarbij relationele grenzen (emotionele afstand en nabijheid) worden gerespecteerd passend bij ieders leeftijd en rol (Nichols 2011).
Ouderschap met Liefde en Grenzen (OLG) is een intensief, relatief kortdurend (5-6 maanden) behandelprogramma voor gezinnen met jongeren die gedragsproblemen hebben. Het gaat hierbij om aanhoudende en zich herhalende ernstige gedragsproblemen waardoor ouders zich vaak onmachtig voelen en de greep op hun gezin verliezen. Onderlinge relaties komen hierdoor onder grote druk te staan. OLG is een Nederlandse bewerking van het door het Savannah Institute ontwikkelde Parenting with Love and Limits (PLL; Sells 1998).
De OLG-interventie werd in 2005 door de Waag, centrum voor ambulante forensische zorg, naar Nederland gehaald. De interventie was destijds een unieke combinatie van groepsgerichte aanpak en systeemgerichte benadering. In 2017 erkende de deelcommissie Justitiële Interventies OLG als ‘effectief volgens eerste aanwijzingen’.
OLG richt zich op het verminderen van oppositionele en/of antisociale gedragsproblemen door het herstellen van (de communicatie in) verstoorde relaties in het gezin en het verbeteren van opvoedingscompetenties (Sells e.a. 2003). Specifiek gaat het om het aanleren van cognitieve en sociale vaardigheden, het opbouwen van een consistente gezinsstructuur (waarin ouders weer aan het hoofd van het gezin staan en kinderen met adequate opvoeding stuurbaar zijn) en het herstellen of hervinden van affectie in de onderlinge relaties.
Experimenteel Amerikaans onderzoek wees uit dat 55% van de jongeren uit de OLG-groep niet recidiveerde tegenover 16% van de jongeren uit de controlegroep (Sells e.a. 2011). Karam e.a. (2017) vonden eveneens dat het werken aan genoemde doelen leidde tot vermindering van gedragsproblemen en recidive van de jongeren.
Onderzoeksvragen
In Nederland is niet eerder onderzoek gedaan naar OLG. Om een eerste aanwijzing te krijgen over de effectiviteit verrichtten wij, volgens de effectladder van Van Yperen e.a. (2017), een doeltreffendheidsonderzoek (trede 3) met als centrale vraag of na OLG (T1) veranderingen zichtbaar waren in communicatie- en opvoedvaardigheden van ouders en in het externaliserend probleemgedrag (normoverschrijdend en agressief gedrag) van jongeren, vergeleken met de beginmeting (T0). We verwachtten positieve veranderingen in zowel communicatie als opvoedingsvaardigheden en we verwachtten dat deze veranderingen samenhingen met verminderd externaliserend gedrag.
methode
Wij verrichtten een prospectief onderzoek met twee metingen: voorafgaand aan de OLG-behandeling (T0) en na OLG (T1).
Onderzoeksgroep
Beide verzorgers namen deel aan de OLG-behandeling, maar voor het onderzoek gebruikten we de gegevens van de verzorger die de meeste tijd doorbracht met de jongere (de primaire verzorger). De onderzoeksgroep bestond uit 48 jongeren (37 jongens en 11 meisjes) en hun primaire verzorgers (44 moeders en 4 vaders) die de OLG-behandeling hadden afgerond in de periode van 2012 tot 2020. De gemiddelde leeftijd van de jongeren was 15 jaar (SD: 1,31) en die van de primaire opvoeder 47 jaar (SD: 4,89). In tabel 1 staan aanvullende kenmerken beschreven van de onderzoeksgroep.
Ouderschap met Liefde en Grenzen (OLG)
Centrum voor ambulante forensische geestelijke gezondheidszorg de Waag biedt gespecialiseerde forensische zorg aan personen vanaf 12 jaar. Cliënten vertonen grensoverschrijdend en/of strafbaar gedrag en hebben daarnaast vaak (ernstige) psychische problemen. De OLG-behandeling is gericht op jongeren met (ernstige) gedragsproblemen die opgroeien in gezinnen waarin verstoorde relaties en (forse) opvoedingsproblemen onderdeel zijn van de problemen. De interventie bestaat uit een intakefase, zes groepsbijeenkomsten, minimaal zes coachingsessies en een nazorgtraject (Hoogsteder 2012).
Om voldoende te kunnen profiteren van de behandeling dienen de gezinsleden de Nederlandse taal in voldoende mate te beheersen. De groepsbijeenkomsten duren elk twee uur en bestaan uit psycho-educatieve onderdelen over regels en opvoeding, vaardigheidstraining in communiceren en opvoeden, verbeteren van interacties tussen opvoeder en jongere, het positief bekrachtigen van jongeren en het gebruiken van het netwerk van het gezin. De werkvormen zijn interactief, worden ondersteund met videofragmenten en sluiten zoveel mogelijk aan bij verschillende leerstijlen.
Parallel aan de groepsbijeenkomsten starten de coachingsessies met individuele gezinnen. Doel is om de inhoud van de groepsbijeenkomsten af te stemmen op elk afzonderlijk gezin. De frequentie en duur van de coachingsessies zijn afhankelijk van de ernst van de problematiek en het recidiverisico van de jongere. Een coachingcyclus bestaat uit minimaal 6 en maximaal 24 afspraken van anderhalf uur. Er kunnen meerdere coachingcycli worden doorlopen waarbij in elke cyclus een ander symptoomgedrag wordt aangepakt.
De OLG-behandeling wordt afgerond als de gezinsleden en de behandelaar voor minimaal 80% tevreden zijn over de behaalde resultaten. Dit wordt met het gezin geëvalueerd aan de hand van schaalvragen over de werkzame bestandsdelen van het opgestelde gedragscontract. Hierin wordt gekeken naar het symptoomgedrag en de gezonde omgangsvormen in het gezin, waaronder het kunnen toepassen van de-escalatietechnieken en het consistenter vasthouden aan van tevoren bepaalde redelijke en haalbare regels met duidelijke consequenties.
Om terugval te beperken dan wel te voorkomen, wordt gewerkt aan een preventieplan en worden - indien nodig - mogelijkheden geboden voor nazorg. Het nazorgtraject bestaat voornamelijk uit telefonische en/of mailcontacten. Daarnaast kan men een terugkomdag organiseren voor de gehele groep. Indien na de OLG-interventie nog behandeling nodig is, wordt deze binnen de Waag aangeboden in de vorm van een op maat gemaakt individueel traject aan de jongeren en ouderbegeleiding aan de opvoeders.
Instrumenten
In dit onderzoek gebruikten we zowel bij de voormeting (T0) als bij de nameting (T1) de volgende vragenlijstgegevens van de primaire opvoeder.
Van de Child Behavior Checklist (CBCL; Verhulst e.a. 1996) werden de subschalen normafwijkend gedrag (17 items) en agressief gedrag (18 items) meegenomen als uitkomstmaten. De items in de subschalen worden gescoord met een 3-puntsschaal van 0 ‘helemaal niet’ tot 2 ‘duidelijk’. De subschaal normafwijkend gedrag meet de mate waarin, volgens de opvoeder, de jongere regels overtreedt, alcohol en drugs gebruikt, steelt of spijbelt. In de huidige studie was de betrouwbaarheid (Cronbachs alfa) van beide subschalen goed (normafwijkend gedrag: T0 α = 0,82; T1 α = 0,81; agressief gedrag: T0 α = 0,90; T1 α = 0,93).
De subschaal opvoedingsproblemen van de Opvoedingsbelastingsvragenlijst (OBVL; Vermulst e.a. 2012) gebruikten we om de ervaren problemen met de opvoeding te meten. De subschaal bestaat uit 7 items die worden gescoord op een 4-puntsschaal variërend van 1 ‘klopt niet’ tot 4 ‘klopt helemaal’. De betrouwbaarheid van de subschaal was goed (T0 α = 0,83; T1 α = 0,89).
De communicatie in het gezin werd gemeten met de subschaal communicatie van de Gezinsvragenlijst (GVL; Van der Ploeg & Scholte 2008). De communicatieschaal (9 items) meet de mate waarin opvoeders naar het kind luisteren, het kind vertrouwen of met het kind communiceren zonder conflicten. De antwoordcategorieën variëren op een 5-puntsschaal van 1 ‘volledig oneens’ tot 5 ‘volledig eens’. De betrouwbaarheid was voldoende tot goed (T0 α = 0,72; T1 α = 0,84).
Procedure
Alle gezinnen (jongeren en opvoeders) gaven toestemming om hun gegevens te gebruiken voor wetenschappelijk onderzoek. De vragenlijsten werden ingevuld door de opvoeders, thuis of op locatie. Wanneer de stress in het gezin te hoog was, werden de vragenlijsten ingevuld in bijzijn van een behandelaar of stagiair.
Statistische analyses
Om de data te analyseren gebruikten we SPSS versie 27. Er was geen sprake van multicollineariteit tussen de variabelen communicatie en opvoedingsproblemen. Missende waarden op de GVL en CBCL (2,1 tot 4,2%) waren niet systematisch en werden opgevuld met de expectation maximization(EM)-procedure (Do & Batzoglou 2008). De geïncludeerde variabelen waren normaal verdeeld.
Veranderingen in communicatie, opvoeding en externaliserend gedrag analyseerden we met een gepaarde t-toets. Hiervoor waren minimaal 52 metingen nodig voor een power van 0,80, medium dz-effect van 0,35 en een alfa van 0,10 bij tweezijdig toetsen (G*Power; Faul e.a. 2007). Cohens d effectgroottes werden berekend met de onlinecalculator van Lenhard en Lenhard (2016). Cohen (1992) hanteert de volgende interpretatierichtlijnen: < 0,20: te verwaarlozen effect; 0,20-0,49: klein effect; 0,50-0,79: middelgroot effect en > 0,80: groot effect.
Om te bepalen of veranderingen in de variabelen communicatie, opvoeding en externaliserend gedrag (normafwijkend en agressief gedrag) statistisch betrouwbaar waren, berekenden we reliable change indices (RCI’s) als volgt: RCI = (score einde – score aanvang)/standaardfout van het verschil (Jacobson e.a. 1999). De standaardfout wordt bepaald door de standaardmeetfout en de test-hertestbetrouwbaarheid van het betreffende meetinstrument. De RCI is een zeer strenge toets waarbij alleen substantiële of betrouwbare verandering als ‘verandering’ wordt aangemerkt. Als de verandering groter is dan ±1,96 kan met 95% zekerheid worden aangenomen dat T0 en T1 betekenisvol van elkaar verschillen. De RCI-resultaten werden gecategoriseerd naar: verbetering, geen verandering en verslechtering.
resultaten
OLG-interventie
De OLG-interventie bij de onderzochte 48 gezinnen duurde gemiddeld 7,90 maanden (SD: 3,72). Ze hadden gemiddeld 5,75 (SD: 0,52) groepssessies gehad en 16,44 (SD: 9,54) coachingsessies. Na OLG volgden 25 (52%) jongeren een individueel traject en 19 (40%) ouders de ouderbegeleiding.
Veranderingen in scores
In tabel 2 staan de resultaten van de gepaarde t-toets weergegeven en de gemiddelde scores en standaarddeviaties voor communicatie, opvoeding en externaliserend gedrag (normafwijkend en agressief gedrag) op T0 en T1.
In tabel 2 is te zien dat er significante sterke positieve veranderingen werden gevonden in communicatie, opvoedingsvaardigheden en agressief gedrag. De scores op agressief gedrag daalden bij 11 jongeren van klinische naar bijna normale waarden. Veranderingen in normafwijkend gedrag waren niet significant. De scores op normafwijkend gedrag lagen op subklinisch niveau op de eerste (voor OLG) en tweede meting (na OLG).
De RCI’s in tabel 3 geven aan dat de opvoeders vonden dat de communicatie betekenisvol verbeterde bij 15 van de 48 jongeren (31%) en dat zij minder opvoedingsproblemen ervaarden bij 18 jongeren (37,5%). Wat betreft de RCI’s voor externaliserend gedrag liet geen van de jongeren verbeteringen zien in normafwijkend gedrag; wel werden bij 17 jongeren (35%) verbeteringen gevonden op agressief gedrag.
Bij nadere bestudering van deze 17 jongeren bleek dat de meeste verbeteringen in communicatie, opvoeding en agressief gedrag optraden in de jongste leeftijdsgroep: 72-93% van de 12-15-jarigen. Van de gezinnen van wie de ouders in het buitenland waren geboren, vonden we bij 66,7% geen verbetering in communicatie en opvoedingsvaardigheden en bij ruim 70% van de jongeren geen verbetering in agressief gedrag. Van deze jongeren volgde ruim de helft een individueel traject en van de ouders stroomde 65% door naar een ouderbegeleidingstraject.
discussie
In deze veranderstudie onderzochten we of er na de gezinsbehandeling Ouderschap met Liefde en Grenzen (OLG) veranderingen zichtbaar waren in communicatie en opvoedingsvaardigheden van ouders en in het externaliserend probleemgedrag (normoverschrijdend en agressief gedrag) van 48 jongeren, vergeleken met de voormeting voorafgaand aan OLG. Op basis van informatie van de primaire opvoeders bleken er - volgens verwachting – sterke positieve veranderingen zichtbaar in communicatie, opvoeding en agressief gedrag in een periode van bijna acht maanden. Dit vonden we niet voor normafwijkend gedrag. Volgens de CBCL-richtlijnen viel de score op normafwijkend gedrag op de voormeting in het subklinische bereik en bleef deze score ook op de nameting bij de meeste jongeren in de subklinische waarden. Voor agressief gedrag echter daalden de scores van klinisch bij de voormeting naar een subklinisch niveau bij de nameting.
De RCI’s gaven aan dat deze positieve veranderingen bij ongeveer een derde van de jongeren statistisch betekenisvol waren. Opvallend was dat de verbeteringen vooral in de jongste groep (12-15-jarigen) gevonden werden. Dat benadrukt de bevinding uit het onderzoek van Hoeve e.a. (2009) dat bij jongere adolescenten (12-15 jaar) de effecten van een gezinsinterventie gericht op het herstel van de relatie met opvoeders groter zijn dan bij adolescenten ouder dan 15 jaar.
Met OLG richten we ons op een complexe doelgroep die moeilijk in behandeling te krijgen en te houden is. De complexiteit lijkt voor een deel beïnvloed door de etniciteit van het gezin. Jongeren met een etnische achtergrond blijken namelijk vaker externaliserende gedragsproblemen te hebben dan jongeren met een Nederlandse achtergrond (Adriaanse e.a. 2013). Van de geïncludeerde gezinnen was een derde van de ouders in het buitenland geboren. In deze gezinnen werd bij het merendeel geen verbetering gevonden in communicatie, opvoedingsvaardigheden en externaliserend gedrag. De individuele coachingsessies worden weliswaar op maat aangeboden, maar mogelijk kunnen culturele aspecten een rol hebben gespeeld bij het uitblijven van positieve veranderingen. Vervolgonderzoek zal dit moeten uitwijzen.
Het percentage gezinnen dat een vervolgtraject inging, hetzij in de vorm van individuele begeleiding, hetzij ouderbegeleiding, leek niet afhankelijk van het uitblijven van verbeteringen tijdens de OLG-behandeling. Juist de gezinnen waarbij al sprake was van een verbetering leken meer gemotiveerd voor een vervolgtraject, terwijl de gezinnen die niet ten positieve veranderden mogelijk meer baat zouden hebben gehad bij een vervolgtraject.
Beperkingen en suggesties vervolgonderzoek
Met de huidige onderzoeksgroep van 48 gezinnen is het benodigde aantal van 52 net niet gehaald, maar de resultaten wijzen op duidelijke veranderingen na OLG. Om te kunnen zeggen of we deze veranderingen kunnen toeschrijven aan de OLG-interventie is een gerandomiseerde effectstudie nodig met een controlegroep. Daarbij moet men focussen op de werkzame elementen van de interventie en op de vraag voor wie wat werkt onder welke omstandigheden. Daar is een grotere onderzoeksgroep voor nodig.
Met een grotere onderzoeksgroep zou men ook specifieker kunnen inzoomen op bijvoorbeeld het effect van OLG op jongens en meisjes. In de CBCL-richtlijn worden namelijk verschillende subklinische en klinische grenswaarden gehanteerd voor jongens en meisjes voor normafwijkend en agressief gedrag. We raden aan om in vervolgonderzoek met een grotere groep de psychische gesteldheid van de ouders mee te nemen omdat uit onderzoek van Berg-Nielsen e.a. (2003) blijkt dat moeders met een depressieve stoornis het gedrag van hun kinderen negatiever lijken te beoordelen.
conclusie
De resultaten uit dit eerste veranderonderzoek naar OLG in Nederland wijzen erop dat na de gezinstherapie OLG positieve veranderingen zichtbaar waren in communicatie, opvoedingsvaardigheden en agressief gedrag in een derde van de gezinnen. Een vervolgtraject werd geboden aan een deel van de overige gezinnen. Dit bestond uit een individueel traject aan jongeren en ouderbegeleiding aan de verzorgers. Bij vooral de 12-15-jarige jongeren met agressiescores in het klinische bereik op de voormeting was een afname te zien in agressief gedrag. Jongeren in deze leeftijdsgroep zitten nog binnen de invloedssfeer van de ouders en door hun hogere startscores valt er wellicht meer ‘winst’ te behalen.
Toch is ook extra alertheid geboden bij jongeren die bij aanvang van OLG in het subklinische bereik scoren. Bij deze jongeren zouden de gedragsproblemen kunnen verergeren als men hier onvoldoende aandacht aan besteedt. Dus ook bij deze jongeren adviseren we een goede tijdige screening, doorverwijzing en matched care volgens de principes van ‘wat werkt’ (Andrews & Bonta 2010). Ons pleidooi voor matched care geldt ook voor de jongeren en hun gezin bij wie geen verbetering wordt geconstateerd.
Tot besluit
OLG lijkt een veelbelovende gezinsgerichte interventie waar jongeren en ouders profijt van kunnen hebben. De beoogde OLG-doelen lijken vooral te worden bereikt bij jongeren tussen 12 en 15 jaar. Alertheid bij de OLG-therapeuten is geboden bij gezinnen die na OLG geen verbeteringen laten zien; als het gaat om gezinnen met een andere culturele achtergrond is het wenselijk om oog te hebben voor de cultuurspecifieke kenmerken van het gezin. Beide groepen zouden mogelijk meer gemotiveerd kunnen worden voor en baat kunnen hebben bij een vervolgtraject.
literatuur
Adriaanse M, Veling W, Doreleijers Th, e.a. The link between ethnicity, social disadvantage and mental health problems in a school-based multiethnic sample of children in the Netherlands. Eur Child Adolesc Psychiatry 2014; 23:1103-13.
Andrews D, Bonta J, red. The psychology of criminal conduct (5e ed.). New Providence: LexisNexis Group; 2010.
Berg-Nielsen TS, Vika A, Dahl AA. When adolescents disagree with their mothers: CBCL-YSR discrepancies related to maternal depression and adolescent self-esteem. Child Care Health Dev 2003; 29: 207-13.
Cohen J. A power primer. Psychol Bull 1992; 112: 155-9.
Do CB, Batzoglou S. What is the expectation maximization algorithm? Nat Biotechn 2008; 26: 897-99.
Faul F, Erdfelder E, Lang AG, e.a. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Beh Res Meth 2007; 39: 175-91.
Hoeve M, Dubas J, Eichelsheim V, e.a. The relationship between parenting and delinquency: a meta-analysis. J Abnorm Child Psychol 2009; 37: 749-75.
Hoogsteder L. Algemene Programmahandleiding: Ouderschap met Liefde en Grenzen. Utrecht: De Waag; 2012.
Jacobson NS, Roberts LJ, Berns SB, e.a. Methods for defining and determining the clinical significance of treatment effects: Description, application, and alternatives. J Consult Clin Psychol 1999; 67: 300-7.
Karam EA, Sterrett EM, Kiaer L. The integration of family and group therapy as an alternative to juvenile incarceration: a quasi-experimental evaluation using Parenting with Love and Limits. Fam Process 2017; 56: 331-47.
Lange M de, Matthys W, Foolen N, e.a. Richtlijn ernstige gedragsproblemen voor de jeugdzorg. Utrecht: Nederlands Jeugdinstituut; 2013.
Lenhard W, Lenhard A. Calculation of effect sizes. https://www.psychometrica.de/effect_size.html. Dettelbach: Psychometrica 2016.
Looze M de, van Dorsselaer S, de Roos S, e.a. Gezondheid, welzijn en opvoeding van jongeren in Nederland: HBSC-2013: Health Behavior in School-aged Children. Utrecht: Universiteit Utrecht; 2014.
Matthys W, van de Glind G, red. Richtlijn oppositioneel opstandige stoornis (ODD) en gedragsstoornis (CD) bij kinderen en jongeren. Nederlandse Vereniging voor Psychiatrie (NVvP). Utrecht: De Tijdstroom; 2013.
Nichols MP. The essentials of family therapy. 5e ed. Boston: Pearson; 2011.
Ploeg JD van der, Scholte EM. Gezinsvragenlijst (GVL). Handleiding. Houten: Bohn Stafleu Van Loghum; 2008.
Reitz E, Dekovic M, Meijer AM. Relations between parenting and externalizing and internalizing problem behaviour in early adolescence: Child behaviour as moderator and predictor. J Adolesc 2006; 29: 419-36.
Riley M, Ahmed S, Locke A. Common questions about oppositional defiant disorder. Am Fam Physician 2016; 93: 586-91.
Sells SP. Treating the though adolescent: a family-based step-by-step guide. New York: The Guilford Press; 1998.
Sells SP, Smith TE, Rodman J, e.a. Reducing adolescent substance abuse and delinquency: pilot research of a family-oriented psychoeducation curriculum. J Child Adolesc Subst Abuse 2003; 15: 105-15.
Sells SP, Winokur EK, Smith TE. Reducing adolescent oppositional and conduct disorders: an experimental design using Parenting with Love and Limits. Professional Issues in Criminal Justice 2011; 6: 9-30.
Stevens l, van Dorsselaer S, Boer M, e.a. HBSC-2017. Gezondheid, welzijn en opvoeding van jongeren in Nederland. Utrecht: Universiteit Utrecht; 2018.
Yperen T van, Veerman JW, Bijl B, red. Zicht op effectiviteit: handboek voor resultaatgerichte ontwikkeling van interventies in de jeugdsector. Rotterdam: Lemniscaat; 2017.
Verhulst FC van der, Ende J, Koot M. Handleiding voor de CBCL/4-18. Rotterdam: Afdeling kinderziekenhuis/Academisch Ziekenhuis Rotterdam/Erasmus Universiteit Rotterdam; 1996.
Vermulst A, Kroes G, De Meyer R, e.a. Opvoedingsbelastingvragenlijst (OBVL) Handleiding. Nijmegen: Praktikon; 2012.
Authors
Joan van Horn, onderzoeker, de Waag (DFZS), Utrecht.
Julia Wilpert, onderzoeker, de Waag (DFZS).
Frank Buffing, behandelaar, de Waag (DFZS).
Correspondentie
Dr. Joan van Horn (jvanhorn@dewaagnederland.nl).
Geen strijdige belangen meegedeeld.
Het artikel werd voor publicatie geaccepteerd
op 10-3-2022.
citeren
Tijdschr Psychiatr. 2022;64(6):353-358