A scoping review of outcome selection and accuracy of conclusions in complex digital health interventions for young people (2017–2023): methodological proposals for population health intervention research
Revue de la portée de la sélection des critères de jugement et de l'exactitude des conclusions dans les interventions complexes de santé numérique destinées aux jeunes (2017-2023) : propositions méthodologiques pour la recherche interventionnelle en santé des populations
Résumé
Background: Determining the success of population health interventions often involves assessing multiple, multidimensional outcomes rather than a single one, which presents significant methodological challenges under the evidence-based medicine paradigm. This scoping review examines outcome selection, analysis, and interpretation, and the accuracy of conclusions in complex digital health interventions promoting health among adolescents and young adults (DHI-AYA). Methods: A comprehensive search of PubMed, EMBASE, ClinicalTrials.gov, PsycINFO, and CINAHL identified DHI-AYA implemented between 2017 and 2023. Studies were categorised by methodological choice regarding outcome hierarchical position: unique primary, multiple primary, or non-hierarchised outcomes. Outcomes were further classified into effectiveness, process, or economic categories. The authors’ conclusions on intervention success were compared with conclusions drawn by the research team based on the reported outcome analysis strategy. Secondly, four analytical strategies were applied to a subset of selected interventions to illustrate the impact of outcome hierarchical position and number on conclusions about intervention success. Results: Analysis of 100 studies linked to 26 DHI-AYA identified 251 distinct outcomes: 164 effectiveness, 78 process, and 9 economic outcomes. Seven interventions were evaluated using a unique primary outcome, 10 using multiple primary outcomes, and 9 using multiple non-hierarchised outcomes. Primary and secondary outcomes were predominantly effectiveness endpoints. The research team reclassified nine interventions (35%) deemed successful by authors as non-conclusive due to statistically conflicting results across outcomes. Most interventions deemed non-conclusive by the research team were evaluated using non-hierarchised outcomes (7/10, 70%). The choice of outcome analysis strategy substantially affected conclusions on intervention success. Conclusions: Discrepancies in intervention success assessments highlight the need for enhanced transparency, robustness, and trustworthiness in conclusion-drawing processes. In response, five methodological proposals are formulated: (1) developing core outcome sets specific to population health intervention research (PHIR), (2) collaboratively selecting multidimensional outcomes through a steering committee that accounts for stakeholder preferences and existing theoretical models, (3) exploring multi-criteria decision analysis and consensus-driven methods to transparently combine outcomes, (4) enhancing methodological reporting through intervention development and evaluation to improve scientific integrity and reproducibility, and (5) increasing PHIR expert involvement in ethics, funding, and evaluation committees to improve recognition of evidence produced in this field.
Contexte: Pour déterminer le succès des interventions en santé des populations, il faut souvent évaluer plusieurs critères de jugement multidimensionnels plutôt qu'un seul, ce qui pose des défis méthodologiques importants dans le cadre du paradigme de la médecine fondée sur les preuves. Cette revue de la portée examine la sélection, l'analyse et l'interprétation des critères de jugement, ainsi que l'exactitude des conclusions des interventions complexes de santé numérique visant à promouvoir la santé chez les adolescents et les jeunes adultes (DHI-AYA). Méthodes: Une recherche exhaustive dans PubMed, EMBASE, ClinicalTrials.gov, PsycINFO et CINAHL a permis d'identifier les DHI-AYA mises en œuvre entre 2017 et 2023. Les études ont été classées en fonction du choix méthodologique concernant la position hiérarchique des critères de jugement : critères primaires uniques, critères primaires multiples ou critères multiples non hiérarchisés. Les résultats ont ensuite été classés en catégories d'efficacité, de processus ou économique. Les conclusions des auteurs sur le succès des interventions ont été comparées aux conclusions tirées par l'équipe de recherche sur la base de la stratégie d'analyse des critères de jugement rapportés. Ensuite, quatre stratégies analytiques ont été appliquées à un sous-ensemble d'interventions sélectionnées afin d'illustrer l'impact de la position hiérarchique et du nombre des crtières sur les conclusions relatives au succès des interventions. Résultats: L'analyse de 100 études liées à 26 DHI-AYA a permis d'identifier 251 résultats distincts : 164 résultats d'efficacité, 78 résultats de processus et 9 résultats économiques. Sept interventions ont été évaluées à l'aide d'un critère de jugement principal unique, 10 à l'aide de plusieurs critères principaux et 9 à l'aide de plusieurs critères non hiérarchisés. Les critères de jugement principaux et secondaires étaient principalement des critères d'efficacité. L'équipe de recherche a reclassé neuf interventions (35 %) jugées réussies par les auteurs comme non concluantes en raison de résultats statistiquement contradictoires. La plupart des interventions jugées non concluantes par l'équipe de recherche ont été évaluées à l'aide de critères de jugement non hiérarchisés (7/10, 70 %). Le choix de la stratégie d'analyse des résultats a considérablement influencé les conclusions sur le succès des interventions. Conclusions: Les divergences dans l'évaluation du succès des interventions soulignent la nécessité d'améliorer la transparence, la robustesse et la fiabilité des processus de formulation de conclusions. En réponse à cela, cinq propositions méthodologiques sont formulées : (1) développer des ensembles de critères de jugement spécifiques (Core Outcome Sets) à la recherche interventionnelle en santé des populations (RISP), (2) sélectionner de manière collaborative des critères de jugement multidimensionnels par le biais d'un comité scientifique qui tient compte des préférences des parties prenantes et des modèles théoriques existants, (3) explorer l'analyse décisionnelle multicritères et les méthodes fondées sur le consensus afin de combiner les crtières de jugement de manière transparente, (4) améliorer les comptes-rendus méthodologiques du développement et de l'évaluation des interventions afin d'améliorer l'intégrité scientifique et la reproductibilité, et (5) accroître la participation des experts en RISP aux comités d'éthique, de financement et d'évaluation afin d'améliorer la reconnaissance des preuves produites dans ce domaine. Numéro d'enregistrement PROSPERO CRD42023401979.
| Origine | Fichiers éditeurs autorisés sur une archive ouverte |
|---|---|
| Licence |
