Évaluation robuste des algorithmes basés sur de l'apprentissage pour les systèmes d'aide à la décision clinique / Robust evaluation of learning-based algorithms for clinical decision support systems

Contexte

Le Centre des Données Clinique (CDC) du CHU de Rennes est une unité de recherche technologique et médicale créée en 2014, construite autour d'une plateforme destinée à intégrer, réutiliser et analyser les données des patients traités au CHU de Rennes, et de manière extensive, par un groupe de 6 hôpitaux universitaires de la région ouest de la France. Le CDC s'appuie sur l'équipe de recherche DOMASIA (LTSI-INSERM) spécialisée dans les systèmes de santé apprenants. Les thématiques de recherche et développement de l’équipe se déclinent en trois axes principaux issus de l’écosystème des Systèmes d’Information Apprenants en Santé :

• « Patient to Data » : Interopérabilité et intégration des données médicales de santé dans une perspective de réutilisation secondaire
• « Data to Knowledge » : Extraction de connaissances à partir des données massives en santé et modèles prédictifs
• « Knowledge to Patient » : Implémentation, évaluation en vie réelle et mesure d’impact

Description du sujet

Le potentiel des méthodes dites « par apprentissage automatique » ou « basées données » a été démontré dans de nombreux contextes médicaux. Cependant, ces méthodes sont peu déployées en routine clinique car il existe des freins à leurs implémentations. Parmi eux, on trouve la complexité de juger, en amont, leurs performances réelles. En effet, un écart entre les performances rapportées et les performances nécessaires à une intégration clinique persiste. En général, les études affichent des métriques classiques (sensibilité, spécificité, AUC, …) et n’apportent pas ou peu d’éléments quantifiant la généralisation des méthodes proposées, la robustesse face aux conditions réelles (données manquantes, données hors distribution d’apprentissage…) ou l’acceptabilité clinique (sécurité, interprétabilité, …). Ces problématiques ont pourtant été identifiées comme des limites intrinsèques à ce type d’approche et il est incontournable d’y répondre pour que les outils développés soient concrètement bénéfiques pour les patients. L’objet de ce stage est donc de poser les bases d’un référentiel permettant une évaluation objective de ces méthodes. Ce référentiel d’évaluation est encore à ce jour une question ouverte. Les objectifs seront de dresser l’état de l’art des métriques et techniques d’évaluation des algorithmes à base d’apprentissage pour l’aide au diagnostic en santé, d’identifier les éléments d’évaluation nécessaires à une intégration clinique non-couverts et de proposer des critères pour les couvrir.

Plus d'informations en pièce jointe.
Envoyez cv et lettre de motivation à sandie.cabon@univ-rennes.fr et marc.cuggia@univ-rennes.fr

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Context

The Clinical Data Center (CDC) of the University Hospital of Rennes is a technological and medical research unit created in 2014, built around a platform designed to integrate, reuse and analyze data from patients treated at the University Hospital of Rennes, and extensively, by a group of 6 university hospitals in the western region of France. The CDC relies on the DOMASIA research team (LTSI-INSERM) specialized in learning health systems. The team's research and development themes are divided into three main areas of research from the Learning Health Information Systems ecosystem:

    "Patient to Data": Interoperability and integration of medical health data in a perspective of secondary reuse
    "Data to Knowledge": Knowledge extraction from massive health data and predictive models
    "Knowledge to Patient": Implementation, real-life evaluation and impact measurement


Description of the topic:

The potential of so-called "machine learning" or "data-driven" methods has been demonstrated in many medical contexts. However, these methods are not widely deployed in clinical routine because there are obstacles to their implementation. One of them is the complexity of judging, upstream, their real performances. Indeed, a gap between the reported performances and the performances necessary for a clinical integration persists. In general, the studies display classical metrics (sensitivity, specificity, AUC, ...) and provide little or no information to quantify the generalizability of the proposed methods, the robustness to real-life conditions (missing data, data outside the training distribution, ...) or the clinical acceptability (safety, interpretability, ...). These issues have been identified as intrinsic limits to this type of approach and it is essential to address them so that the tools developed are concretely beneficial for patients. The purpose of this training course is therefore to lay the foundations of a reference framework allowing an objective evaluation of these methods. This evaluation framework is still an open question. The objectives will be to establish the state of the art of metrics and evaluation techniques for learning-based algorithms for health diagnosis, to identify the evaluation elements necessary for clinical integration that are not covered and to propose criteria to cover them.

More information is attached.
Send resume and cover letter to sandie.cabon@univ-rennes.fr and marc.cuggia@univ-rennes.fr