Une étude publiée dans la revue scientifique PNAS pointe du doigt les erreurs des méthodes statistiques utilisées dans l’analyse d’IRM. Elles pourraient remettre en cause plus de 15 ans de recherches.
Observer la réaction du cerveau quand il aime, a peur, se drogue, est malade, telle est la mission de la recherche par Imagerie Cérébrale Fonctionnelle. Depuis, plus de 15 ans, les chercheurs ont publié plus de 40 000 papiers sur des sujets aussi variés que les effets du LSD ou d'Alzheimer sur notre cerveau.
Mauvaise nouvelle : une étude publiée dans la revue scientifique PNAS pourrait bien remettre en question tout ce beau travail. Cette dernière pointe en effet une erreur dans les méthodes statistiques utilisées pour analyser les images IRM et viendrait ainsi retoquer la validité de certains résultats des chercheurs.
Le seuil statistique, "le niveau de l'eau de l'océan parmi des îles désertes"
Pour mieux comprendre la nature de ce pavé dans la marre, prenons l’exemple d’une étude IRM sur l’effet du son sur le cerveau. Quand le son entre dans celui-ci, il active certaines de ses zones. Pour identifier les parties qui ont été activées, qui ne produisent qu'un faible signal à isoler du bruit de la machine et de l’environnement alentour, il faut déterminer un seuil statistique qui "nettoie" les données. Ce seuil statistique, c’est un peu comme un niveau d’eau.
"Imaginez plein de petites îles dans un océan. Montez le niveau de l’eau, vous verrez apparaître moins d’îles (les parties activées du cerveau). Baissez-le, et de nouvelles parties émergées verront le jour", explique Pascal Belin, directeur du Centre Européen de Recherche en Imagerie Médicale (CERIMED) à Mashable FR.
Monter et baisser le niveau de l’eau, c’est un peu le rôle du logiciel utilisé par les chercheurs pour pouvoir lire les données produites par des IRM. Plus le niveau est faible, plus on voit apparaître d’îles, ou, donc, de détails des zones du cerveau activées. Mais la probabilité pour que ces îles soient de vrais signaux est moins importante. Alors pour les chercheurs, il a fallu choisir : voir plus de choses, potentiellement fausses, ou en voir moins, mais être (un peu plus) certains de leur véracité.
Il s'avère que le choix qu’ils ont fait depuis plus de 15 ans, c’est celui d'abaisser le niveau de l’eau, pour voir plus de choses.
Ce que pointe du doigt l’étude, ce sont les seuils statistiques appliqués, jugés trop bas.
En étudiant les données de 499 personnes en bonne santé, divisées en groupes de 20, les chercheurs de l'étude de PNAS ont ainsi pu identifier un taux de résultats "faussement positifs" avoisinant parfois les 70 %, là où il aurait normalement dû être de 5% au maximum. Ce que pointe du doigt précisément l’étude, ce sont les seuils statistiques appliqués, aujourd'hui jugés trop bas.
“Ces résultats remettent en question la validité de près de 40 000 études IRM et pourraient avoir un large impact dans les résultats neuroimagés en général”, explique les chercheurs à l'origine de l'étude.
Des accusations récurrentes
Pour Pascal Belin, il s'agit surtout de '"beaucoup de bruit pour rien". "Ils ont raison de dire qu’il faut faire attention, mais de là à remettre en question près de 40 000 études, il y a un grand pas." S'il estime que cette nouvelle étude ne remet pas en question la validité des papiers publiés, il concède pourtant qu'elle réduit la confiance qui peut leur être, dans certains cas, accordée.
Car évidemment, pas question de balayer 15 ans de recherches. Les résultats de l’étude seront bel et bien pris en compte par le CERIMED, mais Pascal Belin est catégorique : "La grande majorité des recherches propose des résultats solides", avec des conclusions évidentes. Pour reprendre l’image du niveau de l’eau : même s’il est un peu plus bas que ce qu’il ne devrait, les parties émergées sont bel et bien là.
Même si le niveau de l'eau est un peu plus bas que ce qu’il ne devrait, les parties émergées sont bel et bien là
La nouvelle étude de PNAS rejoint le banc des nombreux détracteurs des méthodes statistiques utilisées par IRM. En 2010, une équipe de chercheurs avait déjà tiré la sonnette d’alarme. En faisant l’expérience de placer un saumon mort dans une machine, ils avaient réussi à trouver des signaux dans le cerveau du cadavre. En cause : encore une fois ces satanées méthodes statistiques.
Trop alarmiste ou pas, l'étude accusatrice est finalement une piqûre de rappel pas si terrible que ça : "Ces remises en question sont naturelles, elles font partie de la science", conclut Pascal Belin.
Quelque chose à ajouter ? Dites-le en commentaire.