1La revue Hermès est piratée (Labbé, 2014) ! Un faux site, utilisant son sigle et son numéro ISBN, promet aux chercheurs une publication rapide à condition de payer 100 euros pour la révision et 500 euros pour la publication. À la date de rédaction de cet article (août 2014), ce site pirate est toujours en activité. Il contient de faux articles dépourvus de sens – destinés à « meubler » le site – mais aussi plusieurs vrais articles, ce qui montre que des universitaires ont mordu à l’hameçon et sont prêts à débourser 600 euros pour être publiés dans une bonne revue. En effet, l’arnaque fonctionne parce que la vraie Hermès est une revue à comité de lecture et, comme telle, recensée par les principaux index bibliographiques – notamment Thomson-Reuters – qui sont utilisés pour mesurer l’audience des revues (« facteur d’impact ») et la productivité des chercheurs. Plusieurs autres revues internationales de haut niveau – avec des audiences flatteuses – sont également victimes de ce piratage et ne parviennent pas à se débarrasser de ces faussaires (Declan, 2013).

2Cette affaire n’est pas anecdotique. Elle révèle une crise profonde de la publication scientifique qui n’épargne pas la France. Cette crise s’explique d’abord par la place hégémonique prise par les publications dans l’évaluation des chercheurs et des laboratoires.

Publication scientifique et évaluation des chercheurs

3En janvier 2009, à l’occasion de ses vœux présentés au monde de la recherche, le président Sarkozy avait repris le procès, cent fois instruit, d’une productivité insuffisante des chercheurs français :

4

Comment donc expliquer qu’avec une dépense de recherche plus élevée que celle de la Grande-Bretagne et environ 15 % de chercheurs statutaires de plus que nos amis anglais, la France soit largement derrière elle pour la part de la production scientifique dans le monde ? Il faudra me l’expliquer ! Plus de chercheurs statutaires, moins de publications et (pardon, je ne veux pas être désagréable) à budget comparable, un chercheur français publie de 30 à 50 % en moins qu’un chercheur britannique dans certains secteurs.

5Il reprenait un postulat largement partagé : le volume des publications et le nombre de fois que ces publications sont citées sont les meilleurs indicateurs pour évaluer le niveau scientifique d’un chercheur, d’une équipe, d’une université, voire d’un pays. Dans la compétition scientifique internationale, la France recule parce que ses chercheurs ne publient pas assez…

6Cette idée découle d’un courant séculaire qui tend à soumettre toute activité professionnelle à des évaluations quantitatives (Dujarier, 2010). La « bibliométrie » est la science qui permet de mesurer cette activité de publication des chercheurs et des universitaires. Il ne s’agit pas simplement de décompter le nombre des articles mais aussi de déterminer leur « impact », grâce au nombre de fois qu’ils sont cités dans d’autres publications scientifiques. La bibliométrie est certainement d’un grand intérêt pour suivre le mouvement de la recherche. Mais peut-elle servir à évaluer le travail des chercheurs ou des communautés scientifiques ?

7Partout, la cause semble entendue, et d’abord dans le plus pays le plus peuplé, la Chine, dont le gouvernement a décidé que tous les universitaires devaient publier dans des revues internationales sous peine de sanctions pouvant aller jusqu’à la révocation – ce qui a transformé l’université chinoise en un gigantesque bazar (Hvistendahl, 2013).

8En France, l’Agence d’évaluation de la recherche et de l’enseignement supérieur (Aeres) [1] et tous les grands organismes de recherche – Commissariat à l’énergie atomique (CEA), Centre national de la recherche scientifique (CNRS), Institut national de la recherche en informatique et en automatique (Inria), Institut national de la santé et de la recherche médicale (Inserm), etc. –, mais aussi la plupart des sections du Conseil national des universités [2], utilisent les indicateurs bibliométriques pour le recrutement et la promotion des chercheurs, le financement des projets de recherche, etc. En 2011, un rapport de l’Académie des sciences – document de consensus apparemment sans voix discordante – a largement validé l’utilisation des indices bibliométriques pour l’évaluation des chercheurs.

9Pourtant, bien des questions doivent être posées. Par exemple, les indicateurs bibliométriques ont-ils été sérieusement testés ? Sont-ils à l’abri des manipulations ?

10De nombreux événements récents montrent que ces questions sont justifiées. Par exemple, le 24 février 2014, la revue Nature a révélé que plusieurs éditeurs scientifiques de premier plan – dont Springer Verlag – étaient en train de retirer de leurs publications plus d’une centaine de faux articles détectés par un chercheur français (Van Noorden, 2014). L’affaire commence en 2010 avec la naissance d’une nouvelle étoile au firmament scientifique.

Naissance d’une nouvelle étoile au firmament scientifique

11En 2010, une expérience a montré que les données bibliographiques librement accessibles sur le Web – notamment via des moteurs de recherche comme Google Scholar – sont facilement manipulables (Labbé, 2010). Elle a consisté à créer de toutes pièces un faux chercheur – Ike Antkare (phonétiquement : « je n’y peux rien ») – appartenant à une université et à un pays imaginaires, et à mettre en ligne, sous son nom, cent fausses publications scientifiques générées grâce à SCIgen [3]. Ces textes n’avaient rigoureusement aucun sens, mais ils étaient rédigés avec le jargon de l’informatique et ils contenaient un résumé, des formules, des schémas, graphiques et tableaux de chiffres, une bibliographie. Tout cela leur donnait une apparence « scientifique ». Chacune des bibliographies citait, simplement et uniquement, les 99 autres articles du même auteur (« autocitation »). Un seul vrai article avait été ajouté à la centième. Grâce à cette « amorce », les logiciels de « bibliométrie » – comme Scholarometer ou Publish or perish – ont considéré toutes les chimères comme de vraies publications. Aucun de ces logiciels n’a décelé la supercherie. En particulier, aucun n’a vu ce qui sautait aux yeux : Ike Antkare ne citait que lui-même – à une exception près – et aucune autre publication scientifique ne mentionnait cet étrange chercheur… qui était pourtant devenu, avant que la supercherie ne soit dévoilée, l’un des scientifiques les plus cités au monde devant Einstein ou Turing !

12Depuis lors, d’autres expériences ont montré que des manipulations plus ou moins discrètes peuvent améliorer le classement non seulement des chercheurs mais aussi des équipes et des journaux scientifiques [4]. Ces expériences suggèrent que, en l’état actuel des outils bibliométriques, leur utilisation pour évaluer individuellement ou collectivement les chercheurs est une puissante incitation à la fraude et aux mauvaises pratiques (comme la multiplication des papiers sans intérêt et l’autocitation massive)…

13Mais, il a été objecté que, contrairement à Google Scholar, les grandes bases bibliographiques payantes – comme Scopus (Elsevier), ISI-Web of Knowledge (WoK Thomson-Reuters) – seraient à l’abri de ces fraudes. En effet, ces bases payantes sont alimentées par les principaux éditeurs scientifiques et contiennent essentiellement des articles parus dans des journaux scientifiques et des communications présentées dans des conférences de renom. Dans les deux cas, la sélection par les pairs (les « réviseurs ») – sous la supervision d’un comité scientifique composé de chercheurs expérimentés – garantirait le sérieux de la publication référencée. La « bibliométrie » devrait donc se limiter à ces bases payantes supposées être de qualité. Ce postulat est largement partagé. Ainsi peut-on lire dans le rapport déjà cité de l’Académie des sciences (2011) : « Les bases de données actuelles sont de bonne qualité et en constante progression pour la plupart des disciplines ».

14Les auteurs du rapport n’indiquent pas comment ils ont mesuré cette « qualité » et cette « constante progression ». Tout le monde postule que les bases de données payantes sont à l’abri de la fraude et des « mauvaises pratiques » comme la copie (plagiat), la publication multiple d’un papier identique (doublon) ou avec quelques aménagements (quasi-doublon), voire la présentation de papiers d’apparence scientifique mais sans signification comme ceux de Ike Antkare.

15De nombreux incidents semblent avoir été oubliés. Par exemple, la supercherie d’Alan Sokal qui, au milieu des années 1990, avait dupé une revue de « cultural studies » avec un article bidon qui prétendait « déconstruire » la physique (Sokal et Bricmont, 1997). Ou plus sérieusement, les failles dans le système de la « double évaluation par les pairs » qui est la règle dans les journaux scientifiques référencés par les grands éditeurs (Peters et Ceci, 1982).

16La situation s’est-elle améliorée depuis ces signaux d’alarme ? Une expérience récente permet d’en douter (Labbé et Labbé, 2013).

Une expérience paradoxale

17Pour des raisons qui seront exposées à la fin de cet article, l’expérience ne pouvait porter sur l’ensemble des bases payantes (soit plusieurs dizaines de millions de références). Trois conférences au-dessus de tout soupçon – l’une en Asie (A), l’autre en Amérique du Nord (B) et la troisième en Europe (C) – ont été sélectionnées. Ces conférences sont dotées de comités scientifiques sérieux, les propositions de communications y sont relues par au moins deux réviseurs spécialistes du domaine et seules les meilleures sont acceptées.

18Les organisateurs de B ont retenu seulement 13.3 % des papiers qui leur avaient été soumis. Ce taux était de 18.4 % pour C et de 28 % pour A.

19Ces conférences étaient parrainées par l’une des deux associations internationales dominantes dans la discipline et, théoriquement, à but non lucratif : l’Institute of Electrical and Electronic Engineers (IEEE) et l’Association for Computing Machinery (ACM). La plus importante (l’IEEE) parraine – moyennant versement de royalties élevées – plus de 800 conférences chaque année et la publication de 140 revues et journaux scientifiques. Les auteurs, qui communiquent dans ces conférences ou publient dans les journaux parrainés, doivent abandonner leurs droits à l’association. Enfin, notons que ces associations militent en faveur de brevets logiciels et d’algorithmes qui sont des freins au progrès technique.

20Naturellement, les communications acceptées dans ces conférences figurent dans les bases de références payantes comme Scopus ou WoK ainsi que celles de l’IEEE ou de l’ACM pour ce domaine particulier (électronique et informatique) et sont donc prises en compte pour le recrutement, l’évaluation et le financement des chercheurs.

21A priori, les trois conférences sélectionnées sont à l’abri des mauvaises pratiques. De plus, puisqu’elles sont contemporaines, le risque de doublon ou de plagiat entre elles paraît nul.

22Au total, cela représente 614 communications. Deux mesures sont opérées :

• calcul des distances mutuelles entre ces 614 papiers afin de détecter d’éventuels doublons, quasi-doublons et plagiats ;
• confrontation de chacun de ces papiers avec les 100 faux articles de Ike Antkare (pour détecter une éventuelle publication bidon réalisée avec le générateur de textes SCIgen).

23Ces deux expériences font apparaître deux types d’anomalies.

24Premièrement, ces conférences ont accueilli un nombre significatif de doublons ou de quasi-doublons :

• un doublon : le même texte a été présenté deux fois, sous des titres différents, par les mêmes auteurs, dans la conférence A ;
• six quasi-doublons (soit 12 papiers) : deux dans B, deux dans C, un dans A, un entre B et C. À chaque fois, les mêmes auteurs ont présenté, sous des titres différents, un même texte ayant subi quelques aménagements mineurs.

25Le calcul fait apparaître beaucoup d’autres anomalies probables entre ces trois conférences mais, dans ces 14 cas, il est certain que les mêmes auteurs ont soumis plusieurs fois des papiers identiques ou quasi-identiques. Dans les bases de données bibliographiques, ces 14 textes apparaissent comme autant de publications différentes, au bénéfice de leurs auteurs, alors qu’il ne devrait en figurer que la moitié.

26Ce « doublonnage » semble donc une pratique courante en face de laquelle les conférences les mieux organisées, les réviseurs les plus sérieux apparaissent désarmés. Si les meilleures conférences ne peuvent éviter ce phénomène, qu’en est-il des autres qui ont moins de moyens et une sélection plus laxiste ?

27Deuxième anomalie : une conférence a accueilli quatre fausses publications.

28Ces quatre communications sont des « vrais-faux ». Ce sont des faux car ces textes n’ont aucun sens et ont été générés par le même automate qui a servi à fabriquer ceux de Ike Antkare. Mais ce sont pourtant de « vrais » papiers scientifiques puisqu’ils ont été présentés, par de vrais universitaires, dans une conférence internationale parrainée par l’IEEE, puis référencés dans les bases de données considérées comme sérieuses (WoK, Scopus, IEEE, etc.) : ils sont donc comptés dans les index mesurant la « réputation » de leurs « auteurs », de leurs universités, de leurs pays…

29Ces deux constats soulèvent de nombreuses questions, en particulier : combien de doublons, de quasi-doublons et de faux dans les bases bibliographiques payantes ?

Étendue des problèmes

30Pour répondre à cette question, Cyril et Dominique Labbé ont donné un coup de sonde à l’aide d’une fonction qui permet de rechercher, dans les bases payantes, des papiers supposés proches d’une référence donnée. Elle a été appliquée (en avril 2011) à trois des faux papiers présentés dans A et elle a retourné 122 documents différents.

• 41 textes « réels », parmi lesquels on relève les anomalies suivantes :
• 1 doublon : le titre et les auteurs sont identiques, le résumé et le texte ont subi quelques légères modifications. Il s’agit du même papier à deux stades différents : présenté d’abord dans une conférence, il a été publié ensuite dans une revue. Cet exemple prouve que les bases de données bibliographiques sont incapables de détecter ce cas classique – quoique discutable du point de vue éthique – et de rattacher l’article et la communication à une référence bibliographique unique. Cette défaillance montre donc que les statistiques « bibliométriques » établies à l’aide de ces bases ne sont pas fiables.
• 13 quasi-doublons : ces textes à peine modifiés ont été présentés par les mêmes auteurs dans plusieurs conférences ou revues différentes…
  Ce premier constat conduirait à une proportion de doublons et quasi-doublons de l’ordre d’une référence sur cinq. Biais d’échantillonnage ? Pourtant…
• 81 « vrais-faux » semblables à ceux de Ike Antkare parmi lesquels 64 ont été présentés (et acceptés) sans aucune modification et 17 ont subi quelques aménagements cosmétiques pour passer la sélection, notamment la modification du résumé et/ou de l’introduction pour leur donner du sens et les faire coller au thème de la conférence. Cela concerne 24 conférences différentes. Toutes ces conférences ont bénéficié du parrainage de l’IEEE et/ou de son équivalent asiatique. À chaque fois, les réviseurs et les organisateurs ont sélectionné, puis reproduit dans les actes, des papiers sans signification, ce qui a permis à ces « chimères » de figurer dans les bases bibliographiques réputées sérieuses et à leurs « auteurs » de gonfler la liste de leurs publications sans se fatiguer.

31Il ne s’agit que d’un coup de sonde, comparable à celui effectué un an plus tard sur le catalogue en ligne de Springer dont les résultats ont été révélés par Nature.

Pourquoi ne pas avoir été plus loin ?

32Quelle est l’étendue réelle de ces graves déficiences ? Seul un examen de l’intégralité des publications présentes dans ces bases bibliographiques permettrait de répondre avec certitude. Les outils informatiques peuvent le faire sans problème. Pourquoi n’avoir traité que quelques centaines de textes ? Parce que ces bases de données sont payantes, que les abonnements sont négociés chaque année et représentent, pour une université française moyenne, plusieurs centaines de milliers d’euros et que tout dépassement d’un certain quota d’interrogations se traduit par une renégociation… On comprend maintenant pourquoi ces bases sont jugées fiables : personne ne peut aller y voir de près !

33Une fois communiquée à l’IEEE la liste de ces anomalies, les publications concernées ont disparu par miracle des bases de données payantes, comme Ike Antkare a disparu du classement de Scholarometer… Il ne s’agit pas ici d’information scientifique mais de « big business » et les responsables de cette industrie n’ont aucun état d’âme. Faut-il compter sur eux pour réformer le système ?

34Si ces expériences ne permettent donc pas de chiffrer précisément l’étendue de ces « mauvaises pratiques », elles prouvent, en tout cas, que :

• les bases bibliographiques payantes ont les mêmes problèmes de qualité que les bases gratuites comme Google Scholar et que le prix exorbitant des abonnements n’est peut-être pas justifié ;
• les rédactions des revues scientifiques les plus cotées, les comités de sélection des conférences internationales les plus réputées sont désarmés devant la multiplication des mauvaises pratiques et notamment le plagiat, l’autocitation abusive, la réplication de papiers identiques ou très ressemblants, voire de papiers vides de tout contenu.

35Ces mauvaises pratiques concernent toutes les disciplines (pas seulement les sciences « molles » ou l’informatique) [5]. L’intérêt de ces expériences est de montrer, à l’aide de cas concrets, que ces mauvaises pratiques ne sont pas marginales mais qu’elles ont pénétré jusqu’au cœur du système et qu’elles se rencontrent même dans des endroits où on ne les attend pas.

36Faut-il s’en étonner alors que de nombreuses informations allaient déjà dans ce sens ? Par exemple, en 2005, le National Institute of Health des États-Unis a mené une enquête (Martinson, Anderson et de Vries, 2005) sur le sujet, auprès de 2 000 chercheurs financés par elle. Malgré l’anonymat promis, la moitié ont refusé de répondre. Parmi l’autre moitié, un tiers a reconnu avoir eu au moins une pratique contraire à la déontologie de la recherche dans les dernières trois années.

Pourquoi les fraudes et les mauvaises pratiques sont-elles si répandues ?

37Les faux engendrés par SCIgen sont écrits avec le jargon, impénétrable pour les non-initiés, utilisé dans beaucoup d’articles sur l’informatique, et la présence de ces faux dans certaines conférences peut s’expliquer par le fait qu’ils ont été lus par des réviseurs peu attentifs et non spécialistes du domaine. Il est permis d’ajouter plusieurs choses.

38D’abord, il est évident que certains réviseurs ne lisent pas vraiment mais se contentent de vérifier que le papier respecte la forme et les codes de la « littérature » scientifique – comme la présence d’un résumé, de figures ou de références bibliographiques. Comme personne ne s’est jamais avisé de la présence de ces documents incongrus dans les actes des conférences ou dans les bases de données bibliographiques, on peut en conclure que, dans la science moderne, on compte et on enregistre des publications qui ne sont pas lues sérieusement…

39En ce qui concerne les doublons et autres fraudes, le cerveau humain est mal équipé pour les détecter. Les supercheries littéraires donnent des illustrations évidentes de ce problème. Ainsi, personne en France n’avait été capable de reconnaître Romain Gary dans l’ombre d’Émile Ajar. Les réviseurs des revues et des conférences scientifiques ne sont pas mieux outillés pour détecter les plagiats, les quasi-doublons et autres mauvaises pratiques. Tant que les articles concernés resteront à l’abri des regards dans les coffres-forts des bases payantes, les auteurs de ces mauvaises pratiques ont donc peu de chances d’être repérés.

40En face de ce risque minime, les bénéfices peuvent être considérables, puisque le recrutement et la promotion des enseignants du supérieur et des scientifiques se fait sur la liste de leurs publications (sans que ces publications soient lues par les jurys).

41En principe, un article (ou une communication) ne peut être soumis qu’à un endroit à la fois. De plus, une fois publié, un article (ou une communication) ne peut être repris – en tout ou partie –, par le (ou les) auteur(s), dans d’autres publications et sur d’autres supports.

42Considérons les taux de sélection affichés par les grandes conférences (10 à 20 %). Cela signifie qu’un article doit en moyenne être soumis 5 à 10 fois pour avoir une chance d’être accepté dans une conférence prestigieuse. De plus, le processus est lent. En général, les soumissions se font six mois ou plus avant la conférence et il faut attendre au moins deux mois pour avoir la réponse. Pour les revues, c’est bien pire. Les plus prestigieuses affichent des taux d’acceptation dérisoires (Nature : 10 % ; Science : 8 %, etc.) et la réponse parvient de nombreux mois, voire plus d’un an après soumission. La règle, qui veut que l’on soumette à un seul endroit à la fois, signifie qu’un papier peut mettre plusieurs années avant d’être accepté.

43Le chercheur, surtout en début de carrière, est quasiment condamné à enfreindre les règles et à soumettre à plusieurs endroits en même temps. Quelques astuces élémentaires évitent de se faire prendre : tronçonner le compte rendu de la recherche en plusieurs articles ou communications, soumettre plusieurs fois le même papier en changeant l’ordre des auteurs, le titre, le résumé, les mots-clés et en introduisant à la marge quelques modifications pour s’adapter au thème du congrès ou à ceux des différentes revues sollicitées. Et en tout cas, surtout glisser le maximum de références à la revue ou à la conférence visées et à ses propres travaux, même sans aucune justification. D’ailleurs, parmi les modifications souvent demandées par les éditeurs, figure l’augmentation du nombre de références à d’autres articles parus dans… leur revue.

44Tout cela a déjà été dit par des observateurs bien informés (cf. par exemple Parnas, 2007). Retenons la conclusion d’un des meilleurs spécialistes en… mathématiques appliquées :

45

Il a été peu souligné que les indices [bibliométriques] sont manipulables et qu’ils sont effectivement manipulés. Dans certains cas, ils sont avant tout un indicateur de l’absence de scrupule des auteurs, des responsables de revues et des éditeurs […]. J’entends souvent parler de solutions techniques proposées dans l’espoir d’améliorer les formules, par exemple en augmentant la plage temporelle de deux à cinq ans pour le calcul du facteur d’impact. Ces remèdes me semblent promis à l’échec. (Arnold, 2009)

Arrêter le petit jeu ?

46Les cas évoqués ci-dessus démontrent que ces alarmes sont justifiées et que les mauvaises pratiques sont devenues banales, même dans les lieux supposés d’excellence. Il faut en chercher l’explication dans la manière dont est financée la recherche et dont sont évalués les chercheurs et les universitaires. Les mauvaises pratiques et la fraude sont les sous-produits non désirés mais logiques d’un système où compter les publications dispense souvent de les lire et où le facteur d’impact dispense de s’interroger sur la portée d’une recherche… Tant que l’on procédera de la sorte, les « affaires » se multiplieront.

47De nombreux chercheurs sont parvenus aux mêmes conclusions et recommandent d’utiliser d’autres moyens pour évaluer les chercheurs. En mai 2013, 155 scientifiques, appartenant à 78 institutions différentes, ont signé la « déclaration de San Francisco sur l’évaluation de la recherche » [6] lancée par l’Association américaine de la recherche en biologie cellulaire. Cette déclaration demande que le « facteur d’impact » ne soit plus utilisé dans l’évaluation de la recherche aussi bien que pour le recrutement et la promotion des universitaires ou pour le financement des laboratoires.

48Cependant, faut-il jeter la bibliométrie avec cette eau nauséabonde ?

49Pour la recherche sur la communication, la bibliométrie nous apprend beaucoup, notamment sur les principaux courants de la science et sur les mœurs éditoriales propres aux disciplines et aux supports. Parmi les questions que la bibliométrie est encore incapable de résoudre, figure celle de l’attribution d’auteur dont l’Académie des sciences (2011) a souligné l’importance. On dispose maintenant d’outils statistiques capables d’attribuer à un auteur connu des textes d’origine douteuse ou inconnue. Cela permet de résoudre bien des énigmes de l’histoire littéraire. Cela permettra aussi d’améliorer les bases de données bibliographiques, à condition que leurs propriétaires le veuillent bien. Si l’autocitation non justifiée, le doublonnage et le plagiat étaient systématiquement repérés, ce serait une puissante dissuasion pour endiguer le développement de ces mauvaises pratiques, plus efficace en tout cas que les appels à la vertu.

50Enfin et surtout, il faut retenir l’avertissement de tous ceux qui ont déjà tiré la sonnette d’alarme : pour apprécier la production d’un chercheur ou d’une équipe, une lecture approfondie de leurs travaux demeure indispensable.