Dans le cadre de l’évaluation des unités de recherche

5L’évaluation des activités d’expertise se pose de la façon la plus aiguë dans le cadre de l’évaluation des unités de recherche. Même si l’expertise peut conduire à des publications originales grâce au rassemblement ordonné d’informations, à leur analyse critique ou à leur confrontation, elle n’est en général pas considérée au même titre que la recherche, comme relevant de la production de connaissance.

6Jusqu’à présent, le deuxième (« rayonnement et attractivité académiques ») des quatre critères d’évaluation utilisés par l’AERES pour l’évaluation des unités de recherche était celui selon lequel, de manière peu explicite, l’activité d’expertise était évaluée. Début 2012, la révision des critères a porté leur nombre de quatre à six. C’est désormais dans le cadre du troisième critère (« interactions avec l’environnement social, économique et culturel ») que sera évaluée l’activité d’expertise.

7Parmi les faits observables à prendre en compte dans le champ de l’évaluation couvert par ce critère, figurent notamment : les rapports d’expertise destinés à des décideurs publics ou privés, et pouvant contribuer à l’élaboration de normes ou à des lignes directives ; la participation des membres de l’unité à des comités d’expertise nationaux, européens ou internationaux ; des indications sur l’impact de ces expertises, telles que des effets sur la santé publique, l’environnement, ou au titre de l’alimentation du débat public.

8En termes d’indices de qualité, l’évaluation de ces travaux d’expertise pourra prendre en compte leur portée géographique, leur impact (y compris en termes de normes ou de retentissement sur le débat public) et la notoriété des comités d’expertise auxquels participent des membres de l’unité.

Dans le cadre de l’évaluation des organismes de recherche

9Plusieurs organismes de recherche produisent de l’expertise, souvent en lien avec une recherche finalisée, s’inscrivant alors parfois dans le cadre d’une mission, par exemple de sécurité sanitaire dans le cas de l’Agence nationale de sécurité sanitaire de l’alimentation, de l’environnement et du travail (Anses).

10L’AERES doit alors évaluer la portée et l’impact de ces missions d’expertise scientifique, la cohérence entre celles-ci et les activités de recherche correspondantes, et la manière par laquelle s’articulent ces deux activités au sein de l’organisme.

Dans le cadre des procédures d’évaluation des personnels

11Dans le cadre des travaux préparatoires relatifs à l’examen de ces procédures, la question des critères d’évaluation se pose et, au sein de ceux-ci, la place qu’il convient de donner à l’expertise. Selon le champ disciplinaire, la nature prédominante de l’activité (recherche ou formation) et le type de recherche, le poids de cette activité peut varier. Il doit cependant être pris en compte.

12Une difficulté est que jusqu’à présent, l’activité d’expertise – importante d’un point de vue social ou économique, par exemple en vue de décisions publiques touchant des produits ou services, et soumise à des contraintes en vue de la prévention des conflits d’intérêts – est peu reconnue dans le cadre de la carrière des chercheurs et enseignants-chercheurs.

13Identifier l’expertise comme une des missions importantes des chercheurs et enseignants-chercheurs afin de définir des critères d’évaluation de cette activité, ainsi que des indicateurs permettant de porter un jugement sur sa qualité, est une des tâches auxquelles l’AERES doit contribuer.

Le choix des experts

16La base du choix est d’abord le volontariat. Un certain nombre de critères sont cependant requis afin d’atteindre, le mieux possible, l’objectif de rassembler des personnes scientifiquement compétentes.

17Sur cette base, à partir de propositions émanant des instances nationales d’enseignement supérieur, des établissements d’enseignement supérieur et des organismes de recherche, l’AERES a constitué un vivier d’experts potentiels de 10 000 personnes environ, dont à peu près 20 % d’étrangers.

18Après une première participation à une évaluation, les experts ayant accompli leur mission selon les modalités prévues par les procédures d’évaluation de l’AERES figurent sur la « liste des experts inscrits ». Celle-ci est publique et peut être consultée sur le site Internet de l’AERES. Elle présente le curriculum vitae de chaque expert.

La composition des comités d’experts

19La composition des comités d’experts relève de la responsabilité de près de 130 délégués scientifiques qui – personnels à temps partiel de l’AERES, principalement chercheurs ou enseignants-chercheurs – assurent cette fonction pour un type d’évaluation (formations, unités de recherche, établissements et organismes de recherche) et pour un domaine scientifique donné. La composition du comité vise à rassembler les compétences les mieux adaptées à l’entité à évaluer : par exemple, selon la nature des recherches (fondamentales ou finalisées) et le champ disciplinaire concerné, en tenant particulièrement compte de l’objectif de pouvoir juger au mieux des dimensions de pluri-, inter- ou transdisciplinarité. Elle vise aussi à respecter le mieux possible la parité homme/femme.

20S’agissant de l’évaluation des unités de recherche, comme prévu par le décret 2008-1337 du 16 décembre 2008, la composition des comités fait appel, outre au moins six experts, à un représentant de l’instance d’évaluation des personnels de chaque établissement dont relève l’entité évaluée, sur proposition de cette instance.

21Lors de la composition du comité, une attention particulière est prêtée au risque de conflit d’intérêts. Le risque n’est pas, comme dans beaucoup de cas d’expertise institutionnalisée, d’un lien d’intérêt avec les acteurs économiques. Il est plutôt qu’une proximité, ou au contraire un antagonisme, entre l’unité évaluée et un expert entache l’impartialité du jugement de celui-ci.

22Avant le lancement de la procédure d’évaluation, la composition du comité est soumise, comme prévu par le décret, au responsable de l’unité de recherche évaluée, afin de s’assurer de l’absence de risque de conflit d’intérêts.

Une expertise collective multidimensionnelle

23L’expertise collective organisée par l’AERES dans le cadre de l’évaluation, notamment des unités de recherche des établissements d’enseignement supérieur et de recherche ou des organismes de recherche, peut être qualifiée d’expertise publique institutionnalisée. Ce véritable service public de l’évaluation fait en effet l’objet de procédures systématiques, largement déterminées par l’expertise, et qui s’appuient sur les valeurs et prolongent le modèle des communautés scientifiques. Une charte de l’évaluation – qui définit les mesures propres à garantir la qualité, la transparence et la publicité des procédures d’évaluation et de notation – a été approuvée par le conseil de l’AERES, dont la composition est fixée par la loi.

24À titre d’exemple, l’évaluation des formations comporte trois volets d’expertise. Le premier concerne l’évaluation du projet pédagogique de la formation évaluée. L’expert doit ici utiliser une connaissance à la fois disciplinaire (sur le contenu des programmes et leur progressivité) et organisationnelle (contraintes liées à la réglementation et au fonctionnement des établissements d’enseignement supérieur) de ce que doit être une formation supérieure au niveau considéré. Le deuxième volet concerne l’analyse du bilan de fonctionnement de la formation (réussite, insertion, poursuite d’études). L’expertise est ici plus globale et comparative, et doit tenir compte des contextes régionaux, nationaux et internationaux, aussi bien dans les aspects académiques que socioéconomiques et culturels. Le troisième volet se concentre sur le personnel enseignant ou associé à l’enseignement (professionnels ou responsables d’enseignement concernant l’ouverture à la société) et sur le pilotage et la réflexion que ces acteurs peuvent mener pour améliorer, de manière continue, la formation. Ce troisième volet demande une expertise différente, fondée sur une expérience professionnelle en termes d’assurance qualité.

25Cet exemple souligne que réunir la capacité d’expertise, conjointement sur ces différentes dimensions, est un enjeu important de l’évaluation et nécessite une formation des experts à la prise en compte de cet aspect multidimensionnel.

26Méconnue alors qu’elle est productrice de connaissances, mal valorisée dans la carrière, soumise à de fortes contraintes sur le plan déontologique, l’activité d’expertise est un enjeu important d’impact socioéconomique et culturel du système d’enseignement supérieur et de recherche en France. L’expertise, appuyée sur la revue par les pairs qu’organise l’AERES, est aussi au cœur de l’évaluation de la qualité de la recherche et de l’enseignement supérieur.