Office parlementaire d’évaluation des choix scientifiques et technologiques
Séance du 13 janvier 2009 à 17h00
La séance
– Désignation des membres de l'Office au Haut conseil des biotechnologies
L'Office a désigné MM. Jean-Claude Etienne, sénateur, Premier Vice Président, et Claude Gatignol, député, Vice Président de l'Office pour siéger au sein de cette instance.
– Audition de M. le Professeur Jean-François Alexandre Dhainaut, président de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES), accompagné de Mme Anne Picard, Secrétaire générale de l'Agence.
Le Président Claude Birraux, député, a rappelé que l'AERES avait été créée par la loi de programme du 18 avril 2006 pour la recherche et que deux parlementaires siégeaient dans son conseil d'administration, MM. Pierre Lasbordes, député, et Christian Gaudin, sénateur.
Il a observé que, depuis son installation, en mars 2007, la loi du 10 août 2007 relative aux libertés et aux responsabilités des universités avait été adoptée, et que cette audition permettrait de dresser un premier bilan des activités de cette nouvelle autorité indépendante.
Le Professeur Jean-François Alexandre Dhainaut, président de l'AERES, a remarqué tout d'abord qu'aucun organisme d'évaluation équivalent dans le monde n'avait un champ à couvrir aussi large que l'AERES. Ce champ englobe les universités, les grandes écoles et les organismes de recherche, EPST comme EPIC, ainsi que l'ensemble des unités de recherche. L'AERES évalue également les formations dispensées en licence, en Master et dans les écoles doctorales. Elle est chargée de la validation des procédures d'évaluation des personnels.
Le Professeur Jean-François Alexandre Dhainaut a estimé que c'était une excellente chose de pouvoir procéder dans de nombreux cas à une évaluation simultanée des recherches et des enseignements, car leur bonne interaction est fondamentale dans le cadre d'un effort de développement scientifique et technologique.
L'organisation interne de l'AERES se structure autour des trois domaines mentionnés précédemment – établissements d'enseignement supérieur et de recherche, unités de recherche et formations -, et bénéficie du soutien logistique d'une administration qui joue un rôle essentiel dans l'organisation pratique des visites sur place et dans le suivi des évaluations. Un soin particulier est apporté à la qualité de l'accueil des experts mobilisés pour les missions d'évaluation, et tout est fait pour leur éviter les tracas d'un processus complexe de remboursement de leurs frais, pouvant conduire à produire jusqu'à neuf pièces comptables. L'Agence a adopté une « démarche qualité » qui s'applique aux évaluations effectuées, ainsi qu'à ses services.
Les procédures et méthodes d'évaluation se sont mises en place progressivement. La première étape consiste en une auto-évaluation par l'organisme concerné, pouvant durer trois à quatre mois et organisée selon les principes définis dans un guide ; un dialogue s'engage pour mieux expliquer les objectifs de l'évaluation. Ensuite, un comité d'évaluation, composé d'experts, est constitué ; chaque expert reçoit le résultat de l'auto-évaluation. La troisième étape est la visite sur place, qui dure trois à quatre jours et prend la forme d'entretiens. Au cours de la quatrième étape, un rapport de synthèse est établi et présenté devant le Conseil de l'Agence, qui veille notamment à ce que toutes les remarques et appréciations présentées s'appuient sur des faits. Une fois validé, le rapport d'évaluation est transmis à l'organisme évalué et à ses autorités de tutelle, ce qui peut entraîner une réaction ; celle-ci n'est prise en compte dans une nouvelle version du rapport qu'en cas de contestation d'éléments factuels. Enfin, le rapport d'évaluation est mis en ligne sur le site de l'Agence.
Le choix des experts s'efforce de combiner deux impératifs : la compétence dans la spécialité concernée, et l'absence de conflit d'intérêts. Environ 30 % des experts sont étrangers. En conséquence, compte tenu des pratiques courantes dans le monde scientifique, les entretiens d'évaluation s'effectuent dans la plupart des cas en langue anglaise, même si, pour certaines missions, des interprètes ont du être recrutés. Au total, le vivier potentiel des experts comprend 6 000 personnes, dont 3 200 ont été mobilisées l'année dernière.
Les missions effectuées jusqu'ici ont concerné 75 établissements d'enseignement supérieur, 60 universités, 2 000 organismes de formation, 1 000 unités de recherche, et plusieurs grands organismes de recherche comme le Centre d'étude du machinisme agricole et du génie rural des eaux et forêts (Cemagref), l'Institut national de la santé et de la Recherche médicale (INSERM) et l'Institut français de recherche pour l'exploitation de la mer (IFREMER). Au cours de l'année 2009, l'AERES procédera à l'évaluation du Commissariat à l'énergie atomique (CEA), de l'Institut national de la recherche agronomique (INRA), du Centre national de la recherche scientifique (CNRS).
L'AERES s'efforce de mettre au point une typologie des performances attendues par groupe d'organismes comparables, le but étant de provoquer une émulation entre eux, car la grille de classement peut influencer les choix d'inscription des étudiants. Ainsi une université de province sera comparée à une autre de taille comparable, et non à une grande université parisienne. Les indicateurs pris en compte font l'objet d'une discussion avec l'ensemble des organismes concernés pour s'assurer de leur pertinence. Cette typologie est déjà opérationnelle pour le domaine de la médecine ; elle est en cours de mise au point pour la physique et la chimie. A terme, elle devrait inciter les chercheurs à une plus grande mobilité, ceux-ci ayant trop tendance en France à poursuivre leur carrière au sein du laboratoire qui les a accueillis pour la rédaction de leur thèse.
Le Président Claude Birraux, député, ayant demandé si la typologie des universités et le classement des établissements par spécialité s'inspiraient des critères du classement de Shanghaï, le Professeur Jean-François Alexandre Dhainaut, président de l'AERES, a observé que celui-ci était un classement d'excellence reposant sur des critères comme le nombre de Prix Nobel ou le nombre de citations dans les publications, qui lui conféraient une certaine rigidité, alors que le classement établi par l'Agence vise à mieux informer les étudiants et les aider à s'orienter.
Puis, abordant les atouts de l'AERES, il a souligné l'intérêt d'une évaluation englobant la recherche et l'enseignement, ainsi que les retombées indirectes positives des évaluations pour nombre d'organismes. Ainsi certains, comme le Cemagref, prennent un grand intérêt à leur évaluation, et nourrissent de ses résultats leurs réflexions de préparation pour le prochain contrat d'objectifs ou d'établissement qu'ils doivent signer avec l'État. L'étape d'auto-évaluation prend une dimension pédagogique pour les universités, qui doivent faire l'apprentissage de leur autonomie. Les unités de recherche peuvent choisir d'autres voies que celles préconisées pour atteindre les objectifs identifiés, sous réserve de prouver lors de l'évaluation suivante, quatre ans plus tard, que leur choix était pertinent.
Le Conseil de l'Agence se réunit tous les deux mois, et ses membres sont assidus et motivés. Il a en principe une mission d'orientation stratégique, mais il intervient plutôt comme un conseil de surveillance, en s'impliquant dans le détail des dossiers. Les réactions de ses membres sont riches d'enseignement sur la manière d'ajuster la poursuite du travail d'évaluation. Au nombre de ces membres, figurent deux parlementaires qui enrichissent les débats grâce à leur regard extérieur, et dont le point de vue est très précieux.
Le Président Claude Birraux, député, a d'abord fait part d'une question de M. Jean-Claude Etienne, sénateur, Premier Vice-Président, concernant l'évaluation de la médecine à haute valeur ajoutée clinique, dont le maintien semble indispensable, notamment pour diminuer la croissance des coûts des soins imputables à l'hyperconsommation biologique, tant dans le contexte actuel que dans le cadre de la future réforme hospitalière, où l'AERES jouera certainement un rôle dans l'évaluation de la « médecine d'excellence ».
Puis, rappelant que lorsque l'AERES a commencé à fonctionner, deux grandes réformes ont été mises en application, la loi de programme pour la recherche et celle relative aux libertés et responsabilités des universités, il a demandé si les organismes de recherche avaient eu des difficultés pour s'adapter au nouveau dispositif et posé deux questions sur :
- les relations qu'entretient l'AERES avec les autres instances d'évaluation existantes ;
- la validation des méthodes d'évaluation des personnels et leur impact sur la carrière de ceux-ci.
En réponse, Le Professeur Jean-François Alexandre Dhainaut, président de l'AERES, a indiqué que l'AERES n'était pas directement compétente pour évaluer la médecine de haut niveau, mais qu'un groupe de travail avait été mis en place sur les centres hospitalo-universitaires (CHU). Deux référentiels existent, l'un sur l'aspect santé, testé en Alsace-Lorraine, en Île-de-France et l'autre non encore testé, sur les CHU et élaboré en collaboration avec la Haute autorité de santé (HAS). Le projet de loi « hôpital, patients, santé et territoires » plaçait l'AERES au centre des évaluations mais les discussions ont abouti à séparer la recherche de l'hôpital ce qui est une erreur psychologique. La commission Marescaux chargée de la réforme des CHU travaillera sur l'évaluation avec l'AERES qui sera au centre de cette évaluation.
S'agissant de la recherche clinique, il faut une labellisation des unités de recherche et les universités doivent être impliquées.
Un classement des facultés de médecine a été réalisé et l'on pourra disposer d'une cartographie fiable des CHU en France.
Le budget des hôpitaux est en dehors du champ d'activité de l'Agence. Or, les médecins prescrivent systématiquement des examens biologiques ou des IRM au coût considérable, il y a d'ailleurs des excès dont les médecins enseignants sont également responsables. Ce domaine est évalué par la HAS.
La loi de programmation pour la recherche et celle relative aux libertés et responsabilité des universités sont complémentaires. Il est important que les universités soient impliquées dans la recherche. Cependant, nos universités sont récentes. Elles ont été créées après 1968, alors que certaines universités européennes ont 400 ans d'existence. Aussi doivent-elles trouver leur place comme centres d'enseignement et de recherche. Ces lois sont très utiles et il convient de laisser du temps au temps pour progresser. L'AERES exerce également vis-à-vis des universités une fonction d'accompagnement.
Quant aux relations avec les instances d'évaluation des organismes de recherche, avec le CNRS, cela se présente bien. Il s'établit progressivement un engrenage entre évaluation et stratégie. Pour l'INSERM, cela a été plus compliqué : l'Agence a évalué l'INSERM l'an dernier or une deuxième évaluation a été effectuée par le comité d'évaluation de l'INSERM qui a protesté. Avec l'INRA, l'évaluation se met en place sans heurts.
Les organismes de recherche conservent l'évaluation du personnel que l'Agence n'effectue pas.
D'autres instances persistent aux côtés de l'AERES, telle la Commission des titres d'ingénieur (CTI), qui évalue les diplômes d'ingénieurs. L'AERES évaluant les masters et les écoles doctorales des écoles d'ingénieurs, elle a établi des relations pour mettre en place un seul comité de visite lors de l'évaluation de l'école des mines de Nancy.
S'agissant de l'évaluation des personnels, l'AERES a travaillé avec le Conseil national des universités (CNU) pour valider les procédures d'évaluation et procédera à une évaluation. Les procédures d'un établissement public à caractère scientifique et technologique (EPST) ont également été évaluées, sans difficultés.
a observé que la loi relative aux responsabilités et libertés des universités, qui a permis à une vingtaine d'universités d'accéder à l'autonomie, pouvait modifier le rôle de l'AERES. Une université autonome peut-elle choisir un autre comité de visite ? L'Agence a-t-elle, après cette loi, les mêmes compétences ? Si tel est le cas qu'en est-il de l'autonomie des universités ?
Les comités des différents organismes de recherches, le CNU, l'ANR (pour évaluer les projets) faisant appel aux mêmes experts, n'est-il pas difficile de trouver des experts disponibles ?
Ne revenait-il pas à l'AERES de faire des propositions sur le plan Campus ?
Il a, enfin, souhaité savoir quels étaient les indicateurs objectifs de la situation réelle d'une université et s'est interrogé sur les conditions dans lesquelles il serait possible de regrouper les compétences dans le domaine des sciences de la vie, compte tenu de la multiplicité des organismes de recherche impliqués.
Le Professeur Jean-François Alexandre Dhainaut, président de l'AERES, a répondu que l'AERES s'adaptera à l'autonomie des universités. Actuellement, elle les pousse à devenir plus autonomes, en les incitant à adopter un processus qualité. Un véritable débat doit s'instaurer sur l'autonomie, car il reste encore des habilitations nationales. Si des changements doivent avoir lieu, ils ne seront ni drastiques, ni immédiats.
Une université a le droit de recourir à une autre agence d'évaluation au sein de l'Union européenne, du moment que cette agence est inscrite au registre européen. L'université est libre, mais il y a la barrière de la langue.
L'AERES donne des conseils, fait des recommandations aux universités et revient évaluer quatre ans plus tard ; si les recommandations n'ont pas été suivies, elle demande des justifications.
Les comités nationaux d'évaluation existants n'ont pas de raison de disparaître. Leurs missions ont évolué, de même que celles du CNU devenues plus restreintes.
L'ANR, qui traite des projets, a une fonction très différente de celle de l'AERES.
Les experts sont très sollicités en France, mais aussi en Europe et au niveau mondial. Dix CHU des États-Unis ont ainsi été évalués et certaines publications sont examinées par l'AERES. Le véritable défi pour une instance d'évaluation est de trouver « le bon expert au bon moment ». Il faut certainement éviter les redondances, mais l'évaluation constitue une composante du travail des enseignants-chercheurs et des chercheurs.
Le plan Campus ne fait pas partie du champ d'intervention de l'Agence dont la charge de travail est importante et dont les évaluations ne se limitent pas aux activités de recherche mais s'étendent à d'autres domaines comme la stratégie, la gouvernance, les relations internationales des organismes.
Il est nécessaire de trouver des indicateurs performants. Mais ces indicateurs ne sont que des aides. Il faut également se rendre sur place, observer les conditions de travail, les capacités de créer de nouvelles équipes, débattre avec les personnels car la discussion est également importante.
Fin 2009, l'AERES aura évalué le CNRS, l'INRA, l'INSERM et le CEA ; elle disposera alors d'une vision étendue du domaine des sciences de la vie qui est émietté entre divers organismes et dont le dynamisme repose en partie sur l'apport d'autres disciplines, telles que les mathématiques, la chimie, la physique, l'informatique, les sciences sociales. Il conviendra, alors, de réfléchir à des regroupements.
a posé deux questions sur :
- les réflexions en cours afin d'optimiser et développer des synergies dans le domaine des sciences du vivant où l'on constate de multiples redondances aboutissant à un véritable gâchis de moyens,
- la possibilité de regrouper les efforts déployés, dans ce domaine, par les EPST, les établissements publics à caractère industriel et commercial (EPIC) et les universités, afin de renforcer leur poids au niveau mondial, et d'établir un classement européen.
a formulé diverses observations.
L'autonomie des universités ne peut se concevoir sans une évaluation extérieure.
L'AERES n'a pas vocation à faire des choix qui relèvent de la responsabilité du gouvernement, lequel peut recueillir l'avis d'une commission ad hoc, comme il l'a fait pour le Plan Campus. Mais les choix opérés peuvent prendre en considération les résultats du travail réalisé par l'AERES.
Il faudrait intégrer dans le champ d'intervention de l'AERES les titres délivrés par les écoles d'ingénieurs et de commerce, car ces diplômes ne devraient pas échapper à la procédure d'évaluation de droit commun, par souci de cohérence. Les compétences de l'AERES ont été par ailleurs définies par un texte législatif, qui a une autorité supérieure aux dispositions réglementaires régissant la procédure d'évaluation des titres délivrés par lesdites écoles. Le régime particulier appliqué actuellement à ces derniers est une anomalie résultant de corporatismes. Cet atypisme n'est plus justifié aujourd'hui.
M. Gilbert Barbier, sénateur, a demandé des précisions sur les garanties d'indépendance et d'objectivité assurées par l'AERES, dans le choix des experts, en particulier dans le domaine des sciences humaines et sociales.
, après avoir souligné le caractère indispensable des évaluations réalisées par l'AERES, qui peuvent servir de support aux activités de l'ANR et à l'autonomie des universités, et la qualité du dialogue que l'Agence a noué avec les laboratoires, les établissements et les grandes écoles, a rappelé le travail réalisé par l'Agence depuis son installation, estimant qu'après l'année 2008 consacrée à la mise au point d'une méthodologie, l'année 2009 devrait être axée sur l'organisation stratégique.
a posé une question sur les conditions d'évaluation des équipes multidisciplinaires travaillant sur des projets et de la valeur ajoutée créée par la dynamique qui en découle, soulignant la nécessité d'adapter une procédure d'évaluation très centrée sur les laboratoires ou les organismes aux projets structurants pluridisciplinaires qui constituent pourtant la voie la plus efficace en termes d'innovation et de performances.
Le Professeur Jean-François Alexandre Dhainaut, président de l'AERES, a apporté les éléments d'information suivants :
- Le classement européen des universités mondiales est vraiment une entreprise difficile ; s'il est toujours possible de définir des indicateurs, il faut aussi, comme le fait l'AERES, rencontrer les différents acteurs, établir un dialogue, visiter les établissements et créer une dynamique, car les classements sont toujours frustrants si on ne va pas plus loin.
Le projet est actuellement ciblé sur les écoles d'ingénieurs et de commerce ; la première étude de faisabilité a donc été réalisée sur un secteur présentant des facilités.
Il serait sans doute préférable de travailler en collaboration avec certains pays, comme l'Allemagne. C'est peut-être moins prestigieux, mais c'est plus efficace.
L'AERES participe à un consortium qui absorbe beaucoup de temps, ce qui explique aussi les réserves exprimées sur ce projet.
- Les conditions d'évaluation des titres dispensés par les écoles d'ingénieurs ont un fondement législatif très ancien. Elles sont défendues par un lobby puissant. Dans un premier temps, l'intégration dans les compétences de l'AERES a été envisagée mais cette tentative n'a pas été soutenue. Il convient désormais de prendre en compte ce dualisme et rechercher une collaboration fructueuse.
- L'évaluation dans le domaine des sciences humaines et sociales est difficile. Ces disciplines n'ont jamais été évaluées avant l'institution de l'AERES. Des réticences se sont exprimées et les indicateurs sont moins performants et moins robustes que dans les sciences dures, plus axés sur la bibliométrie. Une grande concertation est en cours à ce sujet.
- L'indépendance est recherchée en évitant les conflits d'intérêts ; quant à l'objectivité, elle dépend de l'indépendance.
- L'évaluation des équipes travaillant sur des projets pluridisciplinaires est un sujet très intéressant. Pour l'instant, le mode d'évaluation n'est pas très satisfaisant. Deux types de dispositifs coexistent, les équipes de projets au sein d'un même organisme, tel qu'à l'INRIA, et puis des équipes nettement pluridisciplinaires, pour lesquelles les solutions d'évaluation restent à trouver, en privilégiant le pragmatisme. Les évaluer par grandes thématiques, plutôt que par équipes est chose complexe. Des travaux de comparaison ont été réalisés, mais les autres pays rencontrent aussi des difficultés. Cette question trouvera probablement une réponse dans deux ou trois ans. Par ailleurs, il est difficile de trouver des experts interdisciplinaires, par exemple des chimistes qui ont l'habitude de travailler avec des biologistes.
Le Président Claude Birraux, député, ayant posé des questions sur l'évaluation des activités de valorisation, sur la participation éventuelle de l'AERES au processus de pilotage de la recherche, et sur la publication de ses travaux, le Professeur Dhainaut, président de l'AERES, a donné les réponses suivantes :
- La valorisation fait partie des quatre items sur lesquels les équipes sont notées, à côté de la production scientifique, de l'attractivité et des capacités nouvelles, des aspects organisationnels et des interactions potentielles.
- En ce qui concerne le pilotage, l'AERES, dont la mission est d'évaluer, éprouverait des difficultés à y participer mais elle contribue aux réflexions, comme le montre l'exemple des CHU.
- Tous les cahiers de méthodologie, les rapports d'activité, des synthèses sont mis en ligne sur le site de l'Agence. Celle-ci a privilégié les publications électroniques pour des raisons de coûts.
Le Président Claude Birraux, député, a remercié le Professeur Jean-François Alexandre Dhainaut d'être venu présenter aux membres de l'Office les travaux de l'Agence qu'il préside et exprimé le souhait de renouveler ces entretiens enrichissants l'année prochaine.