RAPPORT FINAL D'ÉVALUATION

Évaluation du financement de la recherche

Rapport final

Numéro du projet : 96139

Le 4 mars, 2019

NOTE: Une version du rapport d’évaluation du financement de la recherche, contenant des graphiques et des images est également disponible en format PDF : la version PDF.

 

Table des matières

1.0 Objet de l’évaluation

1.1 Aperçu

2.0 Profil et contexte

2.1 Profil financier

3.0 Approche et portée de l’évaluation

3.1 Portée

3.2 Questions d’évaluation

4.0 Méthodologie d’évaluation

4.1 Analyse comparative entre les sexes plus

4.2 Limites et stratégies d’atténuation

5.0 Constats de l’évaluation

5.1 Efficacité du cycle de financement de la recherche

5.2 Comment améliorer l’efficience

5.3 Autres approches

5.4 Disponibilité de la recherche pour les utilisateurs finaux

5.5 Participation des utilisateurs finaux

5.6 Niveau d’effort associé aux processus d’affectation des fonds

5.7 Taux de réussite des demandeurs en fonction du sexe

5.8 Obstacles liés au genre concernant l’accès aux programmes de financement

5.9 Autres obstacles à l’accès aux programmes de financement

5.10 Obstacles à la communication

5.11 Pratiques exemplaires à l’appui de l’équité et de la diversité

6.0 Conclusions and Recommandations

6.1 Efficience

6.2 Analyse comparative entre les sexes plus

7.0 Plan d’action de gestion

ANNEXE 1 : Stratégie d’échantillonnage pour l’analyse comparative entre les sexes plus

ANNEXE 2 – Méthodologie : Valeur du temps du chercheur

1.0 Objet de l’évaluation

L’évaluation a permis d’évaluer l’efficacité de 16 programmes de financement de la recherche par des fonds de F et E et de déterminer si les processus de demande, de sélection ou d’administration pour ces seize programmes appuient l’équité et la diversité.

1.1 Aperçu

Ce rapport présente les résultats de l’Évaluation du financement de la recherche. Les 16 programmes de financement (voir tableau 1) évalués sont gérés par le Secteur des sciences des écosystèmes et des océans (SEO).

L’évaluation a été menée conformément à la Politique sur les résultats (2016) du Conseil du Trésor, en vertu de laquelle les ministères doivent mesurer et évaluer le rendement, puis utiliser les renseignements obtenus afin de gérer et d’améliorer les programmes, les politiques et les services.

La Division de l’évaluation de Pêches et Océans Canada (MPO) a effectué l’évaluation entre avril 2018 et janvier 2019, conformément au Plan d’évaluation ministérielle du MPO.

Tableau 1 - Nom, acronyme et abréviation des programmes

Sciences des écosystèmes Programme des sciences de l’Arctique (SA)
Programme sur les agents de stress écosystémiques (ASE)
Programme stratégique de recherche et d’avis fondés sur l’écosystème (PSRAFE)
Programme de recherche conjointe en sciences halieutiques (PRCSH)
Programme scientifique de la Stratégie de gouvernance internationale (SGI)
Programme de sciences halieutiques et de recherche sur les écosystèmes (PSHRE)
Programme du Fonds national de surveillance (FNS)
Programme sur les espèces aquatiques envahissantes (EAE)
Programme des services d’adaptation aux changements climatiques en milieu aquatique (PSACCMA)
Programme du Centre d’expertise sur les mammifères marins (CEMM)
Sciences stratégiques et réglementaires Programme de recherche sur la réglementation de l’aquaculture (PRRA)
Programme coopératif de recherche et développement en aquaculture (PCRDA)
Programme de l’Initiative de recherche et développement en génomique (IRDG)
Programme du Centre d’expertise sur la santé des animaux aquatiques, recherche et diagnostic (CESAARD)
Programme sur les interactions entre l’aquaculture et l’écosystème (PIAE)
Programme du Centre de recherche sur la réglementation de la biotechnologie aquatique (CRRBA)

2.0 Profil et contexte

Les programmes inclus dans l’évaluation financent une variété de recherches et appuient différents objectifs scientifiques de Sciences des écosystèmes et de Sciences stratégiques et réglementaires. Les fonds existent parallèlement à d’autres programmes de recherche du Secteur des SEO; cependant, contrairement aux principaux programmes scientifiques, les budgets de ces 16 programmes de financement sont répartis au moyen de divers processus concurrentiels, concurrentiels ciblés ou d’appels directs destinés aux chercheurs principaux et à leurs équipes de projet.

Les résultats de la recherche contribuent aux responsabilités essentielles du MPO à l’égard des pêches et des écosystèmes aquatiques. Les programmes de recherche appuient également les priorités de divers utilisateurs finaux, tant à l’interne qu’à l’externe. Par exemple, les clients internes du MPO comprennent les programmes de gestion de l’aquaculture, de gestion des écosystèmes, de gestion des océans et de gestion des ressources halieutiques. Les clients externes sont l’Agence canadienne d’inspection des aliments, Santé Canada et Environnement et Changement climatique Canada. L’Agence canadienne d’inspection des aliments, par exemple, est le principal client de la recherche menée dans le cadre du Programme du Centre d’expertise sur la santé des animaux aquatiques, recherche et diagnostic.

Quinze des 16 programmes sont accessibles uniquement aux employés du MPO, la majorité des candidats étant des chercheurs scientifiques et des biologistes. Le personnel scientifique des sciences physiques, de la chimie, de la médecine vétérinaire et du soutien scientifique peut également présenter des demandes. Le seul programme dont les fonds sont ouverts à des chercheurs externes est le Programme de recherche conjointe en sciences halieutiques. Ce programme est réalisé conjointement par l’industrie des pêches de l’Atlantique et les scientifiques du MPO. L’industrie recueille les données et le MPO les utilise pour améliorer les activités d’évaluation des stocks principaux.

Les programmes de financement sont gérés par des gestionnaires de fonds nationaux qui travaillent à l’administration centrale, en collaboration avec les coordonnateurs de fonds régionaux, selon des procédures et des processus élaborés et acceptés collectivement.

Les programmes de financement peuvent être regroupés en fonction de trois types de processus de sollicitation :

Concurrentiel  : appel ouvert à tous les scientifiques admissibles

  • Programme des sciences de l’Arctique (SA)
  • Programme stratégique de recherche et d’avis fondés sur l’écosystème (PSRAFE)
  • Programme scientifique de la Stratégie de gouvernance internationale (SGI)
  • Programme des services d’adaptation aux changements climatiques en milieu aquatique (PSACCMA)
  • Programme sur les agents de stress écosystémiques (ASE)
  • Programme coopératif de recherche et développement en aquaculture (PCRDA)
  • Programme de l’Initiative de recherche et développement en génomique (IRDG)

Concurrentiel ciblé : appel concurrentiel distribué à un groupe ciblé de scientifiques

  • Programme sur les espèces aquatiques envahissantes (EAE)
  • Programme du Centre d’expertise sur les mammifères marins (CEMM)
  • Programme du Centre d’expertise sur la santé des animaux aquatiques, recherche et diagnostic (CESAARD)
  • Programme du Fonds national de surveillance (FNS)
  • Programme de recherche conjointe en sciences halieutiques (PRCSH)

Ciblé : un groupe précis de scientifiques est invité à soumettre des propositions

  • Programme de sciences halieutiques et de recherche sur les écosystèmes (PSHRE)
  • Programme de recherche sur la réglementation de l’aquaculture (PRRA)
  • Programme sur les interactions entre l’aquaculture et l’écosystème (PIAE)
  • Programme du Centre de recherche sur la réglementation de la biotechnologie aquatique (CRRBA)

2.1 Profil financier

La valeur totale estimée de fonds de F et E pour l’ensemble des 16 programmes de financement est présentée dans la Figure 1. La valeur globale des fonds de F et E disponibles pour appuyer les 16 programmes de recherche a augmenté au cours des cinq dernières années. Les investissements les plus récents ont profité aux programmes de financement de la Direction générale des sciences des écosystèmes. Cette augmentation s’explique par la création de nouveaux programmes de financement dans le cadre du budget de 2016 (p. ex. Sciences de l’Arctique, Agents de stress écosystémiques).

Figure 1 : Dépenses totales réelles/estimées de F et E pour les 16 programmes de financement (EF 2013-2014 à 2017-2018)



L’évaluation a fait face à des limites concernant le suivi des dépenses réelles pour les 16 programmes. Plus précisément, il existe des différences régionales dans le codage des dépenses. Par exemple, le financement de la recherche a été intégré dans l’enveloppe régionale générale de F et E pour les activités scientifiques de certains programmes. Les estimations ou les chiffres révisés des dépenses réelles fournis par les régions ont été utilisés lorsqu’on soupçonnait d’importantes erreurs de codage.

3.0 Approche et portée de l’évaluation

L’approche et la portée de l’évaluation ont été établies durant la phase de planification, qui comprenait des consultations avec le Secteur des SEO et des représentants des clients.

3.1 Portée

L’évaluation a porté sur 16 programmes de recherche interne dans le cadre desquels les scientifiques du MPO demandent des fonds de F et E pour mener leurs travaux. Ces programmes ne comprenaient aucune des recherches scientifiques principales effectuées par SEO, ni aucun des autres programmes de recherche du Secteur des SEO financés à l’aide des budgets d’immobilisations ou de subventions et contributions.

L’efficacité des 16 programmes de financement a été évaluée afin de déterminer des améliorations possibles. Une analyse comparative entre les sexes plus (ACS+) a été réalisée afin d’examiner s’il existe des groupes sous-représentés dans ces programmes, en accordant une attention particulière au nombre de scientifiques de sexe féminin qui demandent ou reçoivent du financement. D’autres facteurs identitaires (p. ex. la langue officielle) ont également été analysés afin de relever d’éventuels obstacles ou défis connexes pour certains groupes de scientifiques.

3.2 Questions d’évaluation

Des données ont été collectées et analysées de manière à répondre aux questions suivantes :

  1. Dans quelle mesure les différentes phases du cycle de financement de la recherche par des fonds de F et E sont-elles efficaces (p. ex. l’établissement des priorités, les propositions, les examens, les approbations et la présentation des résultats de la recherche)?
  1. Y a-t-il d’autres approches qui seraient plus efficaces pour financer la recherche?
  1. Dans quelle mesure les résultats de la recherche répondent-ils aux besoins des utilisateurs finaux?
  1. Dans quelle mesure les structures du Secteur des SEO (p. ex. la gouvernance, les structures décisionnelles et la planification) conviennent-elles pour appuyer l’efficience du programme?
  1. Les processus de demande et d’approbation des programmes de financement de la recherche par des fonds de F et E sont-ils équitables pour tous les demandeurs potentiels?

4.0 Méthodologie d’évaluation

L’évaluation a utilisé plusieurs sources de données, tant qualitatives que quantitatives :

Entrevues : Des entrevues ont été menées auprès de 46 personnes et informateurs-clés représentant la haute direction du MPO, le personnel du programme à l’administration centrale ainsi que toutes les régions du MPO et les clients internes et externes des programmes, en vue de déterminer la portée de l’exercice.

Schématisation des processus : Les entrevues menées auprès des gestionnaires de programmes nationaux ont permis de mieux comprendre comment chaque programme est structuré, administré et exécuté à l’échelle nationale et régionale. L’information recueillie a servi à remplir un modèle normalisé et à créer un schéma de processus pour chaque programme, indiquant les étapes suivies pour administrer le programme et pour documenter la façon dont les priorités sont définies, les propositions sont sollicitées et les demandes sont examinées, recommandées et approuvées. Les modèles et les schémas de processus ont été validés auprès des gestionnaires à la suite des entrevues et ont contribué à l’évaluation des pratiques exemplaires et des cas de gains d’efficience et d’inefficacités.

Examen des documents : L’examen des documents du programme (p. ex. outils et modèles, guides de préparation des demandes, appels de propositions, procès-verbaux des comités directeurs) visait à analyser les bonnes pratiques et la cohérence entre les 16 programmes. Il portait également sur les pratiques d’autres ministères, ainsi que sur des études, examens, évaluations et vérifications antérieurs. « L’Examen du processus de financement concurrentiel du Secteur des SEO du MPO » récemment effectué dans les régions a été un document clé qui a servi à éclairer l’évaluation et à structurer la collecte de données afin d’éviter le chevauchement des efforts régionaux.

Analyse des données administratives :

Une analyse comparative entre les sexes plus : Les données sur les ressources humaines ont été obtenues et manipulées afin de créer une base de données qui permettrait à l’équipe d’évaluation d’associer les candidats retenus (chercheurs principaux) à leur sexe biologique autodéclaré afin d’évaluer le taux de succès des scientifiques de sexe féminin. De plus amples détails sur la stratégie d’échantillonnage pour l’analyse comparative entre les sexes plus se trouvent à l’annexe 1.

Revue des livrables : De plus, les listes de projets financés ont été demandées pour pouvoir créer un échantillon aléatoire de projets terminés. L’échantillon de 34 projets, sur un total possible de 251 (taille de l’échantillon de 14 %), a été utilisé pour évaluer si la recherche a été menée comme prévu à l’origine et si elle a été réalisée conformément au calendrier prévu.

Revue de littérature : Un examen des documents et des sites Web pertinents a été effectué afin de définir l’approche la plus réalisable et la plus appropriée pour mener l’ACS+ dans le cadre de cette évaluation. La revue de littérature a également servi à définir les processus et les pratiques exemplaires comparables pour faire tomber les barrières de genre dans le cadre des processus de demande, de sollicitation et de révision.

Sondages :

Sondage auprès des demandeurs : Ce sondage a été envoyé aux chercheurs des groupes de classification suivants : SERES, SEREM, BI, PC, CH, CH, VM, EG[1]. Les répondants ont été invités à évaluer l’efficacité du modèle actuel d’affectation des fonds et à proposer des solutions possibles pour remédier aux inefficacités connues. Le sondage s’appuyait sur les résultats de « l’Examen du processus de financement concurrentiel du Secteur des SEO du MPO » (mai 2018) pour dégager les synergies entre l’évaluation et ce processus interne. On a également demandé aux chercheurs du Secteur des SEO de préciser les obstacles potentiels à l’accès aux fonds en fonction de divers facteurs identitaires. Le taux de réponse a été de 29 %, soit 310 personnes sur les 1 073 répondants possibles. Le tiers des répondants appartenaient au groupe SERES (n=104) et près de la moitié étaient des BI (n=140).

Sondage auprès des membres des Comités d’examen : Tous les examinateurs internes du MPO qui siègent aux comités ont reçu le sondage. On leur a posé les mêmes questions qu’aux demandeurs, avec quelques questions supplémentaires propres au processus d’examen. Le taux de réponse a été de 55 %, soit 60 personnes sur les 109 répondants possibles.

Sondage auprès des utilisateurs finaux : Le sondage a été distribué à 736 personnes-ressources des programmes du MPO pour l’évaluation du Secrétariat canadien de consultation scientifique. Le sondage renfermait quatre questions sur les programmes de financement de la recherche; 149 personnes ont répondu, soit un taux de réponse de 20 %. On a demandé aux utilisateurs finaux du MPO de fournir une rétroaction sur la mesure dans laquelle les projets financés correspondaient à leurs priorités et à leurs besoins. Ils devaient également indiquer leur degré de satisfaction quant à la façon dont ils sont consultés dans le processus d’établissement des priorités et dont les résultats leur sont communiqués.

Profil financier et analyse du niveau d’effort : Les données financières et les résultats du sondage ont été analysés conjointement afin d’estimer le niveau d`effort associé à l’affectation des fonds pour l’exercice 2017-2018. Dans le sondage mené auprès des demandeurs, on a demandé aux répondants d’estimer le nombre total de jours de travail consacrés à l’établissement des priorités, à l’élaboration des propositions, à l’examen des propositions, à la présentation de mises à jour sur la recherche et à la rédaction des rapports finaux. Les estimations des jours ouvrables ont été combinées aux coûts salariaux (en dollars de 2017-2018) pour estimer la valeur du niveau d’effort en terme de salaires des chercheurs.

4.1 Analyse comparative entre les sexes plus

À la demande du SMA, Sciences des écosystèmes et des océans, et conformément à la Directive sur les résultats (2016) du Conseil du Trésor, l’évaluation comprenait une analyse des facteurs de l’analyse comparative entre les sexes plus (ACS+).



Qu’est-ce que l’ACS+?

L’ACS+ est un processus, un produit ou un outil analytique que l’on utilise pour évaluer les effets possibles des politiques, des programmes, des services et des autres initiatives sur divers groupes de femmes et d’hommes, et qui tient compte du genre et d’autres facteurs identitaires.

Le sexe biologique et le genre servent de point d’entrée à l’analyse. Le « + » dans la dénomination souligne le fait que l’analyse comparative entre les sexes va au-delà du sexe et du genre et comprend l’examen d’un éventail d’autres facteurs identitaires qui se recoupent (comme l’âge, le niveau d’instruction, la langue, la géographie, la culture et le revenu).

Comment l’Évaluation du financement du Secteur des sciences a-t-elle mené l’ACS+?

  • On a utilisé des données administratives, ventilées par sexe biologique (c.-à-d. féminin et masculin), pour calculer le taux de réussite des demandeurs à un échantillon de programmes de financement.
  • On a eu recours à des entrevues et à des sondages menés auprès des demandeurs et des membres des comités d’examen pour déterminer si des facteurs identitaires (comme le genre, l’état de carrière, la langue) ont posé des obstacles ou des difficultés pour la participation des demandeurs aux programmes de financement.
  • On a recueilli les opinions dans le cadre d’entrevues et de sondages sur la mesure dans laquelle tous les demandeurs admissibles ont accès au financement de la recherche par des fonds de F et E.
  • On a également comparé les processus du Secteur des SEO aux pratiques exemplaires relevées dans la littérature et utilisées par d’autres ministères fédéraux qui administrent des fonds de recherche, comme le Conseil de recherches en sciences naturelles et en génie.

4.2 Limites et stratégies d’atténuation

Afin d’atténuer le plus possible les limites, les données provenant de plusieurs sources de données ont été triangulées. Cette méthode a été appliquée afin de démontrer la fiabilité et la validité des constats ainsi que pour veiller à ce que les conclusions et les recommandations soient fondées sur des données probantes objectives et documentées. D’autres stratégies d’atténuation sont décrites dans le tableau ci-après, le cas échéant, à divers autres endroits du présent rapport.

Tableau 2 : Limites liées à l’évaluation

Limitation

Atténuation

Complexité des programmes - L’équipe d’évaluation a été confrontée à des défis concernant la portée de cette évaluation, en raison de la variété et de la complexité des contextes individuels pour chacun des 16 programmes. Par exemple, leur valeur varie de 250 000 dollars à plus de 2 millions de dollars. Certains existent depuis 20 ans et d’autres depuis seulement deux ans. Chaque programme est axé sur des priorités uniques et vise à répondre aux besoins d’un groupe unique d’utilisateurs finaux, pour la plupart internes au MPO, mais certains sont externes. De plus, ces programmes utilisent un mélange d’approches concurrentielles et ciblées pour solliciter des propositions. Les 16 programmes font également partie d’un univers scientifique plus vaste comportant d’autres types de programmes de recherche qui n’ont pas fait l’objet de la présente évaluation, comme le financement de base, le financement des immobilisations et le financement des subventions et contributions.

Afin d’atténuer les défis liés à la complexité globale, des stratégies d’échantillonnage ont été élaborées pour diverses méthodes d’évaluation, notamment l’ACS+, l’analyse financière et l’examen des produits livrables des projets. Lorsque les résultats ont été généralisés, les limites relatives à l’échantillon utilisé ont été clairement décrites dans le rapport.

Disponibilité des données pour l’analyse comparative entre les sexes plus - Pour l’ACS+, les seuls facteurs identitaires pour lesquels des données étaient disponibles étaient le sexe biologique et la première langue officielle. L’information sur les autres facteurs identitaires comme le genre, l’âge et le statut d’Autochtone n’était pas disponible, car elle n’était pas consignée dans le processus de demande pour aucun des programmes de financement; elle n’est actuellement pas non plus disponible dans le cadre des statistiques sur les employés du Secteur des SEO ou du MPO.

Pour examiner un plus large éventail de facteurs identitaires, l’équipe d’évaluation a posé des questions, au cours des entrevues et des deux sondages, sur les obstacles liés au genre, à l’âge, à la langue officielle, à l’origine ethnique et à l’emplacement géographique.

Détermination des demandeurs admissibles - Il a été difficile de définir clairement les employés du Secteur des SEO qui étaient admissibles à chacun des 16 programmes de financement. Cela a créé un problème pour dresser la liste des participants au sondage. De ce fait, il a été difficile de déterminer avec un degré élevé de confiance dans quelle mesure l’échantillon représentait le groupe cible du sondage mené auprès des demandeurs. Cette difficulté ne s’est pas posée pour le sondage réalisé auprès des examinateurs puisqu’il a porté sur tous les examinateurs internes du MPO.

Pour atténuer ce problème, l’équipe d’évaluation a utilisé la liste de tous les employés du Secteur des SEO en mai 2018 et a distribuer le sondage à des postulants de sept classifications d’emploi* considérées comme susceptibles de pouvoir accéder à ces fonds. Des questions filtres ont été ajoutées pour exclure les participants qui n’avaient eu accès à aucun des fonds au cours des cinq dernières années.

* Les membres du groupe de classification EG travaillant dans les services hydrographiques n’étaient pas admissibles aux programmes et ont été exclus du groupe visé par le sondage.

Absence de politique pour juger les constats de l’ACS+ - En l’absence d’un cadre officiel ou d’une politique officielle en matière d’équité et de diversité concernant les processus d’affectation des fonds, l’équipe d’évaluation n’a pas été en mesure de porter un jugement sur les résultats découlant de l’analyse comparative entre les sexes.

L’évaluation fournit les résultats de l’ACS+ sans porter de jugement sur ce qui a été observé. La signification et l’incidence de ces résultats seront déterminées lors des présentations à la haute direction du Secteur des SEO.

Aucun modèle de financement comparable - L’équipe d’évaluation n’a pas été en mesure de trouver un autre organisme ou ministère fédéral qui utilise un modèle interne semblable d’affectation des fonds pour la recherche. Cela a limité la mesure dans laquelle nous avons pu comparer tous les aspects des pratiques du Secteur des SEO pour exécuter et administrer ses programmes de financement.

L’évaluation s’est appuyée sur la documentation, y compris les pratiques pertinentes pour l’administration des subventions et des contributions, et sur les pratiques du Conseil de recherches en sciences naturelles et en génie du Canada, qui alloue des fonds de recherche externes et qu’elle a considéré comme un ministère comparable.

5.0 Constats de l’évaluation

5.1 Efficacité du cycle de financement de la recherche

Résultat : Il existe des preuves évidentes de l’existence de bonnes pratiques dans chacun des programmes de financement. Toutefois, collectivement, les programmes ne sont pas mis en œuvre de façon normalisée ou uniforme, ce qui entraîne des inefficacités générales.

 

L’efficience a été définie dans les sondages comme étant atteinte en coordonnant et en rationalisant les processus d’affectation des fonds et en gérant le niveau d’effort par rapport aux objectifs visés (p. ex. propositions, examens et recherche de qualité). On peut également accroître l’efficacité en évitant la duplication à n’importe quelle étape des processus d’affectation des fonds ou d’examen.

Les 16 programmes appliquent de bonnes pratiques pour administrer leurs fonds, et bon nombre permettent de réaliser des gains d’efficience. Toutefois, les pratiques ne sont pas uniformes d’un programme à l’autre. Voici des exemples de bonnes pratiques en usage à différentes étapes :[2]

Administration des programmes

  • La plupart des programmes (n=14) autorisent un financement pluriannuel, cité dans la documentation comme une pratique qui permet une affectation efficace des fonds.
  • Bon nombre d’entre eux (n=9) ont un mandat énonçant clairement les rôles et les responsabilités du programme ou du fonctionnement des comités de surveillance et d’examen.

Appel de propositions

  • De nombreux appels (n=11) fournissent des modèles ou gabarits pour la rédaction de la proposition.
  • Près de la moitié des programmes utilisent une lettre d’intention, ce qui permet d’éviter d’examiner les propositions intégrales en éliminant celles qui pourraient ne pas être pertinentes ou admissibles.
  • Quelques programmes (n=3) lancent leur appel de propositions (et leur processus d’examen) avec d’autres programmes, ce qui réduit le double emploi administratif.

Demandes

  • De nombreuses demandes (n=10) ont une longueur maximale de deux à huit pages.
  • Beaucoup de propositions (n=9) doivent spécifier la priorité précisément visée.
  • Seules quelques-unes doivent identifier l’utilisateur final prévu de la recherche.

Examen des propositions

  • Les deux tiers des programmes disposent de critères de notation liés à l’effet de levier externe fourni dans le cadre du projet.
  • Quelques-uns (n=4) ont des clients qui participent à l’examen.

Production de rapports

  • Certains ont des exigences en matière de rapports périodiques ou de rapports d’étape.

5.2 Comment améliorer l’efficience

On a demandé aux répondants des sondages menés auprès des demandeurs et des membres des comités d’examen de classer les trois principales activités qui permettraient d’améliorer l’efficience de divers aspects du processus d’affectation des fonds. L’évaluation a mis à profit le récent examen régional des programmes concurrentiels (MPO 2018) en demandant aux répondants de classer les idées qui étaient un résultat direct de l’examen.

Les trois activités ayant été les mieux classées qui amélioreraient le plus l’efficience du processus de demande (n=261) étaient :

68% ont dit « Créer un calendrier commun pour les appels de propositions et un comité d’examen commun pour tous les programmes de financement ».

65% ont dit « Mettre au point des outils et des modèles de demande normalisés pour tous les programmes de financement par des fonds de F et E ».

43% ont dit « Intégrer les enveloppes de financement ».

Les trois activités ayant été les mieux classées par les membres du comité d’évaluation qui amélioreraient le plus l’efficience du processus d’examen (n=52) [3] étaient :

75% ont dit « Élaborer une approche uniforme d’examen des propositions, applicable à tous les programmes de financement, pour les comités ».

56% ont dit « Élaborer une approche uniforme de notation qui serait utilisée par tous les comités d’examen régionaux et nationaux ».

40% ont dit « Retenir les services d’autres experts scientifiques et techniques pour le processus d’examen technique ».

Les trois activités ayant été les mieux classées qui amélioreraient le plus l’efficience du processus de communication (n=254) étaient :

74% ont dit « Créer un appel annuel de propositions de recherche, diffusé à tout le personnel scientifique du MPO ».

69% ont dit « Élaborer un modèle pour l’information financière, qui comprend l’information sur les processus, la description des fonds et les objectifs globaux ».

47% ont dit « Élaborer une approche cohérente pour tous les programmes de financement, pour aviser les demandeurs, retenus ou non retenus ».

Les trois activités ayant été les mieux classées qui amélioreraient le plus l’efficience de la surveillance et de l’administration (n=251) étaient :

71% ont dit « Définir des critères plus clairs quant au type d’approche de financement utilisé pour répartir les budgets de recherche financés par des fonds de F et E. (p. ex. approche concurrentielle ou ciblée) ».

63% ont dit « Mettre en place un mécanisme pour classer les priorités parmi les programmes ».

57% ont dit « Rationaliser les différents processus utilisés actuellement pour établir les priorités de financement ».

Autres activités susceptibles d’améliorer l’efficience (n=261) etaient :

40% ont dit « Établir des liens (si possible) avec d’autres exercices de définition des priorités du Secteur des SEO ».

39% ont dit « Organiser des appels de propositions conjoints ».

36% ont dit « Faire office de mentor ou offrir de l’aide supplémentaire pour aider le personnel à suivre le processus de demande ».

Malgré l’hypothèse selon laquelle il est très courant que les candidats soumettent la même proposition à plusieurs programmes, seuls 15 % (n=28) des demandeurs interrogés ont indiqué le faire.

5.3 Autres approches

Résultat : Plusieurs possibilités s’offrent au Secteur des SEO pour accroître l’efficience des programmes de financement. Une meilleure coordination, une surveillance globale et une démarche stratégique pourraient permettre de réaliser des gains d’efficience.

L’évaluation n’a pas permis de trouver un ministère fédéral comparable qui utilise un modèle semblable à celui du Secteur des SEO pour le financement de la recherche interne, mais de nombreux informateurs clés appuient les modèles de financement concurrentiel et ciblé. Toutefois, les demandeurs admissibles veulent être mieux informés des raisons pour lesquelles les différents modèles sont utilisés.

Nous avons demandé aux représentants des programmes (n=16) si la structure actuelle du Secteur des SEO fournit l’orientation, le soutien et la surveillance nécessaires au fonctionnement efficace des programmes de financement.

  • Soixante-quatre pour cent des répondants ont indiqué qu’ils travaillent en vase clos et qu’il faut davantage de coordination et de surveillance.
  • Certaines personnes interrogées (n=5) ont dit avoir besoin d’un mécanisme de discussion collective pour partager l’information, les leçons apprises et les pratiques exemplaires. Certains répondants ont suggéré qu’une communauté de pratique pourrait appuyer ces objectifs.

Bien que les programmes déterminent l’ordre des priorités et que certains aient des comités de surveillance, il n’existe pas de plan ou de stratégie scientifique global qui guide les activités de recherche du Secteur des SEO à court, à moyen et à long termes. Quelques personnes interrogées ont indiqué que cela crée des défis lorsqu’il s’agit d’appuyer les priorités des clients, surtout en ce qui concerne les questions de recherche à moyen et à long terme ou les questions émergentes.

Le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG), qui alloue des fonds de recherche à des particuliers et à des organismes de l’extérieur, s’est récemment efforcé d’accroître son efficience :

  • Le CRSNG est en train d’élaborer un plan de recherche global assorti d’un mécanisme pour recueillir les priorités émergentes et à long terme.
  • Le CRSNG réduit le nombre de programmes distincts et harmonise la recherche en fonction des thèmes ou des priorités.

La figure 2, ci-bas, represente les éléments de l’approche utilisée par le CRSNG pour gérer les programmes qu’ils administrent.

Figure 2 – Pratiques de programmes du Conseil de recherches en sciences naturelles et en génie du Canada



5.4 Disponibilité de la recherche pour les utilisateurs finaux

Résultat : Pour un échantillon de projets analysés, la majorité des produits livrables de la recherche étaient achevés ou en cours. Les taux d’achèvement sont plus élevés pour les dates de fin plus récentes.

Résultats de l’examen des produits livrables du projet

  • Trente-quatre projets de huit programmes de financement ont été examinés; ils ont été déclarés terminés dès 2013-2014 ou jusqu’en
    2017-­2018.
  • Un examen des 34 propositions approuvées a révélé que l’ensemble de ces projets portait sur 198 produits livrables. Au moment de l’examen, 63 % en moyenne (n=125) des produits livrables étaient achevés. Vingt-quatre pour cent (n=48) étaient en cours(Figure 3).
  • Le taux d’achèvement le plus élevé pour un programme était de 84 % et le plus bas, de 47 %.

Figure 3 - État d’avancement des produits livrables



Tableau 3 : Pourcentage des livrables completés en novembre 2018

Année d’achèvement du projet

% de produits livrables terminés

2014

100 % (n=2 sur 2)

2015

57 % (n=28 sur 49)

2016

59 % (n=26 sur 44)

2017

67 % (n=46 sur 69)

2018

68 % (n=23 sur 34)

TOTAL

63 % en moyenne


Dix-sept des 34 projets (50 %) ont produit tous les extrants finaux (p. ex. rapport du Secrétariat canadien de consultation scientifique (SCCS) rapport final, publication scientifique, présentation ou transfert des connaissances à un intervenant) prévus dans la proposition. De nombreuses raisons invoquées pour expliquer les retards n’avaient pas été prévues : problèmes liés à la météo ou à l’équipement; retards dans les processus de dotation; retards dans l’obtention des permis nécessaires; retards dus à Services partagés Canada; changements dans la procédure d’échantillonnage.

Résultat : Les clients se sont dits peu satisfaits de la façon dont ils sont consultés pour déterminer l’ordre des priorités et dont les résultats leur sont communiqués.

Nous avons sondés les utilisateurs finaux internes de la science produite à travers les seize programmes de financement ont été sondés. Il y a eu 149 répondants au sondage provenant de dix secteurs ou programmes du MPO (Figure 4).

Figure 4 – Répondants au sondage des clients et utilisateurs finaux par programmes du MPO



Le sondage a généré les résultats suivants :

48 % ne sont pas satisfaits ou sont partiellement satisfaits de la mesure dans laquelle ils sont consultés pour déterminer l’ordre des priorités qui orientent les sujets de recherche scientifique au MPO, comparativement à 6 % qui sont plus que satisfaits ou très satisfaits.

43 % sont partiellement satisfaits ou insatisfaits de la manière dont les résultats de recherche sont communiqués, comparativement à 11 % qui sont plus que satisfaits ou très satisfaits.

64 % ne savent pas si la recherche est réalisée comme prévu; 49 % ne savent pas si elle répond à leurs besoins en matière d’information scientifique pour éclairer la prise de décisions. 57 % ne savent pas si la recherche se déroule selon le calendrier prévu.



5.5 Participation des utilisateurs finaux

Résultat : Les utilisateurs finaux participent principalement aux exercices d’établissement des priorités, mais ils indiquent que leurs priorités ne sont pas reflétées dans les éléments qui sont financés ou ce qui leur est communiqué. Le Secteur des SEO a la possibilité d’inclure davantage les utilisateurs finaux à d’autres étapes du cycle de financement.

La figure 5 montre les différentes étapes du cycle de financement pour les 16 programmes. De nombreux clients sont invités à contribuer aux exercices d’établissement des priorités. Toutefois, beaucoup des clients interrogés ou sondés ont déclaré que même lorsqu’ils participent à l’établissement des priorités, ils ne retrouvent pas leurs priorités dans les projets financés.Une plus grande participation lors de l’examen et de l’approbation des propositions pourrait aider à résoudre ce problème. Quelques programmes (n=4) font participer les clients au processus d’examen.

Figure 5 – Cycle de financement du Secteur des SEO



De nombreux utilisateurs finaux consultés ne sont pas satisfaits de la communication des résultats et certains ont déclaré qu’ils n’obtiennent souvent pas de résultats. L’examen des documents et la schématisation des processus ont montré que la façon dont la recherche est communiquée varie grandement d’un programme à l’autre.

Certains programmes utilisent des pratiques exemplaires pour communiquer les résultats comme les sites Web, les ateliers après la recherche, et les fiches d’information traduisant des conclusions complexes en langage simple.

5.6 Niveau d’effort associé aux processus d’affectation des fonds

Résultat : Les chercheurs (BI, SE-RES, PC)* qui ont participé au sondage mené auprès des demandeurs ont indiqué qu’en 2017-2018, ils ont consacré un total de 4 374 jours à l’administration, à l’élaboration de propositions et à la production de rapports pour les programmes de financement. Pour ce qui est des salaires des chercheurs, cela représente une valeur estimée à entre 1,4 M$ et 1,9 M$.

L’évaluation a tenté de mesurer la valeur du temps investi par les demandeurs dans le cadre du processus de distribution des fonds.

Cent soixante-treize répondants au sondage des demandeurs ont déclaré avoir consacré un total de 4 374 jours en 2017-18 à l’administration, à l’élaboration de propositions et à la production de rapports pour les programmes de financement.

Les chercheurs ont déclaré avoir consacré le nombre suivant de jours ouvrables au processus d’affectation des fonds en 2017-2018 :

  • Les biologistes (BI) ont déclaré une moyenne de 18 jours ouvrables (soit un peu moins de quatre semaines);
  • Les chercheurs scientifiques (SE-RES) ont déclaré une moyenne de 29 jours ouvrables (soit environ six semaines);
  • Les spécialistes des sciences physiques (CP) ont déclaré une moyenne de 32 jours ouvrables (soit un peu plus de six semaines).

Valeur du temps du chercheur – Mesurée en dollars salariaux

Lorsque l’on convertit le nombre total de jours déclarés par les participants au sondage en dollars salariaux, la valeur du temps des chercheurs est estimée à entre 1,4 M$ et 1,9 M$.

Cela signifie que pour l’exercice 2017-2018, exercice lors duquel les dépenses s’élèvent à 15,8 M$, le niveau d’effort mesuré en dollars salariaux des chercheurs se situait entre 0,14 $ et 0,18 $ en dollars salariaux des chercheurs pour allouer ou gérer un dollar de F et E.

Remarque : Ces chiffres sont basés sur un échantillon du sondage et ne reflètent pas l’ensemble de l’effectif de recherche du Secteur des SEO. La méthodologie détaillée utilisée pour estimer cette valeur est expliquée à l’annexe 2.

Résultat : Selon des données probantes, lorsque tous les efforts et les inefficacités sont pris en compte, le modèle de financement actuel semble offrir d’importantes possibilités d’amélioration.

Autres niveaux d’effort à considérer

Répondants au sondage mené auprès des membres des comités d’examen (n=53), en moyenne, ont déclaré un total de 10 jours ouvrables en 2017-2018 et un total de 518 jours en 2017-2018 à l’évaluation de lettres d’intention, de demandes ou d’autres aspects des programmes de financement.On suppose que la plupart des participants au sondage sont des directeurs, des gestionnaires ou des scientifiques principaux, ce qui suggère une valeur supplémentaires importantes en termes d’investissements salariaux.

Les limites des résultats du sondage mené auprès des membres des comités d’examen sont les suivantes :

  • On n’a pas demandé aux participants d’indiquer leur classification et leur niveau dans le cadre du sondage.
  • Une valeur aberrante qui a déclaré un total de « 260 » jours a été retirée de l’analyse.
  • Au total, 15 répondants ont déclaré « 0 » jour ouvrable, ce qui nous amène à nous demander si la question était claire ou si ces personnes auraient dû être exclues du sondage.

Il y a eu d’autres efforts associés à l’affectation des fonds relevés dans le cadre de l’évaluation :

  • Des efforts de coordination et le processus d’examen ont également lieu au niveau régional : Les données montrent que certaines régions suivent leur propre processus d’examen avant de transmettre les propositions aux comités nationaux. Nous avons demandé aux membres des comités d’examen s’ils examinaient les lettres d’intention ou les demandes avant de les soumettre au processus national : 76 % des répondants ont répondu « oui ».
  • Opérations financières : 43% des demandeurs dont la proposition est retenue subissent des répercussions négatives en raison du moment où les fonds sont débloqués.
  • Conversion des fonds de F et E : Les commentaires qualitatifs tirés du sondage mené auprès des demandeurs ont également fourni des preuves anecdotiques que la conversion des fonds de F et E en fonds salariaux crée des inefficacités (coût des avantages sociaux). Il n’a pas été possible d’évaluer l’ampleur de ce phénomène et, par conséquent, ses répercussions sur l’efficacité du programme.

5.7 Taux de réussite des demandeurs en fonction du sexe

Résultat : Bien qu’un plus grand nombre d’hommes aient présenté une demande dans le cadre des programmes de financement, la proportion de femmes qui l’a fait et la proportion de femmes dont la proposition a été retenue sont égales. Pour l’échantillon examiné, les hommes ont reçu plus d’argent que les femmes.

L’évaluation a analysé un échantillon de projets de recherche financés et non financés. Le taux de demande pour les femmes était inférieur à la population générale des femmes pour l’ensemble du secteur SEO, qui est de 49%.

Combien de scientifiques hommes et femmes ont présenté une demande de financement?



Les scientifiques hommes et femmes ont demandé et obtenu un financement dans les mêmes proportions.



En la proportion des demandeurs, le taux de réussite des femmes était plus élevé pour cinq programmes de financement de l’échantillon et plus faible pour sept.

En ce qui concerne le montant du financement alloué aux demandeurs retenus en fonction du sexe, les constatations suivantes ont été faites :

  • Au total, les scientifiques de sexe masculin ont reçu 43 081 519 $ et les scientifiques de sexe féminin, 27 092 847 $.
  • En proportion, le pourcentage du total des fonds distribués aux candidats masculins retenus (61 %) dépasse le pourcentage de propositions retenues accordées à des participants de sexe féminin (57 %).
  • En moyenne, les femmes dont la demande a été acceptée ont reçu 85 cents pour chaque dollar de recherche reçu par leurs homologues masculins.

Note : L’évaluation n’a pas été en mesure de déterminer les facteurs qui expliquent ces différences

Résultat : Les scientifiques de sexe féminin ont reçu plus de financement dans le cadre de modèles comportant une composante concurrentielle que dans le cadre d’un modèle de financement ciblé. Pour certains programmes administrés de façon entièrement concurrentielle, les scientifiques de sexe féminin ont eu plus de succès que les scientifiques de sexe masculin.

Le taux de réussite des scientifiques de sexe féminin dans le cadre des modèles de financement comportant une composante concurrentielle était de 45 %, comparativement à 22 % dans le cadre de l’approche ciblée. Ce résultat permet de penser que lorsque des demandeurs spécifiques sont invités à formuler et à soumettre des propositions, les invitations sont envoyées à plus d’hommes que de femmes.

Dans l’échantillon, une plus forte proportion d’hommes (n=34) que de femmes (n=11) ont présenté des demandes dans le cadre de programmes ciblés. En raison du manque de données sur les personnes admissibles et celles invitées à présenter une demande, l’évaluation n’est pas en mesure de tirer des conclusions sur l’équité du processus de sélection des demandeurs pour ces deux modèles de financement et de déterminer s’il y a des obstacles ou des biais.

Tableau 4 : Taux de succès par sexe et mode de financement

Modèle de financement

Programme

Demandes de femmes retenues

Demandes d’hommes retenues

Total (n)

Concurrentiel et concurrentiel ciblé

Sciences de l’Arctique

67 % (6)

33 % (3)

9 (4 %)

PSRAFE

56 % (32)

44 % (25)

57 (22 %)

SGI

26 % (9)

74 % (26)

35 (13 %)

PSACCMA

40 % (22)

60 % (33)

55 (21 %)

PCRDA

20 % (4)

80 % (16)

20 (8 %)

IRDG

43 % (3)

57 % (4)

7 (3 %)

EAE

70 % (16)

30 % (7)

23 (9 %)

CEMM

41 % (9)

59 % (13)

22 (8 %)

CESAARD

55 % (11)

45 % (9)

20 (8 %)

FNS

50 % (6)

50 % (6)

12 (5 %)

 Moyenne

 

45 % (12)

55 % (14)

26

 Processus ciblé

PSHRE

33 % (2)

67 % (4)

6 (5 %)

PRRA

20 % (6)

80 % (24)

30 (10 %)

 Moyenne

 

22 % (4)

78 % (14)

18

5.8 Obstacles liés au genre concernant l’accès aux programmes de financement

Résultat : La perception des obstacles liés au genre est limitée, mais certains croient que les demandeurs admissibles n’ont pas un accès équitable aux fonds disponibles dans le cadre de ces programmes.

La plupart des demandeurs et examinateurs interrogés ont indiqué qu’il n’y avait aucun obstacle à l’accès aux programmes de financement en fonction du genre (Figure 6).

Figure 6 – Perception des obstacles liés au genre



La plupart des employés du Secteur des SEO interrogés dans le cadre d’entrevues ou du sondage pour l’évaluation ont déclaré que la qualité scientifique est le principal critère pour l’attribution du financement. Les examens sont conçus pour être neutres. Toutefois, lorsqu’on a demandé aux demandeurs et aux membres des comités d’examen si les demandeurs admissibles avaient un accès égal aux fonds disponibles dans le cadre de ces programmes, leurs réponses étaient partagées. Voir figure 7.

Figure 7 – Perceptions liées à l’accès équitable aux programmes de financement



5.9 Autres obstacles à l’accès aux programmes de financement

Résultat : Il existe une perception parmi les participants à l’évaluation que la situation professionnelle peut constituer un obstacle à l’accès aux fonds. Les résultats du sondage montrent que cette perception est plus marquée chez les examinateurs que chez les demandeurs.

Les résultats du sondage montrent qu’il existe une perception de certains obstacles attribués à la situation professionnelle. Trente-huit pour cent des répondants au sondage mené auprès des examinateurs et 15 % des répondants au sondage mené auprès des demandeurs ont déclaré que les scientifiques admissibles font face à des obstacles liés à leur situation professionnelle (voir figure 8). Certains informateurs clés interrogés ont appuyé cette perception.

Ces constatations concordent avec les résultats de la revue de littérature effectuée pour aider l’équipe d’évaluation à déterminer les facteurs à examiner dans le cadre de l’ACS+. Cette analyse documentaire a révélé que les chercheuses et les chercheurs en début de carrière (CEC) réussissent moins dans les concours de financement de la recherche et ont obtenu moins de fonds de recherche que les candidats masculins et les chercheurs chevronné, respectivement.

Figure 8 - Perception des obstacles liés à la situation professionnelle





Parmi tous les membres de comités d’examen qui ont indiqué qu’il y avait des obstacles en général à l’accès des scientifiques au financement, 58 % ont affirmé que les questions liées à leur situation professionnelle pourraient être réglées par le mentorat et l’introduction de nouveaux critères pour l’appel de propositions et l’examen des propositions.

Résultat : Les données des sondages et entrevues confirment la constatation qu’il y a peu d’obstacles perçus liés à la langue officielle, à l’origine ethnique, à l’âge et à l’emplacement géographique.

On a demandé aux demandeurs et aux membres des comités d’examen s’il existe des obstacles à l’accès au financement liés à la langue officielle, à l’origine ethnique, à l’âge, à l’emplacement géographique et à d’autres critères. Tel qu’indiqué dans le table 5, la majorité des demandeurs et des membres des comités d’examen qui ont répondu aux sondages n’ont pas perçu d’obstacles liés à l’âge, à l’origine ethnique ou à la langue officielle. Certains obstacles liés à l’emplacement géographique ont été perçus. Il est intéressant de noter que les régions qui ont mentionné l’emplacement géographique comme obstacle sont celles qui ont reçu le plus de financement.

Tableau 5 : Barrières perçues liées à différents facteurs d’identité

Réponses

Oui

Non

Ne sait pas

Préfère ne pas
répondre

Facteur identitaire

Examinateurs

Demandeurs

Examinateurs

Demandeurs

Examinateurs

Demandeurs

Examinateurs

Demandeurs

Langue officielle

12 %

3 %

66 %

81 %

20 %

14 %

2 %

2 %

Origine ethnique

4 %

1 %

72 %

83 %

22 %

15 %

2 %

1 %

Âge

6 %

2 %

70 %

71 %

22 %

25 %

2 %

2 %

Emplacement géographique

22 %

20 %

61 %

48 %

14 %

31 %

4 %

1 %

Autre

16 %

18 %

60 %

48 %

24 %

31 %

 

3 %

Remarque : Le taux de réponse au sondage mené auprès des demandeurs variait entre 186 et 190 répondants. 50 examinateurs ont répondu à toutes ces questions.


On a demandé à ceux qui ont indiqué qu’il y avait des obstacles fondés sur un ou plusieurs facteurs identitaires d’expliquer leur réponse. Soixante-dix pour cent des commentaires reçus (n=86 pour les deux sondages) étaient liés à des sentiments d’exclusion à l’étape de la demande, à des perceptions de favoritisme ou de partialité à l’étape de l’examen et à des obstacles liés à la langue.

Il est intéressant de noter que lorsqu’on a interrogé les membres des comités d’examen sur les pratiques susceptibles d’accroître l’efficience du processus d’examen, 30 % des réponses portaient sur les conflits d’intérêts à l’étape de l’examen (c.-à-d. lorsque les membres des comités d’examen doivent examiner des propositions qu’ils ont contribué à élaborer) et sur le manque d’équité.

Certains examinateurs ont suggéré que l’on pourrait corriger les biais en ajustant la composition des comités pour permettre, par exemple, une représentation accrue des experts techniques, y compris des experts externes.

5.10 Obstacles à la communication

Résultat : L’inefficacité des communications à diverses étapes du processus de financement, en particulier la façon et le moment où les demandeurs admissibles sont avisés, limite l’accès équitable aux programmes de financement. L’incohérence de la communication donne l’impression d’un manque de transparence.

L’approche fragmentaire de la communication au sujet des possibilités de financement pourrait représenter le plus grand obstacle à l’accès aux 16 programmes de financement.Beaucoup ont fait remarquer que les communications sont aléatoires et incohérentes d’une année à l’autre et d’un programme à l’autre. Les méthodes utilisées pour aviser les scientifiques vont d’une notification envoyée à toutes les régions aux scientifiques qui apprennent l’existence d’une possibilité par une personne d’une autre région. L’information est communiquée par des voies non officielles, pas à tous les scientifiques admissibles et pas en même temps. L’information transmise à la dernière minute, non communiquée ou donnée en retard entraîne une inégalité d’accès.

De plus, les gestionnaires de fonds nationaux questionnés dans le cadre de l’évaluation connaissaient mal la façon dont les gens étaient informés des possibilités à venir une fois que les appels avaient été envoyés aux régions, ce qui laisse supposer un décalage avec le processus régional.

Un tiers des répondants au sondage mené auprès des demandeurs ont indiqué que le processus visant à les informer des appels de propositions et des fonds disponibles n’est pas transparent (33 % ont répondu « pas du tout » ou « dans une faible mesure »). Voir Figure 9.

Figure 9 – Perception de la transparence lié au processus de distribution des fonds





Limitates principales dans l’analyse comparative entre les sexes plus : Les données probantes sur les points faibles dans la communication des possibilités de financement, combinées au manque de données sur les personnes admissibles et invitées, indiquent que l’évaluation ne couvre pas tous les éléments en cause dans cette problématique.

Voici quelques suggestions avancées par les examinateurs et demandeurs pour améliorer la communication dans les programmes de financement :

  • Transmettre les appels de propositions à tous les scientifiques.
  • Indiquer le montant du financement disponible dans l’appel de propositions.
  • Passer de la pratique de l’envoi de courriels à un processus de notification centralisé et automatique.
  • Faire preuve de transparence au sujet des processus ciblés. Le fait de ne pas informer tous les scientifiques de toutes les possibilités peut entraîner des biais perçus ou réels dans le processus.

Pratiques exemplaires en matière de gestion des conflits d’intérêts dans le financement des propositions :

À l’exception du Conseil national de recherches du Canada qui a récemment reçu des fonds dans le cadre du budget de 2018, le MPO semble être le seul ministère ou organisme fédéral qui dispose d’un grand nombre d’enveloppes de financement internes auxquelles les scientifiques internes demandent des fonds de F et E pour mener des recherches. Toutefois, des organismes subventionnaires externes, comme le Conseil de recherches en sciences naturelles et en génie (CRSNG), ont intégré les pratiques exemplaires à leurs processus et la revue de littérature a permis de déterminer des pratiques susceptibles de favoriser l’équité et la transparence dans le financement de la recherche. Par exemple, une pratique exemplaire consiste à établir des lignes directrices en vertu desquelles les examinateurs qui connaissent des demandeurs doivent déclarer leurs conflits d’intérêts et se retirer du processus d’examen. L’évaluation a permis de constater que lorsque des scientifiques du MPO participent à l’examen technique des propositions, ils se retirent de la discussion lorsqu’il pourrait y avoir un conflit d’intérêts perçu. Cependant, le modèle actuel de comité d’examen du MPO ne permet probablement pas de retirer d’autres membres des comités, étant donné que les demandeurs candidats aux 16 programmes de financement travaillent dans le même ministère et potentiellement dans les mêmes régions, voire dans les mêmes édifices que les examinateurs. La probabilité de connaître des demandeurs est élevée.

La formation obligatoire sur les préjugés inconscients a été adoptée par les organismes subventionnaires de la recherche (p. ex. CRSNG, Les Instituts de recherche en santé du Canada , le Conseil de recherches en sciences humaines) pour aider les pairs examinateurs à comprendre et à ajuster leurs tendances de biais implicites lorsqu’ils évaluent des demandes.

5.11 Pratiques exemplaires à l’appui de l’équité et de la diversité

Résultat : Pour aider à limiter les obstacles perçus, des pratiques exemplaires pourraient être mises en œuvre et les rôles et responsabilités du personnel pourraient être clarifiés en ce qui a trait au soutien de l’équité et de la diversité.

Lorsqu’on a demandé aux informateurs clés internes s’ils suivaient des pratiques à l’étape de la demande ou de la sélection pour appuyer l’équité et la diversité, ils n’ont mentionné que quelques pratiques (p. ex. retirer les noms complets des demandes avant de les examiner). Tel qu’indiqué montre dans la figure 10 ci-dessous, 25 % des examinateurs interrogés ont déclaré que leurs rôles et responsabilités ne sont pas clairs en ce qui concerne le soutien de l’équité et de la diversité dans l’exécution des programmes de financement. En l’absence d’une politique claire, ceux qui participent à l’examen des propositions ne savent pas exactement comment ils peuvent contribuer à la réalisation de cet objectif. Ils ont fait remarquer qu’ils ont besoin de critères clairs pour l’évaluation des propositions afin de préciser ce qu’ils essaient de réaliser et que des orientations seraient bienvenues.

Figure 10 :
Clareté des rôles et responsabilités des membres des comités d’évaluation concernant l’équité et la diversité



Les pratiques exemplaires ont été déterminées à l’aide d’une revue de la littérature et d’une entrevue avec le Conseil de recherches en sciences naturelles et en génie.


Conception du programme

  • Établir un cadre sur l’équité et la diversité.
  • Cibler les groupes sous-représentés afin d’augmenter le nombre de demandeurs potentiels.

Appel de propositions

  • Modifier les exigences relatives aux demandes afin d’inclure un plus grand nombre de membres du groupe cible.
  • Supprimer le langage spécifique au genre des politiques et propositions.
  • Veiller à ce que les politiques du programme soient inclusives et ne présentent pas d’obstacles pour les groupes sous-représentés.
  • Poser des questions d’auto-identification dans les demandes.
  • Demander comment le sexe et le genre sont pris en compte dans la conception de la recherche.

Évaluation des demandes

  • Remettre en question les hypothèses de « succès » de la recherche scientifique.
  • Mettre l’accent sur le projet et non sur la personne.
  • Revoir le processus de sélection des pairs examinateurs.
  • Assurer la diversité des comités pour la prise de décisions.
  • Exiger que les examinateurs reçoivent une formation sur les préjugés inconscients.

6.0 Conclusions and recommandations

6.1 Efficience

Conclusions

Bien que l’évaluation ait révélé que chaque programme de financement utilise certaines pratiques exemplaires observées dans d’autres organisations ou mentionnées dans la revue de littérature, des inefficacités sont créées par l’incidence globale de multiples processus qui augmentera probablement à mesure que de nouveaux fonds seront approuvés et le manque de coordination entre eux. Les données probantes indiquent que le modèle actuel entraîne des efforts importants pour l’organisation et qu’un changement considérable serait nécessaire pour réduire les coûts de transaction. Un examen des pratiques du Conseil de recherches en sciences naturelles et en génie (CRSNG) a révélé que des changements ont été apportés récemment afin de réduire le nombre de programmes uniques administrés séparément et d’harmoniser les activités de recherche avec un plan de recherche global. Ces pratiques pourraient être envisagées pour améliorer l’attribution du financement de la recherche dans le Secteur des SEO. La majorité du Secteur des sciences des écosystèmes et des océans appuie les changements qui amélioreraient l’efficacité de l’exécution des programmes.

Les clients internes du MPO ne sont pas satisfaits de la façon dont leurs priorités sont reflétées dans la recherche financée et dont les résultats de la recherche leur sont communiqués. Cela indique qu’une partie de la recherche financée n’est peut-être pas pertinente ou n’est pas transférée adéquatement aux utilisateurs finaux. Ces deux problèmes pourraient limiter la capacité des clients du MPO d’utiliser l’information produite par la recherche pour appuyer la prise de décisions fondées sur des données probantes, qui est une priorité du Ministère.

Les modèles de financement concurrentiel et de financement ciblé sont tous deux appuyés, mais il faut communiquer davantage avec le personnel pour expliquer la raison pour laquelle tel modèle est appliqué et quand il l’est.

Recommandations

Il est recommandé que la sous-ministre adjointe (SMA), Sciences des écosystèmes et des océans :

  1. Transforme le processus global d’affectation des fonds de recherche. Il faudrait envisager de rationaliser et d’élaborer un modèle visant à accroître l’efficacité globale de l’univers de recherche de Sciences des écosystèmes et des océans.
  2. Ajuste l’affectation des fonds et les processus de recherche afin d’accroître la participation des clients aux principaux points de contact. Une meilleure participation des utilisateurs finaux devrait aider à mieux harmoniser les projets de recherche avec leurs besoins. Cela permettra également de communiquer l’information et les progrès de la recherche aux clients à des étapes clés du processus, y compris à la fin lorsque les résultats de la recherche sont disponibles.

6.2 Analyse comparative entre les sexes plus

Conclusions

Le taux de réussite des femmes est égal à la proportion de celles qui présentent une demande. Il y a certains écarts entre le taux de succès des candidatures féminines selon le type de modèle de financement utilisé pour solliciter des propositions. De plus, il existe un écart entre le montant du financement accordé aux chercheurs de sexe masculin et féminin. Les résultats des sondages et entrevues suggèrent que les préjugés perçus liés au sexe ou au genre sont mineurs en ce qui concerne l’accès au financement. Il existe toutefois une perception d’obstacles liés à la situation professionnelle.

Il existe des données probantes qui indiquent que la manière dont les scientifiques sont informés des possibilités de financement est inefficace, en particulier au stade de la notification lors de la publication des appels de propositions. L’incohérence des pratiques de communication entraîne un accès inéquitable, réel ou perçu, aux fonds dans l’ensemble de la population scientifique.

Il y a peu de pratiques en place ou de directives à l’intention des examinateurs pour appuyer l’équité et la diversité dans l’exécution et l’administration de ces programmes de financement. En l’absence d’une politique ou d’un cadre de référence, l’évaluation n’est pas en mesure de tirer des conclusions sur la question de savoir si les taux de réussite des candidates, le niveau des obstacles perçus et les autres constats de l’ACS+ constituent une préoccupation.

Recommandation

Il est recommandé que la SMA, Sciences des écosystèmes et des océans :

  1. Uniformise la communication sur les possibilités de financement dans le secteur pour l’ensemble des programmes de financement afin de réduire les inégalités réelles ou perçues dans la façon dont les scientifiques reçoivent les renseignements. Bien que le recours à la fois à la sollicitation ciblée et concurrentielle de propositions de recherche bénéficie d’un vaste appui, une meilleure communication au sujet de la justification du choix d’un modèle de financement plutôt que de l’autre, y compris l’invitation d’un groupe particulier de scientifiques plutôt que d’autres, améliorerait la transparence générale.

7.0 Plan d’action de la gestion

Recommandation 1

Recommandation 1 : Il est recommandé que le sous-ministre adjoint, Sciences des écosystèmes et des océans, transforme le processus global d’affectation des fonds de recherche. Il faudrait envisager de rationaliser et d’élaborer un modèle visant à accroître l’efficacité globale du monde de la recherche dans le Secteur des SEO.

Justification : Bien que l’évaluation ait révélé que chaque programme de financement utilise certaines pratiques exemplaires observées dans d’autres organisations ou mentionnées dans la documentation, des inefficacités sont créées par l’incidence globale de multiples processus qui augmentera probablement à mesure que de nouveaux fonds seront approuvés et le manque de coordination entre eux. Les données probantes indiquent que le modèle actuel entraîne des efforts importants pour l’organisation et qu’un changement considérable serait nécessaire pour réduire les coûts de transaction. Un examen des pratiques du Conseil de recherches en sciences naturelles et en génie (CRSNG) a révélé que des changements ont été apportés récemment afin de réduire le nombre de programmes uniques administrés séparément et d’harmoniser les activités de recherche avec un plan de recherche global. Ces pratiques pourraient être envisagées pour améliorer l’attribution du financement de la recherche dans le Secteur des SEO.

Strategie

Le sous-ministre adjoint, en collaboration avec les membres du Comité exécutif des sciences, utilisera cette évaluation et les commentaires reçus pour transformer le système d’affectation des fonds pour la recherche prioritaire. Ce système comprendra l’établissement des priorités du secteur client, des possibilités d’examen externe et des communications plus claires et unifiées avec tout le personnel.

Mesures de gestion

Date d’échéance (D’ici la fin du mois)

Mise à jour sur l’état d’avancement termine/sur la bonne voie/raison de la modification de la date d’échéance

Résultats

Lancement d’un nouveau modèle de financement des sciences

Janvier 2020

   

Mise en œuvre complète du nouveau système de financement (p. ex. décisions d’affectation prises)

Janvier 2021

   


Recommandation 2

Recommandation 2 : Il est recommandé que le sous-ministre adjoint, Sciences des écosystèmes et des océans, rajuste les processus d’affectation des fonds et de recherche afin d’accroître la participation des clients aux principaux points de contact. Une meilleure participation des utilisateurs finaux devrait aider à mieux harmoniser les projets de recherche avec leurs besoins. Cela permettra également de communiquer l’information et les progrès de la recherche aux clients à des étapes clés du processus, y compris à la fin lorsque les résultats de la recherche sont disponibles.

Justification : Les clients internes du MPO sont insatisfaits de la façon dont leurs priorités sont reflétées dans la recherche financée et dont les résultats de la recherche leur sont communiqués. Cela indique qu’une partie de la recherche financée n’est peut-être pas pertinente ou n’est pas transférée adéquatement aux utilisateurs finaux. Ces deux problèmes pourraient limiter la capacité des clients du MPO à utiliser l’information issue de la recherche pour appuyer la prise de décisions fondées sur des données probantes, qui est une priorité du Ministère.

Strategie

Dans le système transformé d’affectation des fonds, l’identification des clients et la nécessité d’une participation continue des clients seront officialisées. Cette transition nécessitera également un mécanisme plus officiel d’établissement des priorités au sein des principaux secteurs clients. Le sous-ministre adjoint, Sciences des écosystèmes et des océans, intégrera ces considérations dans le nouveau processus.

Mesures de gestion

Date d’échéance (D’ici la fin du mois)

Mise à jour sur l’état d’avancement termine/sur la bonne voie/raison de la modification de la date d’échéance

Résultats

Lettre d’appel officielle aux secteurs clients pour les informer de leurs priorités et des agents et personnes-ressources responsables de chaque priorité.

Octobre 2019

   

Inclusion d’attentes en matière de participation continue dans le lancement d’un nouveau modèle.

Janvier 2020

   

Premier rapport officiel sur les priorités financées fourni aux secteurs clients dans le nouveau système de financement.

Mars 2021

   


Recommandation 3

Recommandation 3 : Il est recommandé que le sous-ministre adjoint, Sciences des écosystèmes et des océans, uniformise la communication sur les possibilités de financement dans le secteur pour l’ensemble des programmes de financement afin de réduire les inégalités réelles ou perçues dans la façon dont les scientifiques admissibles reçoivent l’information. Bien que le recours à la sollicitation à la fois ciblée et concurrentielle de propositions de recherche bénéficie d’un vaste appui, une meilleure communication au sujet de la justification du choix d’un modèle de financement plutôt que d’un autre, y compris l’invitation d’un groupe particulier de scientifiques plutôt que d’autres, améliorerait la transparence générale.

Justification : Le taux de réussite des femmes est égal à la proportion de celles qui présentent une demande. Il y a certains écarts entre le taux de succès des candidatures féminines selon le type de modèle de financement utilisé pour solliciter des propositions. De plus, il existe un écart entre le montant du financement accordé aux chercheurs par rapport aux chercheuses. Les résultats des sondages et des entrevues laissent à penser que les préjugés perçus liés au sexe ou au genre sont mineurs du point de vue de l’accès au financement. Toutefois, les examinateurs de propositions ont l’impression qu’il y a des obstacles liés au statut professionnel. Tout porte à croire que la manière dont les scientifiques sont informés des possibilités de financement est inefficace, en particulier au stade de la notification lors de la publication des appels de propositions. L’incohérence des pratiques de communication entraîne un accès inéquitable, réel ou perçu, aux fonds dans l’ensemble de la population scientifique.

Strategie

Le sous-ministre adjoint, en collaboration avec les membres du Comité exécutif des sciences, utilisera cette évaluation et les autres commentaires reçus pour transformer le système d’affectation des fonds pour les activités de recherche selon la priorité. Ce système comprendra l’établissement des priorités du secteur client, des possibilités d’examen externe et des communications plus claires et unifiées avec tout le personnel. Les meilleures pratiques seront intégrées dans la mesure du possible.

Mesures de gestion

Date d’échéance (D’ici la fin du mois)

Mise à jour sur l’état d’avancement termine/sur la bonne voie/raison de la modification de la date d’échéance

Résultats

Une approche unifiée des communications avec tout le personnel concernant le système de financement sera en place avant le lancement.

Janvier 2020

   

 

ANNEXE 1 : Stratégie d’échantillonnage pour l’analyse comparative entre les sexes plus

Analyse quantitative des données

La portée de l’ACS+ fondée sur l’examen des données administratives quantitatives du SEO comprenait 12 des 16 programmes de financement. On a demandé des renseignements sur les propositions financées et non financées, notamment : le titre du projet ou de la proposition, le nom du chercheur principal (CP), la région et la valeur du projet ($). Chaque programme a fourni jusqu’à trois exercices financiers de données, qui ont été inclus dans l’analyse. Les exercices financiers compris allaient de 2016-2017 à 2019-2020.

Seuls les chercheurs principaux occupant des postes de durée indéterminée ont été inclus dans l’analyse des données. Lorsque les projets comptaient plus d’un chercheur principal, deux ont été inclus. Les noms fournis ont été associés aux données disponibles des ressources humaines sur les employés du MPO à partir d’avril 2018, en particulier :

  • titre du poste
  • classification et niveau*
  • région
  • sexe biologique autodéclaré
  • première langue officielle autodéclarée
  • situation d’emploi

* Groupe de classification, p. ex. BI ou RES, plus le niveau ou l’échelon dans la grille salariale.

L’examen des données administratives effectué dans le cadre de l’analyse ACS+ ne comprenait pas d’information sur le genre ou les minorités visibles, car ces données n’étaient pas disponibles.

Avant l’analyse, les noms des chercheurs principaux et leur région ont été retirés de l’ensemble de données. De même, un total de 10 projets ont été exclus de l’analyse (quatre financés et six non financés) en raison de l’absence de données des ressources humaines (RH) (p. ex. chercheurs principaux externes au Secteur des SEO ou au MPO, chercheurs invités, bénévoles).

Analyse qualitative des données

L’analyse qualitative des données a évalué le taux de réussite des scientifiques en fonction des facteurs identitaires suivants, l’accent étant mis sur le sexe :



Les facteurs identitaires ci-dessus ainsi que d’autres facteurs (p. ex. l’âge ou l’origine ethnique) ont été examinés à l’aide de méthodes qualitatives afin de comprendre les autres obstacles perçus et de trianguler les résultats avec ceux de l’examen des données administratives du Secteur des SEO.

  • Sondages : Sondage mené auprès des demandeurs/Sondage mené auprès des examinateurs
  • Entrevues auprès d’informateurs clés
  • Revue de littérature
  • Examen des documents

Limites propres à l’ACS+

  • Aucune donnée n’est actuellement disponible pour le groupe de chercheurs admissibles ou invités à demander un financement scientifique.
  • Tous les programmes n’étaient pas inclus (12 sur 16).
  • Les programmes ont fourni des données sur les projets financés ou non financés pour divers exercices financiers.
  • Dépend de l’exactitude et de l’exhaustivité des données des RH.

Pour réaliser l’ACS+, des données démographiques datant du mois d’avril 2018 ont été reçues pour l’ensemble des employés du Secteur des SEO. L’équipe d’évaluation a supprimé certaines classifications d’emploi et a conservé celles qui correspondaient au groupe scientifique. L’encadré de droite contient les renseignements sur l’échantillon final qui a été utilisé dans l’analyse.

Figure 11 : Stratégie d’échantillonnage pour l’analyse comparative entre les sexes plus



* Comme nous l’avons déjà mentionné, le sexe fait référence au sexe biologique. Le sexe et la première langue officielle sont tous deux autodéclarés. Une source de données manquait en ce qui a trait à la première langue officielle.

** Comprend les groupes de classification des scientifiques qui travaillent au Ministère : BI, SERES, SEREM, CH, PC, VM, EG (services non hydrographiques). Le groupe admissible aux fonds n’est pas disponible.

ANNEXE 2 – Méthodologie : Valeur du temps du chercheur

Analyse du niveau d`effort – Étapes clés

Étape 1 : Recueillir les réponses au sondage concernant le nombre total de jours ouvrables déclarés pour chaque classification et niveau d’emploi.

Étape 2 : Calculer les taux quotidiens pour chaque classification et niveau d’emploi selon trois scénarios basés sur les échelons de salaire potentiels.

Étape 3 : Multiplier le nombre de jours ouvrables par les taux quotidiens de chaque scénario pour chaque catégorie et niveau d’emploi.

Étape 4 : Additionner la valeur pour chaque classification et niveau d’emploi.


Tableau 6 : Valeur estimée – Résultats

Classification

Nombre de répondants /

(% du groupe total pour le sondage)

Nombre de jours ouvrables déclarés

(non ventilé par niveau)

Scénario 1

(Échelon le plus bas)

Scénario 2

(Échelon du milieu)

Scénario 3

(Échelon le plus élevé)

Biologiste (BI)

75/(17,6 %)

1 355

 370 155 $

 439 428 $

 512 520 $

Chercheur (SE-RES)

95/(43,4 %)

2 731

 875 370 $

 1 029 377 $

 1 218 839 $

Sciences physiques (PC)

9/(9,6 %)

288

 108 403 $

 115 969 $

 126 747 $

Total :

179

4 374

 1 353 928 $

 1 584 775 $

 1 858 106 $

Total des dépenses estimées pour l’exercice 2017-2018

15 789 178 $

Remarque : 197 participants au sondage ont répondu à la question sur les jours ouvrables. Trois (3) valeurs aberrantes ont été supprimées, ainsi qu’un (1) autre répondant qui a répondu « autre » à sa classification d’emploi. De plus, 15 répondants des catégories EG et CH ont été retirés pour faciliter l’analyse.


[1] Uniquement les services autres que les services hydrographiques.

[2] Remarque: Ces résultats sont fondés sur l’information fournie à l’équipe d’évaluation et comprennent le programme PIAE, qui n’était pas entièrement mis en œuvre au moment de la collecte des données.

[3] Sondage auprès des membres du comité d’examen seulement.


A folha de truques do HTML tem seu editor embutido onde você pode visualizar o documento em que você está trabalhando. Clique aqui para tentar.