ÉVALUATION DU PROGRAMME DE CONTRIBUTION À LA RECHERCHE UNIVERSITAIRE

RAPPORT FINAL

23 JANVIER 2015

DIRECTION DE L'ÉVALUATION
EVALUATION DIRECTORATE



TABLE DES MATIÈRES


REMERCIEMENTS ET ACRONYMES


REMERCIEMENTS

La direction de l'évaluation souhaite remercier toutes les personnes qui ont contribué à cette étude du programme de contribution à la recherche universitaire. La direction exprime tout particulièrement sa gratitude aux informateurs-clés, qui ont consacré de leur temps et de leurs efforts pour faire part de leurs renseignements et de leurs opinions au cours des entrevues.


ACRONYMES


Acronymes
CNDS Comité national des directeurs des sciences
DRS Directeur régional des Sciences
F et E Fonctionnement et entretien
MPO Pêches et Océans Canada
PCRU Programme de contribution à la recherche universitaire
S et C Subventions et contributions
SCCS Secrétariat canadien de consultation scientifique

SOMMAIRE


INTRODUCTION

Le présent rapport reprend les résultats d'une évaluation du programme de contribution à la recherche universitaire (PCRU) réalisée par la direction de l'évaluation de Pêches et Océans Canada (MPO) et qui s'intéresse au fonctionnement du programme au cours de la période de cinq ans s'étendant de 2009-2010 à 2013-2014. L'évaluation porte avant tout sur les principales questions relatives à la pertinence et au rendement, ce qui comprend l'efficacité, l'efficience et l'aspect économique.

Le PCRU constitue un mécanisme de financement général qui peut être utilisé par les programmes scientifiques du MPO, à condition qu'ils aient les fonds nécessaires dans leurs propres budgets, pour appuyer la recherche universitaire pertinente pour les priorités de recherche du MPO. Bien que la responsabilité ultime de ce programme relève du sous-ministre adjoint (SMA), Sciences des écosystèmes et des océans, des responsabilités particulières sont réparties entre la direction du programme du PCRU, qui est responsable de la supervision des aspects financiers des ententes de contribution du PCRU et de la présentation de propositions admissibles au comité de gouvernance du programme pour approbation, et les directeurs régionaux des Sciences (DRS), qui sont chargés d'amorcer, de financier et de gérer certaines ententes de contribution spécifiques du PCRU.  

Une méthode d'évaluation à petite échelle a été choisie pour cette évaluation en raison du faible niveau de risque du programme, de son importance relative (montant du financement dépensé au cours des cinq dernières années) et du fait que le programme a déjà fait l'objet d'une évaluation, qu'une certaine quantité de données portant sur le rendement a été collectée et que le programme présente un modèle de prestation simple. La méthodologie utilisée comprend un examen de la documentation du programme, la réalisation de dix entrevues avec des informateurs clés, l'analyse des données du programme et un examen des rapports finaux d'un échantillon de dix projets achevés.

Principales constatations et conclusions

L'évaluation a permis de déterminer que le programme demeurait pertinent, puisque des données probantes indiquent un besoin continu de disposer d'un mécanisme géré de manière centrale qui permet aux programmes scientifiques du MPO de s’appuyer sur des  activités de recherche universitaire sur des sujets pertinents au mandat du Ministère. Le programme respecte également les priorités gouvernementales en matière de recherche universitaire, de gestion responsable des ressources et de conservation des pêches, et il contribue à l'expansion de la base de connaissances nécessaire à l'atteinte des résultats stratégiques du MPO. De plus, le PCRU est conforme aux responsabilités du gouvernement fédéral, puisqu'il est conçu pour permettre de réaliser les activités de recherche qui appuient l'ensemble des résultats et des responsabilités du Ministère, comme l'indique la législation habilitante du MPO.

Les données probantes indiquent également que le programme permet d'atteindre les résultats voulus, en particulier la conduite de travaux de recherche universitaire de grande qualité qui répondent aux besoins des programmes scientifiques du MPO et améliorent la qualité des avis scientifiques offerts aux décideurs du MPO.

Le programme est en général bien géré, et selon les entrevues menées auprès de scientifiques du MPO, ces derniers sont satisfaits des connaissances générées grâce aux projets du PCRU.

La mise en œuvre du programme est généralement conforme aux modalités convenues, à part le fait que l'existence du PCRU n'est pas systématiquement et largement communiquée aux prestataires potentiels du financement. Il n'est cependant pas certain que cette publicité soit recommandée étant donné l’absence de sujets de recherche prédéterminés ou de financement prédéfini pour le programme.  Le programme devrait toutefois explorer des moyens de s'assurer que le choix des prestataires du financement ne se limite pas à un bassin trop petit composé de chercheurs universitaires connus, pour ainsi réduire le risque qu’il y ait une perception de favoritisme en ce qui a trait aux décisions d'attribution du financement.

Les résultats de l'évaluation montrent également que la gouvernance du programme ne fonctionne pas tout à fait comme prévu. Les procès-verbaux des réunions révèlent que les propositions de financement du PCRU n'ont pas fait l'objet de discussions entre les membres du Comité national des directeurs des sciences (CNDS); on n'y trouve pas non plus signe de leur engagement à surveiller le rendement du programme.

Plusieurs améliorations ont été apportées aux outils administratifs du programme depuis la dernière évaluation, par exemple l'élaboration d'un modèle logique actualisé et la mise en œuvre d'un formulaire de rapport récapitulatif de projet. Quelques autres améliorations pourraient être apportées afin de consolider la gestion et la mise en œuvre du programme.

Tout d'abord, l'évaluation a permis de déterminer qu'il n'existait pas de procédure d'exploitation écrite liée à l'administration du PCRU, ce qui pose le risque que la mémoire institutionnelle vitale actuelle du Ministère se perde en raison des départs à la retraite ou du roulement de personnel.

Plus généralement, il existe une documentation limitée et peu claire portant sur le mandat spécifique du programme, son mécanisme et les rôles et responsabilités des administrateurs du programme, de la haute direction et des programmes scientifiques clients du MPO. Le rôle particulier du programme à titre de mécanisme de financement devrait être précisé afin de démontrer sa conformité avec la Politique sur les paiements de transfert et plus clairement expliqué et communiqué aux intervenants du programme.

Enfin, tout en reconnaissant que plusieurs améliorations ont été apportées dans ces domaines, le programme pourrait bénéficier de l'augmentation des exigences relatives à l'établissement de rapports liés aux projets de manière à ce que ces derniers comprennent des renseignements financiers et propres aux résultats, ainsi que de la mise en place d'une procédure centrale d'archivage des dossiers plus systématique. Le programme serait ainsi mieux en mesure de répondre aux demandes d'information éventuelles de la direction, de fournir des données probantes pour les futures évaluations et vérifications, et de permettre un accès aux résultats des recherches dans le cadre d'une utilisation potentielle ultérieure par d'autres programmes scientifiques du MPO.

En règle générale, le programme semble fonctionner de manière efficiente et économique, et les projets financés offrent une valeur ajoutée intéressante pour le Ministère.

Recommandations

Les résultats et les conclusions de l'évaluation ont permis de formuler les recommandations suivantes :

Recommandation no 1 : Le SMA, Sciences des écosystèmes et des océans, devrait consulter les membres du CNDS afin de s’assurer de mettre en place des moyens pertinents pour repérer des demandeurs potentiels de projets, y compris en prenant en compte les avantages et les inconvénients liés à la communication de manière officielle et délibérée de l'existence du programme à une communauté plus large de chercheurs universitaires, au-delà des personnes déjà connues des scientifiques du MPO.

Recommandation no 2 : Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer que les membres du CNDS discutent de toutes les propositions du PCRU et réalisent un examen annuel du rendement du programme.

Recommandation no 3 : Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer que les lignes directrices du PCRU en matière d'établissement de rapports sont mises à jour afin que l'ensemble des renseignements financiers et liés aux résultats qui sont essentiels pour surveiller efficacement le rendement du programme soient recueillis, présentés au CNDS et conservés dans le système d'archivage central du programme.

Recommandation no 4 : Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer de la production d'une documentation claire et complète couvrant tous les aspects essentiels de la gouvernance et de la mise en œuvre du PCRU, y compris les rôles et les responsabilités des administrateurs du programme, de la haute direction et des scientifiques du MPO, et d'une procédure normale d'exploitation pour l'administration du programme. Il est également recommandé de réviser les modalités du programme et le modèle logique en conséquence et pour démontrer la conformité avec la Politique sur les paiements de transfert.


1. INTRODUCTION


1.1 OBJET ET PORTÉE DE L’ÉVALUATION

Le présent rapport comprend les résultats d'une évaluation du programme de contribution à la recherche universitaire (PCRU) menée par la direction de l'évaluation de Pêches et Océans Canada entre juin et décembre 2014. Conformément à l'article 42.1 de la Loi sur la gestion des finances publiques et à la Politique sur l’évaluation (2009) du Conseil du Trésor, l’évaluation porte sur les principaux enjeux de la pertinence et du rendement, notamment l’efficacité, l’efficience et l’économie.

Après son lancement en 2004-2005, le PCRU a déjà fait l'objet d'une première évaluation en 2009. Cette évaluation était généralement positive. Les quatre recommandations formulées au terme de cette première évaluation ainsi que les réponses apportées par la direction du PCRU sont présentées à l'annexe A.

La présente évaluation porte sur le fonctionnement du programme pendant la période de cinq ans comprise entre les exercices 2009-2010 et 2013-2014.


1.2 STRUCTURE DU RAPPORT

Le sommaire offre un aperçu de l'objet de l'évaluation, de la méthodologie utilisée, des constatations et des recommandations. Après cette introduction, la section 2 présente les renseignements liés au PCRU tandis que la section 3 décrit la méthodologie d'évaluation utilisée. Les constatations de l'évaluation sont présentées à la section 4, et les conclusions et les recommandations à la section 5. Les informations présentées dans les annexes complètent celles du corps du rapport.


2. PROFIL DU PROGRAMME


2.1 MANDAT ET OBJECTIFS

Le mandat du PCRU provient des modalités approuvées par le Conseil du Trésor en 2004 et modifiées en 2009-2010. Les modalités actuelles sont entrées en vigueur en avril 2010.

Les objectifs fondamentaux du programme, tels qu'énoncés dans les modalités, sont les suivants :

  • Renforcer la capacité du MPO à s'acquitter de son mandat et à relever les défis à venir dans les domaines liés à ses programmes scientifiques et à ses priorités en matière de sciences;
  • Accroître les capacités scientifiques du MPO par l'accès aux ressources et aux connaissances universitaires;
  • Contribuer aux programmes de recherche et développement du MPO et promouvoir l'innovation dans les secteurs industriels des pêches et de l'aquaculture marines et en eaux douces;
  • Donner la possibilité au MPO de collaborer avec le milieu universitaire pour réaliser le plein potentiel du Canada en matière de recherche sur les milieux marins, les eaux douces, les pêches et l'aquaculture, en établissant des liens pour soutenir et accroître les forces complémentaires du gouvernement et des universités dans le réseau canadien de l'innovation.

2.2 ACTIVITÉS

Les principales activités du PCRU consistent à examiner les propositions de contribution du MPO à des projets de recherche universitaire, à fournir l'autorisation pour négocier des ententes de contribution avec les universités participantes, et à examiner les rapports finaux des projets achevés afin de s'assurer que les objectifs des ententes ont bien été atteints.

Bien que la responsabilité ultime de ce programme relève du sous-ministre adjoint (SMA), Sciences des écosystèmes et des océans, des responsabilités particulières sont réparties entre la direction du programme du PCRU, qui est responsable de la supervision des aspects financiers des ententes de contribution du PCRU et de la présentation de propositions admissibles au comité de gouvernance du programme pour approbation, et les directeurs régionaux des Sciences (DRS), qui sont chargés d'amorcer, de financier et de gérer certaines ententes de contribution spécifiques du PCRU1.

La préparation d'une proposition débute à partir du moment où un programme scientifique du MPO a déterminé un besoin en matière de recherche universitaire pour répondre à des besoins d'information actuels ou futurs dans son domaine de responsabilité, et qu'il dispose des fonds de fonctionnement et entretien (F et E) pour financer ces travaux de recherche. Le scientifique ou le gestionnaire du programme scientifique du MPO en question communique avec un collègue universitaire en mesure de mener les travaux de recherche requis. Ensemble, ils préparent une proposition qui sera présentée aux membres du Comité national des directeurs des sciences (CNDS) du MPO. La proposition est présentée à la direction du PCRU afin de déterminer son admissibilité. Si elle est jugée recevable, elle est envoyée par courriel aux membres du CNDS aux fins d'examen.

Les ententes de contribution sont préparées et négociées une fois que les membres du CNDS ont jugé la proposition acceptable. Une fois que la version provisoire de l'entente est prête et que toutes les parties sont satisfaites, elle est signée par le SMA, Sciences des écosystèmes et des océans, et par les personnes pertinentes au sein de l'université d'attache du chercheur.

Les travaux de recherche universitaire sont ensuite réalisés, généralement sous la surveillance du scientifique ou du gestionnaire du programme scientifique du MPO qui a financé la recherche. Les versements sont approuvés par le DRS ou le directeur général responsable, à condition que les prestataires fournissent les rapports d'étape et les déclarations conformément aux modalités de l'entente conclue dans le cadre du PCRU. Une fois le projet de recherche achevé, un rapport final est produit par le prestataire et présenté au DRS ou au directeur général responsable avant le versement du dernier paiement. En s'appuyant sur le rapport final présenté par le prestataire, le scientifique du MPO ou le gestionnaire responsable du programme scientifique prépare un rapport récapitulatif, en utilisant un formulaire normalisé fourni par la direction du PCRU. Le formulaire normalisé requiert entre autres renseignements l'objet du projet, une brève description du projet et son lien avec les priorités du MPO en matière de recherche. Le formulaire comporte également une annexe qui vise à évaluer le rendement du projet à l'aide d'une liste d'indicateurs liés aux cinq résultats immédiats du programme. La direction du PCRU transmet ensuite ces rapports au CNDS.


1 Le MPO compte six régions qui peuvent s'engager dans une entente de contribution dans le cadre du PCRU : Pacifique, Centre et Arctique, Québec, Maritimes, Golfe et Terre-Neuve-et-Labrador. Un directeur général responsable d'une direction scientifique dans la région de la capitale nationale (RCN) peut également amorcer des ententes de contribution.


2.3 MODÈLE LOGIQUE ET MESURE DU RENDEMENT

Le cadre de mesure du rendement qui était compris dans les modalités de 2010 du PCRU comprend un modèle logique, qui est fourni à l'annexe B. Les principaux résultats (immédiats) prévus du programme sont les suivants :

  • Programmes universitaires liés aux domaines prioritaires du Secteur des sciences du MPO
  • Activités de recherche et développement dans des domaines liés aux domaines prioritaires du Secteur des sciences du MPO
  • Accroissement des capacités scientifiques du MPO grâce aux ressources et aux connaissances universitaires
  • Interaction et collaboration du MPO avec le milieu canadien de la recherche universitaire
  • Établissement de partenariats avec l'industrie et les parties intéressées pour contribuer aux programmes de recherche et développement du MPO2

2 Ce résultat n'a pas été examiné dans le cadre de la présente évaluation, puisque les consultations initiales indiquaient qu'aucune activité du programme n'était clairement liée à sa réalisation.


2.4 INTERVENANTS

Les scientifiques du MPO qui participent à la préparation des propositions et à la gestion des ententes constituent les principaux clients du programme. Ils relèvent habituellement gestionnaire de programme scientifique, d'un DRS ou d'un DG qui gère le budget à partir duquel les versements seront effectués. Les autres intervenants clés comprennent la direction du PCRU qui détermine les propositions de projet admissibles et s'assure que les ententes de contribution répondent aux exigences de la Politique sur les paiements de transfert et respectent les paramètres énoncés dans les modalités du programme, les chercheurs universitaires participants et leurs établissements, le président et les membres du CNDS qui sont chargés d'examiner et de recommander l'approbation des propositions universitaires, et le SMA, Sciences des écosystèmes et des océans, qui détient la responsabilité ultime dans le cadre du PCRU.


2.5 GOUVERNANCE

Le CNDS3, présidé par le SMA, Sciences des écosystèmes et des océans, constitue le principal mécanisme de gouvernance du PCRU. Le SMA est ultimement responsable de la gouvernance du PCRU.

Le CNDS se compose du SMA, du directeur général, Sciences stratégiques et réglementaires, du directeur général, Sciences des écosystèmes, du directeur général responsable du Service hydrographique du Canada et des services océanographiques et des DRS des six régions du MPO.

Le directeur général, Sciences stratégiques et réglementaires, agit à titre de gestionnaire principal de la direction du PCRU, et le gestionnaire responsable de la propriété intellectuelle et du partenariat agit à titre de gestionnaire du programme PCRU4.


3 En septembre 2014, le CNDS a été renommé Comité exécutif des sciences.

4 Étant donné le faible nombre de propositions présentées chaque année dans le cadre du PCRU, la direction du PCRU n'utilise qu'une partie du temps du gestionnaire responsable de la propriété intellectuelle et du partenariat.


2.6 RESSOURCES

Le PCRU ne comporte pas de budget. Les fonds qui alimentent le programme sous la forme de contributions à des projets de recherche universitaire proviennent des budgets des programmes scientifiques des régions ou des directions scientifiques centrales du MPO.

Les ressources utilisées pour la gestion directe du PCRU, y compris pour la vérification de la conformité des propositions universitaires aux exigences du programme et la mise en place des ententes de contribution, ont été relativement peu nombreuses au cours des dernières années en raison de la faible utilisation du PCRU par les programmes scientifiques. Ces ressources proviennent du budget salarial de la direction des sciences stratégiques et réglementaires. Les ressources nécessaires pour l'élaboration de propositions avec des chercheurs universitaires et pour la gestion des ententes existantes proviennent des budgets de la région ou de la direction qui finance le projet de recherche universitaire en question.

Les modalités du PCRU ne permettent pas que le programme utilise un financement supérieur à 1,6 M$ par an. Le tableau 1 indique que le montant des contributions au cours des cinq dernières années était bien inférieur à cette limite.

Tableau 1 : Budgets de contribution du PCRU et dépenses5

Tableau 1
  Milliers de dollars (au millier près) %
2009-10 2010-11 2011-12 2012-13 2013-14 Total sur cinq ans
Contribution admissible maximale 1 600 1 600 1 600 1 600 1 600 8 000 100,0
Contribution réelle 797 596 584 275 170 2 422 30,3

5 Source : Base de données du programme tenue à jour par la direction chargée de la gestion du PCRU.


3. MÉTHODE D’ÉVALUATION


3.1 PORTÉE

Pour déterminer la portée de l'évaluation, la direction de l'évaluation a pris en compte le montant relativement faible de financement du MPO qu'a reçu le PCRU pour la recherche universitaire au cours des cinq dernières années, ainsi que le faible niveau de risque6. Elle a également tenu compte du fait que le programme a déjà fait l'objet d'une évaluation, qu'une certaine quantité de données portant sur le rendement a été collectée et que le programme présente un modèle de prestation simple. Par conséquent, une approche d'évaluation à petite échelle a été jugée appropriée.

Un gestionnaire principal de l'évaluation embauché par la Direction a effectué l'évaluation. Le personnel de la Direction a réalisé un examen critique des versions provisoires des documents d'évaluation clés. La direction du PCRU a fourni une aide essentielle dans le cadre de l'évaluation en désignant les principaux documents, en les rendant disponibles pour les discussions, en fournissant des commentaires à propos des instruments d'évaluation, en encourageant les informateurs clés à participer et en examinant les rapports provisoires.

6 Les dépenses relatives au PCRU représentent une très faible partie des dépenses scientifiques du MPO. Le comité d’experts sur les sciences de la mer a estimé que le MPO avait dépensé environ 250 M$ pour les activités scientifiques en 2010-2011. Au cours de cette même année, les dépenses relatives au PCRU s'élevaient à 596 000 $, soit 0,24 % des dépenses scientifiques totales du MPO.


3.2 MÉTHODE ET CONCEPTION DE L’ÉVALUATION

La démarche pour cette étude consistait à déterminer les enjeux de l'évaluation, à formuler les questions auxquelles il faut répondre, à collecter les données permettant de répondre aux questions, à analyser les résultats et à formuler des recommandations.

Premièrement, il fallait obtenir une compréhension claire du PCRU en consultant des documents généraux, en discutant avec les gestionnaires et en examinant de manière répétée les différents modèles théoriques du programme. Ensuite, à partir des enjeux d'évaluation de base établis dans la Politique sur l’évaluation (2009) du Conseil du Trésor, des questions ont été élaborées afin d'aborder chaque enjeu dans le contexte du programme. Les données requises pour répondre à chacune des questions ont été déterminées, en plus des sources où l'on pouvait les obtenir et de la méthode de collecte appropriée.

Aucune des questions n'a nécessité de conception expérimentale. Dans la mesure du possible, la validité et la fiabilité des résultats relatifs à chaque question ont été renforcées à l'aide de données provenant de plusieurs sources.


3.3 PRINCIPAUX ENJEUX ET QUESTIONS DE L’ÉVALUATION

L'annexe C présente les principaux enjeux, les questions précises de l'évaluation auxquelles on a répondu, les sources des données et les méthodes de collecte des données. Les principaux enjeux étaient la pertinence et le rendement, y compris l’efficacité, l’efficience et l’économie. Ces enjeux ont fait l'objet de 12 questions générales, elles-mêmes examinées à l'aide de sous-questions formulées dans le cadre des instruments d'évaluation.


3.4 MÉTHODES DE COLLECTE DE DONNÉES

Les méthodes de collecte de données suivantes ont été utilisées dans le cadre de la présente évaluation : entrevues avec des informateurs clés, analyse des données administratives, examen des rapports finaux des projets et examen des documents.

3.4.1  Entrevues avec les informateurs clés

Au total, dix (10) entrevues ont été menées avec des informateurs clés. Ces derniers ont été choisis à l'aide d'un échantillonnage raisonné établi comme suit :

  • Quatre (4) membres du MPO utilisant le programme (des scientifiques du MPO), choisis pour représenter des régions ou des directions présentant une utilisation faible, moyenne, élevée ou inexistante du PCRU;
  • Deux (2) membres de la direction du PCRU, choisis pour leurs connaissances des détails du programme;
  • Quatre (4) prestataires de financement, choisis pour représenter un large réseau de recherche, un projet présentant une composante de sciences sociales et un projet appliqué en laboratoire.

Deux des entrevues ont été menées en personne dans les locaux de l'administration centrale du MPO à Ottawa. Les huit autres entrevues ont été réalisées par téléphone. La majorité des entrevues comprenait une discussion de 50 à 60 minutes menée dans la langue officielle choisie par le répondant.

3.4.2  Analyse des fichiers de données du programme

Une feuille de calcul principale, tenue à jour par la direction du programme, a permis de fournir des données sur le titre des projets, les établissements participants, la contribution financière du MPO par région et par année, ainsi que sur les engagements pour les années à venir. Des sous-feuilles de calcul indiquaient le nom du gestionnaire de projets, la date de signature de l'entente et les versements échelonnés. Les données ont servi à réaliser des calculs afin de répondre à des questions d'évaluation précises.

3.4.3  Examen des rapports relatifs aux projets achevés

Dix des 28 projets réalisés dans le cadre du PCRU au cours des cinq dernières années ont été choisis au hasard. Pour chacun de ces dix projets, le dossier conservé de manière centrale contenant les rapports récapitulatifs finaux a été vérifié. L'exhaustivité des rapports récapitulatifs finaux obtenus a également fait l'objet d'une vérification.

3.4.4  Recherche documentaire et examen

Les renseignements se trouvant dans les documents du programme et les publications relatives aux activités du PCRU ont été extraits. Une recherche a été menée sur le Web afin d'en savoir plus à propos des activités scientifiques et des établissements du MPO, de la politique du MPO en matière de données scientifiques, de la politique du Conseil du Trésor sur les paiements de transfert, des profils des partenaires de recherche universitaire et des projets de recherche sur les océans.


3.5 MÉTHODES D'ANALYSE

Pour analyser les données qualitatives, on a transcrit les notes prises, organisé le texte, puis extrait des thèmes généraux et des messages précis concernant une question donnée ou un ensemble de documents. L'analyse quantitative comprend la vérification croisée des données, la création de nouvelles variables, la programmation des calculs requis, la réalisation de graphiques et le calcul de statistiques.


3.6 LIMITES ET STRATÉGIES D'ATTÉNUATION

La principale limite de cette étude est liée au nombre limité et à la faible diversité des informateurs clés qui ont fait l'objet d'une entrevue. Plus précisément, aucun représentant de la structure de gouvernance de la haute direction du programme n'a été interviewé, et peu de représentants des établissements universitaires qui ont reçu une contribution financière dans le cadre du PCRU ont fait l'objet d'une entrevue. Cette limite a été jugée acceptable compte tenu du faible risque que présente le programme, de la disponibilité des résultats d'une évaluation précédente et de la disponibilité de données administratives relatives au programme.


4. CONSTATATIONS IMPORTANTES



4.1 PERTINENCE

Dans le cadre de l'évaluation, on a examiné si le PCRU répond à un besoin essentiel et est conforme aux priorités et aux responsabilités fédérales et ministérielles.

4.1.1  Nécessité du PCRU

Principales constatations

Il existe un besoin continu de disposer d'un mécanisme géré de manière centrale qui permet aux programmes scientifiques du MPO de s’appuyer sur des activités de recherche universitaire sur des sujets pertinents au mandat du Ministère.

La nécessité pour le MPO d'avoir accès à la recherche universitaire augmente puisque le Ministère vise à comprendre des écosystèmes complexes, ce qui exige le déploiement d'efforts multidisciplinaires comprenant une large gamme d'expertise qui n'est pas toujours disponible au sein du Ministère. Le MPO a besoin d'avoir accès à l'expertise disponible au sein des universités canadiennes et d'un mécanisme qui lui permet de le faire.

Ce besoin d'accéder à des sources externes d'expertise en matière de recherche est renforcé par le fait que la capacité interne du MPO à cet égard a diminué en raison du départ à la retraite des scientifiques expérimentés et de la réduction des budgets ministériels.

La gouvernance centrale du programme fournie par le CNDS constitue un mécanisme nécessaire pour assurer la supervision de la répartition des ressources limitées du gouvernement fédéral dans des secteurs de recherche scientifique jugés prioritaires par Sciences des écosystèmes et des océans et par le Ministère.

Le rôle de la direction du PCRU permet de respecter fidèlement les modalités du programme et les exigences de la Politique sur les paiements de transfert7, ainsi que d'assurer une supervision uniforme des aspects financiers des propositions et des ententes de contribution dans le cadre du PCRU.


4.1.2  Harmonisation avec les priorités du gouvernement fédéral et du Ministère

Principales constatations

Le PCRU est conforme aux priorités gouvernementales en matière de recherche universitaire, de développement responsable des ressources et de conservation des pêches. Le PCRU contribue à l'élargissement de la base de connaissances nécessaire pour atteindre les objectifs stratégiques du MPO.

Le développement responsable des ressources fait partie des priorités énoncées dans le Plan d’action économique du gouvernement du Canada. Dans le cadre du budget fédéral de 2014, le gouvernement a mentionné la conservation des pêches comme une priorité. Le gouvernement a consolidé la recherche universitaire en accordant la plus forte augmentation du financement versé aux conseils subventionnaires fédéraux depuis plus d'une décennie8.

Le PCRU appuie la recherche universitaire qui accompagne les efforts du MPO visant à obtenir des secteurs maritimes et des pêches prospères sur le plan économique, des écosystèmes aquatiques durables et des eaux sûres et sécuritaires, tout en répondant aux priorités du gouvernement canadien. L'information obtenue par le MPO grâce aux projets du PCRU a contribué à l'élaboration d'avis scientifiques, qui ont eux-mêmes permis de gérer les activités du Ministère en s'appuyant sur des données probantes de manière à atteindre les objectifs stratégiques du MPO.



7 Un paiement de transfert est un paiement monétaire ou transfert de biens, de services ou d'actifs effectué en fonction de crédits à une tierce partie bénéficiaire, y compris une société d'État, et qui n'a pas pour résultat l'acquisition de biens, de services ou d'actifs par le gouvernement du Canada.  Source : https://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=13525&section=text

8 Plan d’action économique du Canada – Priorités, http://actionplan.gc.ca/fr/page/priorites;
Priorités du premier ministre du Canada Stephen Harper : http://www.pm.gc.ca/fra/priorites_fra; Plan d’action économique 2014 du gouvernement du Canada – Le discours du budget : http://www.budget.gc.ca/2014/docs/speech-discours/2014-02-11-fra.html.


4.1.3  Harmonisation avec les responsabilités du gouvernement

Principales constatations

Le PCRU est conçu pour appuyer la recherche afin de soutenir les trois objectifs stratégiques du Ministère. De ce fait, il est conforme aux responsabilités du gouvernement fédéral, et en particulier celles de Pêches et Océans Canada, telles qu'elles sont énoncées dans la Loi sur le ministère des Pêches et des Océans, la Loi sur les océans et la Loi sur le développement de la pêche.

Les modalités du programme indiquent que l'objectif ultime du PCRU consiste à obtenir un ensemble de connaissances scientifiques qui permettra d'atteindre les trois objectifs stratégiques du MPO, à savoir des secteurs maritimes et des pêches économiquement prospères; des écosystèmes aquatiques durables; et des eaux sécuritaires et sécurisées. Le programme s'appuie sur trois lois habilitantes : la Loi sur le ministère des Pêches et des Océans, la Loi sur les océans et la Loi sur le développement de la pêche. Ces lois précisent les responsabilités du MPO en ce qui a trait aux activités qui permettent d'atteindre les objectifs stratégiques. Par exemple, en vertu de l'alinéa 42d) de la Loi sur les océans, le ministre est investi des pouvoirs suivants, entre autres : « entreprendre des recherches fondamentales et appliquées dans les domaines de l’hydrographie, de l’océanographie et des autres sciences de la mer, y compris l’étude des poissons, de leur habitat et des écosystèmes ».


4.2 RENDEMENT


4.2.1  Efficacité

L'évaluation a examiné la mesure dans laquelle le programme a réussi à atteindre les résultats escomptés.

Principales constatations

Les données probantes laissent penser que les résultats des projets du PCRU sont de grande qualité et sont utiles pour la préparation d'avis scientifiques au sein du MPO, ce qui permet d'augmenter la capacité scientifique du MPO.

Vingt-huit projets du PCRU ont été réalisés au cours des cinq dernières années. L'ensemble de ces 28 projets portait sur des enjeux liés aux pêches et aux océans du Canada.

Les informateurs clés ont décrit une multitude d'activités visant à s'assurer de la validité et de la fiabilité des travaux de recherche menés dans le cadre du PCRU. Le point commun est l'examen par les pairs, à savoir un examen critique des données et de la documentation réalisé par d’autres experts. En règle générale, le chercheur universitaire et le scientifique du MPO chargé de la gestion de l'entente de contribution communiquent en permanence. Une fois un projet achevé, les partenaires universitaires publient souvent les résultats de la recherche dans des revues comportant un comité de lecture. Lors de la préparation d'avis scientifiques sur des enjeux propres au MPO, le Secrétariat canadien de consultation scientifique (SCCS) utilise l'examen par les pairs pour évaluer les renseignements pertinents générés à l'interne ou obtenus de recherches universitaires externes.

Les données probantes recueillies lors de l'évaluation indiquent que les connaissances accumulées grâce aux projets du PCRU peuvent être utilisées immédiatement ou servir de base aux futures recherches potentielles nécessaires pour formuler des avis scientifiques. Le réseau financé par le PCRU et portant sur l'aquaculture multitrophique intégrée constitue un exemple de recherche qui visait principalement à élargir la base de connaissances du MPO et qui a depuis été utilisée pour répondre à un besoin spécifique de formulation d'avis. Le réseau a été lancé en 2010. Deux ans plus tard, les scientifiques du MPO et les participants universitaires ont fait partie intégrante d'un examen par les pairs de l'aquaculture multitrophique intégrée qui a donné lieu à un avis scientifique sur le sujet publié en 20139.


9 Le cadre de référence de l'examen par les pairs est disponible à l'adresse suivante : http://www.dfo-mpo.gc.ca/csas-sccs/schedule-horraire/2012/10_03-05b-fra.html. L'avis scientifique est disponible à l'adresse http://www.dfo-mpo.gc.ca/csas-sccs/publications/sar-as/2013/2013_056-fra.html


4.2.2  Efficience et économie

L'évaluation a examiné la mesure dans laquelle le programme a été mis en œuvre de manière efficiente et rentable.

Respect des modalités du programme

Principales constatations

L'existence du PCRU n'est pas systématiquement et largement communiquée aux prestataires potentiels du financement. Il n'est cependant pas certain que cette activité soit recommandée étant donné l’absence de sujets de recherche prédéterminés ou de financement prédéfini pour le programme.

Le programme ne respecte pas complètement les modalités à cet égard. Dans le modèle logique lié aux modalités, une activité de programme consiste à « faire connaître l'existence du PCRU ». L'évaluation a permis de déterminer qu'aucun mécanisme ou processus systématique n'était en place pour communiquer l'existence du programme aux éventuels prestataires du financement, et il est difficile de déterminer si la responsabilité de communiquer l'existence du programme relève de la direction du programme, ou des DRS/DG. Les pratiques actuelles du programme limitent le bassin de prestataires potentiels aux chercheurs universitaires déjà connus des scientifiques du MPO. Les modalités ne prévoient pas la mise en place d'un processus concurrentiel pour encourager les propositions universitaires.

La pertinence liée à la communication de l'existence du programme demeure cependant peu claire. D'un côté, il peut sembler inapproprié de faire connaître l'existence du mécanisme alors que le programme ne dispose pas de fonds définis et ne prévoit pas d'ensemble de sujets de recherche prédéterminés sur lesquels les chercheurs universitaires peuvent présenter des propositions. La publicité du programme pourrait créer des attentes auxquelles le Ministère ne serait pas en mesure de répondre.

D'un autre côté, si l'existence du programme n'est pas communiquée aux membres de la communauté universitaire, ces derniers n'ont peut-être pas l'occasion de faire connaître aux scientifiques du MPO leurs activités de recherche et leurs domaines d'expertise, ce qui empêche alors les scientifiques du MPO de s'appuyer sur un bassin complet de chercheurs potentiels. Les demandeurs potentiels demeurent donc limités aux chercheurs universitaires déjà connus des scientifiques du MPO.

De plus, plusieurs informateurs clés parmi les chercheurs universitaires ont suggéré que le programme pourrait sembler nourrir des relations existantes au détriment du développement de nouvelles collaborations puisque les scientifiques du MPO s'intéressant à une certaine expertise vont naturellement avoir tendance à communiquer avec les chercheurs qu'ils connaissent bien. Si le mécanisme du PCRU n'est pas connu et compris par tous les scientifiques du MPO et par les chercheurs universitaires, l'allocation d'un financement du MPO à toute université pourrait être attribuée à une relation personnelle entre les scientifiques du MPO et les chercheurs universitaires.

Il existe des justifications pour ne pas adopter un processus concurrentiel lors de la  sélection des chercheurs universitaires et des établissements pour certaines priorités (par exemple, si le champ scientifique correspondant à une priorité donnée est si précis que seule une équipe de recherche universitaire est en mesure de l'étudier), mais il n'existe pas de processus systématique ou d'exigence prévoyant la documentation de telles justifications.

Gouvernance et gestion du programme

Principales constatations

Bien que l'administration quotidienne du programme semble appropriée, l'engagement de l'organisme de gouvernance responsable de la supervision du programme est moins important que prévu. L'absence d'une procédure d'exploitation écrite pour l'administration du PCRU pose également un risque pour la gestion du programme.

Selon les modalités du programme, ce dernier doit être géré (gouverné) par le CNDS et administré par une unité nommée par le SMA, Sciences des écosystèmes et des océans. Les entrevues menées avec les informateurs clés n'ont révélé aucun élément d'insatisfaction vis-à-vis des ententes de contribution dans le cadre du PCRU, et les dix informateurs clés ont une vision positive du programme.

Cependant, les résultats de l'évaluation ont indiqué que la gouvernance du programme ne fonctionne pas tout à fait comme prévu. Les procès-verbaux des réunions révèlent que les propositions de financement du PCRU n'ont pas fait l'objet de discussions entre les membres du CNDS. Les propositions présentées chaque année aux membres ont été examinées et approuvées par chaque membre du CNDS indépendamment des autres et par courriel. De manière générale, le CNDS exige peu de temps de la part des membres du CNDS et il occupe une partie négligeable de l'ordre du jour du comité. Le gestionnaire de programme du PCRU est rarement invité à participer aux réunions du CNDS, et ce dernier n'a pas demandé de rapport sur le rendement général du PCRU au cours des cinq dernières années.

Cet enjeu de gouvernance a été repéré à la première évaluation du PCRU réalisée en 2009. Le rapport de l'évaluation comprenait une recommandation visant la création d'un comité d'évaluation qui s'intéresse au rendement du programme au moins une fois par an. La direction du programme n'a pas retenu l'idée, en partie parce qu'il hésitait à créer un nouveau comité et en partie parce qu'il pensait que l'amélioration de l'établissement de rapports finaux sur les projets servirait le même objectif. Cependant, les résultats de la présente évaluation indiquent que la gouvernance du programme par le CNDS continue à être problématique.

Enfin, l'évaluation a permis de déterminer qu'il n'existait pas de procédure d'exploitation écrite liée à l'administration du programme PCRU, ce qui pose le risque que la mémoire institutionnelle vitale actuelle du Ministère se perde en raison des départs à la retraite ou du roulement de personnel.

Exigences en matière de documentation des processus et d'établissement de rapports

Principales constatations

Le programme s'appuie sur une infrastructure et des pratiques de gestion de projet saines. Il existe cependant certains domaines qui peuvent être encore améliorés, notamment en clarifiant les rôles et les responsabilités, en formalisant l'utilisation de critères d'évaluation des propositions qui lient les projets financés aux priorités de recherche scientifique du MPO, et en renforçant les exigences d'établissement de rapports sur les projets du programme ainsi que les pratiques d'archivage des dossiers.

Rôles et responsabilités mal définis

Les enjeux notés précédemment en matière de gouvernance du programme peuvent être liés en partie au fait que les rôles et les responsabilités des gouverneurs, des gestionnaires et des participants du PCRU sont mal définis. Les modalités du PCRU fournissent les débuts d’une documentation des cadres de référence de différents intervenants du programme en indiquant les responsabilités en matière de collecte de données et d'établissement de rapports dans la stratégie de mesure du rendement. Cependant, ces renseignements ne sont pas facilement accessibles et il n'existe pas de documentation des rôles, à l'exception de la mesure du rendement, des membres du CNDS, de la direction du PCRU ou du personnel du MPO directement chargé de la mise en œuvre des ententes de contribution.

Nécessité de disposer de critères formels d'évaluation des propositions

Étant donné le rôle de supervision du CNDS, ses membres doivent s'appuyer sur des données probantes qui indiquent qu'une proposition a été dûment prise en compte au sein de la région ou de la direction centrale qui financera la recherche proposée, que la recherche est réalisable et qu'elle est liée au mandat du MPO et aux besoins en recherche scientifique du MPO, et que l'équipe universitaire proposée est qualifiée pour effectuer la recherche.

Le programme ne s'appuie pas sur un ensemble documenté de critères, ou sur des processus permettant d'élaborer et de mettre à jour de tels critères, qui permettrait aux membres du CNDS d'évaluer les mérites de chaque proposition, y compris vis-à-vis des priorités en matière de recherche scientifique du MPO.

L'évaluation réalisée en 2009 recommandait à la direction de « développer et appliquer des critères de sélection pour les propositions du PCRU ». En réponse, la direction a élaboré un formulaire sur lequel les personnes proposant les projets indiqueraient les répercussions éventuelles de la recherche en répondant par oui ou par non relativement à 12 indicateurs. Si au moins six indicateurs de répercussions potentielles présentent la mention Oui, la proposition est soumise à l'examen du CNDS. Cependant, ce formulaire constitue un outil de sélection administratif plutôt qu'un ensemble de critères à prendre en compte par le CNDS lorsqu'il examine des propositions.

Nécessité de disposer d'exigences renforcées en matière d'établissement de rapports sur les projets et d'archivage des dossiers

Les lignes directrices actuelles du programme imposent aux programmes scientifiques du MPO de présenter des rapports récapitulatifs finaux sur les projets au CNDS à l'aide d'un formulaire normalisé. Ce formulaire reprend la majorité des renseignements essentiels et constitue une amélioration notable depuis l'évaluation précédente. Néanmoins, certains éléments clés essentiels pour permettre aux membres du CNDS d'évaluer la mesure dans laquelle les projets financés ont contribué à l'atteinte des objectifs prévus du programme et constituent un bon investissement pour le Ministère sont toujours manquants. Ces renseignements manquants comprennent les éléments suivants :

  • le budget final reçu pour le projet, y compris les contributions en espèces et en nature du MPO, de l'université et de tout autre partenaire;
  • un résumé des résultats de la recherche (plutôt que la seule description du projet).

Par ailleurs, la quantité de renseignements fournis dans les rapports finaux examinés est très variable et ne semble pas toujours correspondre à la taille du projet.

En plus d'appuyer le rôle de supervision du rendement du programme du CNDS, ces renseignements aideraient les programmes scientifiques partenaires à démontrer les résultats obtenus lors de leur évaluation, et ils permettraient l'accès aux résultats de la recherche pour une future utilisation potentielle par d'autres programmes scientifiques du MPO.

Le stockage de l'ensemble de l'information relative à un projet financé donné dans un emplacement central est également indispensable pour assurer un établissement efficace de rapports sur le rendement et un partage des connaissances adéquat dans le cadre du programme. Ce point est particulièrement pertinent pour un programme tel que le PCRU, dans le cadre duquel la plupart des renseignements liés au projet (sommaires financiers, rapports préliminaires et finaux sur le projet rédigés par les prestataires du financement) sont collectés par différents scientifiques du MPO au sein des régions. Les personnes qui pourraient rechercher de l'information (haute direction, vérificateurs, évaluateurs, autres scientifiques du MPO) devraient être en mesure d'avoir accès à l'ensemble des renseignements d'un ou de plusieurs projets à partir d'une source unique, plutôt que de devoir communiquer avec chaque scientifique du MPO en particulier chargé de gérer une entente de contribution dans le cadre du PCRU.

Un examen des dossiers des projets conservés de manière centrale par la direction du PCRU a révélé que la documentation de chaque projet n'est pas toujours complète. Pour les 10 projets représentant l'échantillon, seuls cinq rapports récapitulatifs finaux et un avant-dernier rapport récapitulatif des progrès accomplis ont été trouvés10. Les six rapports disponibles étaient informatifs, mais pour certains d'entre eux, les annexes indiquées dans le corps du texte du rapport étaient manquantes. L'annexe portant sur la mesure du rendement était incluse dans seulement deux des six rapports.

Répartition des ressources

Principales constatations

Le PCRU n'est lié à aucune ressource directe. Les ressources utilisées pour les projets approuvés et l'administration du programme proviennent des autres budgets scientifiques du MPO.

Les fonds destinés aux projets du PCRU proviennent de la région ou de la direction centrale qui a organisé la contribution de recherche destinée à l'université à laquelle est rattaché le principal chercheur universitaire. Au cours de la période de cinq ans sur laquelle porte la présente évaluation, un montant de 2 422 000 $ a été approuvé pour les dépenses liées au PCRU à partir des budgets régionaux et centraux11. La figure 1 indique la répartition de ce montant pour chacune des régions du MPO12.

L'évaluation a tenté de comprendre les raisons qui expliquent la grande différence de dépenses en matière de recherche universitaire selon les régions. Les facteurs clés suivants ont été identifiés : l'appui du directeur régional (ou du directeur général central), la connaissance du mécanisme du PCRU, les besoins d'information des régions ou des directions centrales et la disponibilité de fonds de F et E. La convergence de ces facteurs semble donner lieu à une utilisation importante du mécanisme du PCRU.


10 Il faut noter que la recherche s'est limitée au dossier censé contenir les rapports finaux remis par la direction du PCRU. Il est possible que les quatre rapports manquants se trouvent dans les dossiers de la région ou de la direction centrale chargée de la gestion de l'entente de contribution pour la recherche universitaire.

11 Source : Feuille de calcul principale du PCRU. Les montants sont arrondis au millier de dollars près.

1 Source : Feuille de calcul principale du PCRU. Les directions scientifiques centrales sont regroupées dans la région de la capitale nationale dans le cadre de la figure 1. La région de Terre-Neuve-et-Labrador est appelée Terre-Neuve sur la figure.


Figure 1 : Financement des projets du PCRU par région, entre 2009-2010 et 2013-2014

Figure 1

Les modalités établies en 2010 limitent à 1,6 M$ par an le financement total des contributions à la recherche universitaire par l'intermédiaire du PCRU. Le montant maximal de financement permis par le truchement du PCRU au cours des cinq dernières années s'élevait donc à 8 M$. Le montant réel des contributions attribuées de 2,4 M$ est bien inférieur au montant maximal autorisé.

Le MPO ne peut pas contribuer à hauteur de plus de 250 000 $ par an à un projet de recherche donné. Le montant de la contribution annuelle la plus élevée au cours des cinq dernières années était de 169 000 $. La limite autorisée a été respectée.

L'étude s'est également intéressée aux montants dépensés dans le cadre des 28 projets achevés au cours de la période de cinq ans. Les dépenses du MPO pour les projets s'élevaient en moyenne à 133 000 $. Le montant médian était de 78 000 $. La plus petite contribution du MPO s'est élevée à 10 000 $ pour un projet de trois mois utilisant le séquençage à haut rendement du génome pour examiner les microorganismes présents dans des échantillons d'eau de mer prélevés à différents endroits et à différentes profondeurs de l'océan Arctique. La plus importante contribution du MPO s'est élevée à 707 880 $ pour un projet de réseau de recherche sur plusieurs sites pendant une durée de cinq ans qui s'intéressait aux espèces aquatiques envahissantes, dont la carpe asiatique, la lamproie et la moule zébrée.

Les ressources de l'administration centrale provenaient du budget de Sciences stratégiques et réglementaires. Elles semblent avoir été minimes. La gestion du PRCU ne nécessite qu'une très petite partie du temps du directeur général ou du gestionnaire responsable de la propriété intellectuelle et du partenariat.

Considérations en matière de rentabilité

Principales constatations

Le PCRU est conçu de manière à permettre une utilisation rentable des fonds pour la recherche scientifique.

Le programme comporte plusieurs caractéristiques qui permettent de veiller à ce que les fonds publics soient utilisés de manière rentable.

Tout d'abord, bon nombre d'informateurs clés du MPO ont souligné qu'en raison de l'absence de budget lié au PCRU, les fonds destinés aux projets de recherche universitaire devaient provenir des budgets limités destinés aux programmes scientifiques. Le personnel du MPO est par conséquent extrêmement motivé à trouver des options à moindre coût en ce qui a trait à la recherche universitaire.

Ensuite, les modalités du PCRU exigent que l'université ou les autres partenaires contribuent au minimum à hauteur de 25 % des coûts du projet de recherche. Le MPO ne finance pas plus de 75 % des coûts totaux.

De plus, dans la plupart des cas, ce sont des étudiants diplômés qui réalisent une partie des travaux de recherche. Les grilles salariales modestes des étudiants diplômés prennent en compte le fait que leur travail sur des projets de recherche leur permet d'acquérir de l'expérience, ainsi que, bien souvent, des crédits universitaires. Le travail des étudiants diplômés permet donc de réaliser des économies par l'intermédiaire du PCRU dans le cadre des ententes de recherche universitaire.

Enfin, la recherche universitaire offre des avantages indirects au MPO, en plus des nouvelles connaissances qu'elle permet de générer. Le programme aide à former la prochaine génération de scientifiques des pêches et des océans. Il permet d'élargir le réseau des scientifiques du MPO, ce qui permet à ces derniers d'accroître leurs occasions d'accéder à des renseignements utiles au Ministère. Le programme stimule l'intérêt pour la recherche portant sur les pêches et les océans au sein des universités. Les projets mis en place dans le cadre du PCRU constituent donc un bon investissement.

L'efficacité et l'efficience comparées du PCRU sont difficiles à démontrer en raison de la nature abstraite de ce mécanisme de financement d'ordre général. Il faudrait établir une comparaison avec des programmes présentant des objectifs similaires, mais les objectifs scientifiques du PCRU sont tellement divers qu'aucun programme n'a pu être déterminé facilement pour effectuer une comparaison directe.

5. CONCLUSIONS ET RECOMMANDATIONS


5.1 CONCLUSIONS

L'évaluation a permis de déterminer que le programme est pertinent. Il existe des données probantes qui attestent le besoin continu de disposer d'un mécanisme géré de manière centrale qui permet aux programmes scientifiques du MPO de s’appuyer sur des activités de recherche universitaire sur des sujets pertinents au mandat du Ministère. Le programme respecte également les priorités gouvernementales et les objectifs stratégiques du Ministère, ainsi que les rôles et les responsabilités du gouvernement fédéral.

Les données probantes indiquent également que le programme permet d'atteindre les résultats voulus, en particulier la conduite de travaux de recherche universitaire de grande qualité qui répondent aux besoins des programmes scientifiques du MPO et améliorent la qualité des avis scientifiques offerts aux décideurs du MPO.

Le programme semble en général bien géré, et selon les entrevues menées avec des scientifiques du MPO, ces derniers sont satisfaits des connaissances générées grâce aux projets du PCRU.

Plusieurs améliorations ont été apportées aux outils administratifs du programme depuis la dernière évaluation, par exemple l'élaboration d'un modèle logique actualisé et la mise en œuvre d'un formulaire de rapport récapitulatif de projet.

Quelques autres améliorations pourraient être apportées afin de consolider la gestion et la mise en œuvre du programme. Il existe une documentation limitée et peu claire portant sur le mandat spécifique du programme, son mécanisme et les rôles et responsabilités des administrateurs du programme, de la haute direction et des clients des programmes scientifiques du MPO. Le rôle particulier du programme à titre de mécanisme de financement devrait être précisé afin de démontrer sa conformité avec la Politique sur les paiements de transfert et plus clairement expliqué et communiqué aux intervenants du programme.  De la même manière, l'élaboration d'une procédure d'exploitation écrite pour l'administration du PCRU permettrait de limiter les risques en matière de continuité des activités posés par la perte de la mémoire institutionnelle vitale actuelle du programme en raison des départs à la retraite ou du roulement de personnel.

Bien que le modèle logique du programme comporte un volet de communication active destinée aux prestataires éventuels du programme, il n'est cependant pas certain que cette activité soit recommandée étant donné la nature générale et non financée du mécanisme du PCRU. Le programme devrait toutefois explorer des moyens de s'assurer que le choix des prestataires du financement ne se limite pas à un bassin trop petit composé de chercheurs universitaires connus, pour ainsi réduire le risque qu’il y ait une perception de favoritisme en ce qui a trait aux décisions d'attribution du financement.

La gouvernance adéquate du programme nécessiterait une structure de gouvernance engagée de manière plus active dans la surveillance du rendement du programme et dans la prise de décisions d'allouer un financement à des projets en fonction d'un ensemble formel de critères établis, liés entre autres aux priorités scientifiques générales du Ministère.

Enfin, tout en reconnaissant que plusieurs améliorations ont été apportées dans ces domaines, le programme pourrait bénéficier de l'augmentation des exigences relatives à l'établissement de rapports liés aux projets de manière à ce que ces derniers comprennent des renseignements financiers et propres aux résultats, ainsi que de la mise en place d'une procédure centrale d'archivage des dossiers plus systématique. Le programme serait ainsi mieux en mesure de répondre aux demandes d'information éventuelles de la direction, de fournir des données probantes pour les futures évaluations et vérifications, et de permettre un accès aux résultats des recherches dans le cadre d'une utilisation potentielle ultérieure par d'autres programmes scientifiques du MPO.

En règle générale, le programme semble fonctionner de manière efficiente et économique, et les projets financés offrent une valeur ajoutée intéressante pour le Ministère.


5.2 RECOMMANDATIONS

La première recommandation est liée au fait que le programme ne respecte pas pleinement l'activité qui vise à faire connaître son existence aux éventuels prestataires du financement, ce qui implique pour le Ministère le risque de ne pas disposer du meilleur bassin de chercheurs universitaires et pour le programme d'être perçu comme un moyen de favoriser certains chercheurs universitaires en fonction de leurs relations personnelles avec des scientifiques du MPO. Tout en tenant compte du fait que la publicité à grande échelle du programme ne constitue peut-être pas un moyen approprié en raison de la nature générale et de l'absence de financement du programme, il faut cependant chercher des moyens possibles d'atténuer ces risques.

Recommandation no 1
Le SMA, Sciences des écosystèmes et des océans, devrait consulter les membres du CNDS afin de s’assurer de mettre en place des moyens pertinents pour repérer des demandeurs potentiels de projets, y compris en prenant en compte les avantages et les inconvénients liés à la communication de manière officielle et délibérée de l'existence du programme à une communauté plus large de chercheurs universitaires, au-delà des personnes déjà connues des scientifiques du MPO.

La recommandation suivante vise à améliorer la gouvernance du programme, en raison de l'engagement actuel limité des membres du CNDS en ce qui a trait à l'examen des propositions de projet et au contrôle du rendement du programme.

Recommandation no 2
Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer que les membres du CNDS discutent de toutes les propositions du PCRU et réalisent un examen annuel du rendement du programme.

La troisième recommandation vise à encourager la direction du PCRU à améliorer les renseignements collectés pour chaque projet et à maintenir à jour le système d'archivage central des dossiers du programme afin de pouvoir répondre plus rapidement aux demandes d'information, de faciliter le partage des renseignements au sein du MPO et d'appuyer les futures évaluations et vérifications ainsi que l'utilisation éventuelle des résultats des projets par d'autres programmes scientifiques du MPO.

Recommandation no 3
Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer que les lignes directrices du PCRU en matière d'établissement de rapports sont mises à jour afin que l'ensemble des renseignements financiers et liés aux résultats qui sont essentiels pour contrôler efficacement le rendement du programme soient recueillis, présentés au CNDS et conservés dans le système d'archivage central du programme.

La quatrième et dernière recommandation porte sur une documentation complète et claire du programme afin d'améliorer la compréhension des rôles et des responsabilités, d'augmenter la sensibilisation et la compréhension du mécanisme de financement du programme au sein du MPO et des universités et d'appuyer plus efficacement la gouvernance du programme.

Recommandation no 4
Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer de la production d'une documentation claire et complète couvrant tous les aspects essentiels de la gouvernance et de la mise en œuvre du PCRU, y compris les rôles et les responsabilités des administrateurs du programme, de la haute direction et des scientifiques du MPO, et d'une procédure normale d'exploitation pour l'administration du programme. Il est également recommandé de réviser les modalités du programme et le modèle logique en conséquence et pour démontrer la conformité avec la Politique sur les paiements de transfert.

ANNEXES


ANNEXE A : RECOMMANDATIONS FORMULÉES AU TERME DE LA DERNIÈRE ÉVALUATION DU PCRU

Annexe A
Recommandations formulées au terme de l'évaluation du PCRU réalisée en 2009 Réponse de la direction
  • 1.   Mettre sur pied un comité consultatif de l’évaluation pour veiller à ce que les données de mesure de rendement soient recueillies, valides, et fiables.

Le Secteur des Sciences a déjà mis en place des procédures afin d’améliorer la supervision du PCRU et établira des mécanismes pour s’assurer que des données valides et fiables sur le suivi du rendement sont recueillies.

  • 2.   Évaluer si le PCRU devrait consacrer du financement à la création de « nouvelles » chaires de recherche universitaires.

L'inclusion de la création de « nouvelles » chaires de recherche universitaires comme objectif explicite dans le PCRU fut déférée à la haute direction des Sciences, laquelle avisa que la création de « nouvelles » chaires de recherche universitaires comme objectif explicite du PCRU n'était pas nécessaire. La référence à la création de chaires de recherche universitaires sera donc éliminée du programme quand le programme est renouvelé, et ce avant la fin de mars 2010.

  • 3.   Examiner et clarifier les activités et les résultats et remanier/supprimer du modèle de logique du PCRU les énoncés duplicatifs sur les résultats immédiats.

Le Secteur des Sciences a modifié le modèle logique du programme en consultation avec la Direction de l'évaluation. Le modèle actuel sera révisé quand le programme est renouvelé, et ce avant la fin de mars 2010.

  • 4.   Développer et appliquer des critères de sélection pour les propositions du PCRU.

Le Secteur des Sciences a développé des critères de sélection pour l’approbation ou le rejet des propositions du PCRU.


ANNEXE B: MODÈLE LOGIQUE DU PCRU EN AVRIL 2010


Annex B

ANNEXE C : ENJEUX DE L'ÉVALUATION, QUESTIONS, SOURCES ET MÉTHODE DE COLLECTE DES DONNÉES

Matrice

Annexe C
Enjeu de base de l'évaluation Question d'évaluation Source et méthode de collecte des données
Pertinence Nécessité du programme Le PCRU est-il toujours nécessaire?
  • Entrevues
  • Examen des documents
Harmonisation aux priorités du gouvernement fédéral Le PCRU est-il toujours harmonisé aux priorités du gouvernement?
  • Entrevues
  • Examen des documents
Harmonisation avec les responsabilités du gouvernement fédéral Le PCRU est-il conforme aux rôles et aux responsabilités du gouvernement fédéral et du Ministère?
  • Entrevues
  • Examen des documents
Rendement Atteinte des résultats attendus Dans quelle mesure le programme a-t-il fourni des résultats de recherche au MPO?
  • Examen des bases de données
Dans quelle mesure la qualité de la recherche financée a-t-elle été évaluée?
  • Entrevues
À quel point le programme augmente-t-il la capacité scientifique du MPO?
  • Examen des bases de données
  • Examen des documents
Quelles données probantes indiquent que les résultats escomptés ont été atteints?
  • Entrevues
  • Examen des documents
Efficience et économie Dans quelle mesure le programme a-t-il été exploité conformément aux modalités?
  • Entrevues
  • Examen des documents
Le PCRU est-il régi et géré de manière efficace?
  • Entrevues
  • Examen des documents
Les processus et les exigences en matière de rapports du programme sont-ils bien consignés?
  • Entrevues
  • Examen des documents
  • Examen des dossiers (rapports finaux)
Dans quelle mesure la rentabilité a-t-elle été prise en compte dans le cadre de la négociation des ententes?
  • Entrevues
  • Examen des documents
Existe-t-il des moyens d'améliorer l'efficience et l'efficacité du programme?
  • Entrevues
  • Examen des documents


ANNEXE D : PLAN D’ACTION DE LA GESTION

Annexe D
RECOMMANDATION no 1

Justification : Le programme ne respecte pas pleinement l'activité qui vise à faire connaître son existence aux éventuels prestataires du financement, ce qui implique pour le Ministère le risque de ne pas disposer du meilleur bassin de chercheurs universitaires et pour le programme d'être perçu comme un moyen de favoriser certains chercheurs universitaires en fonction de leurs relations personnelles avec des scientifiques du MPO. Tout en tenant compte du fait que la publicité à grande échelle du programme ne constitue peut-être pas un moyen approprié en raison de la nature générale et de l'absence de financement du programme, il faut cependant chercher des moyens possibles d'atténuer ces risques.

Recommandation : Le SMA, Sciences des écosystèmes et des océans, devrait consulter les membres du Comité national des directeurs des Sciences (CNDS) afin de s’assurer de mettre en place des moyens pertinents pour repérer des demandeurs potentiels de projets, y compris en prenant en compte les avantages et les inconvénients liés à la communication de manière officielle et délibérée de l'existence du programme à une communauté plus large de chercheurs universitaires, au-delà des personnes déjà connues des scientifiques du MPO.

STRATÉGIE
Le SMA, Sciences des écosystèmes et des océans examinera avec les membres du Comité Exécutif des Science (CES, précédemment CNDS) les avantages et les inconvénients liés à communiquer l'existence du programme aux établissements d'enseignement postsecondaire.
MESURES DE LA GESTION DATE D'ÉCHÉANCE (AVANT LA FIN DU MOIS) MISE À JOUR DE L'ÉTAT : TERMINÉE / CONFORME AUX ÉCHÉANCES / RAISON DE LA MODIFICATION DE LA DATE D'ÉCHÉANCE EXTRANT
Consulter le CES sur les avantages et les inconvénients liés à communiquer, de façon plus étendue, l'existence du programme aux établissements d'enseignement postsecondaire. Mars 2015    
RECOMMANDATION no 2

Justification : Des améliorations sont requises au niveau de la gouvernance du programme en raison de l'engagement actuel limité des membres du CNDS en ce qui a trait à l'examen des propositions de projet et au contrôle du rendement du programme.

Recommandation : Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer que les membres du CNDS discutent de toutes les propositions du PCRU et réalisent un examen annuel du rendement du programme.

STRATÉGIE

Suite à l'évaluation du PCRU, le programme mit en place un processus pour l'évaluation des propositions PCRU dans lequel il est prévu que les membres du CES discuteront toute proposition PCRU avant de déterminer elle devrait être approuvée.

Le SMA, Sciences des écosystèmes et des océans, s'assurera que le rendement du programme soit examiné annuellement.

MESURES DE LA GESTION DATE D'ÉCHÉANCE (AVANT LA FIN DU MOIS) MISE À JOUR DE L'ÉTAT : TERMINÉE / CONFORME AUX ÉCHÉANCES / RAISON DE LA MODIFICATION DE LA DATE D'ÉCHÉANCE EXTRANT
Le programme implanta un processus pour l'évaluation des propositions PCRU dans lequel il est prévu que les membres du CES discuteront toute proposition PCRU avant de déterminer si elle devrait être approuvée. Plus précisément, l'examen des propositions PCRU est un item permanent à l'ordre du jour des téléconférences entre les membres du CES. Octobre 2014    
Un plan d'évaluation annuelle du PCRU sera mis en exécution. Juin 2015    
RECOMMANDATION no 3

Justification : Des améliorations sont requises aux renseignements collectés pour chaque projet et au maintien à jour du système d'archivage central des dossiers du programme afin de pouvoir répondre plus rapidement aux demandes d'information, de faciliter le partage des renseignements au sein du MPO et d'appuyer les futures évaluations et vérifications ainsi que l'utilisation éventuelle des résultats des projets par d'autres programmes scientifiques du MPO.

Recommandation : Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer que les lignes directrices du PCRU en matière d'établissement de rapports sont mises à jour afin que l'ensemble des renseignements financiers et liés aux résultats qui sont essentiels pour contrôler efficacement le rendement du programme soient recueillis, présentés au CNDS et conservés dans le système d'archivage central du programme.

STRATÉGIE
Le gestionnaire du PCRU fera de sorte qu'un système d'archivage central soit créé ou disponible pour la sauvegarde les informations importante sur les activités effectués dans le cadre du le PCRU.
MESURES DE LA GESTION DATE D'ÉCHÉANCE (AVANT LA FIN DU MOIS) MISE À JOUR DE L'ÉTAT : TERMINÉE / CONFORME AUX ÉCHÉANCES / RAISON DE LA MODIFICATION DE LA DATE D'ÉCHÉANCE EXTRANT
Mettre à la disposition des utilisateurs du PCRU, ou créer un système d'archivage central pour sauvegarder les informations importantes sur les activités effectuées dans le cadre du PCRU. Mai 2015    
Inclure dans les lignes directrices du PCRU une exigence obligeant tous les utilisateurs du PCRU à sauvegarder dans le système d'archivage central les informations importantes sur les activités effectuées dans le cadre du PCRU. Septembre 2015    
Recommandation no 4

Justification : L’évaluation a soulevé le besoin d’une documentation complète et claire du programme afin d'améliorer la compréhension des rôles et des responsabilités, d'augmenter la sensibilisation et la compréhension du mécanisme de financement du programme au sein du MPO et des universités et d'appuyer plus efficacement la gouvernance du programme.  

Recommandation : Le SMA, Sciences des écosystèmes et des océans, devrait s'assurer de la production d'une documentation claire et complète couvrant tous les aspects essentiels de la gouvernance et de la mise en œuvre du PCRU, y compris les rôles et les responsabilités des administrateurs du programme, de la haute direction et des scientifiques du MPO, et d'une procédure normale d'exploitation pour l'administration du programme. Il est également recommandé de réviser les modalités du programme et le modèle logique en conséquence et pour démontrer la conformité avec la Politique sur les paiements de transfert.

STRATÉGIE
Le gestionnaire du PCRU documentera toutes les activités et tous les processus à suivre pour la mise en œuvre du PCRU, y compris le processus pour solliciter des propositions, évaluer des propositions, exécuter des ententes de contributions, et administrer les ententes et rendre compte là-dessus; de même le gestionnaire du PCRU modifiera les modalités du programme et le modèle logique.
MESURES DE LA GESTION DATE D'ÉCHÉANCE (AVANT LA FIN DU MOIS) MISE À JOUR DE L'ÉTAT : TERMINÉE / CONFORME AUX ÉCHÉANCES / RAISON DE LA MODIFICATION DE LA DATE D'ÉCHÉANCE EXTRANT
Les modalités du programme seront révisées pour démontrer la conformité du programme avec la Politique sur les paiements de transfert. Février 2015    
Le modèle logique du programme sera révisé pour qu'il soit conforme aux modalités du programme. Avril 2015    
Élaborer et mettre en œuvre un cadre de gouvernance, des lignes directrices, et des procédures pour la gestion et l'administration des activités effectuées dans le cadre du PCRU. Juillet 2015    
Documenter les mécanismes du PCRU et s'en servir pour communiquer les mécanismes du PCRU au milieu académique, quand c'est nécessaire. Août 2015