Évaluation formative des Prestations d'emploi et mesures de soutien - Août 1998

5.0 Principales mesures des résultats

Page précédente

Table des matières

Page suivante

Les deux principales mesures des résultats des composantes PEMS sont les suivantes¹⁸ :

• le nombre de participants qui retrouvent du travail à la suite de leurs interventions PEMS;

• les prestations non versées aux prestataires de l'a.-e. qui retournent au travail.

L'un des objectifs de l'évaluation formative était d'examiner les deux principaux indicateurs des résultats pour déterminer dans quelle mesure les données opérationnelles estimatives produites par la Direction générale de l'investissement dans les ressources humaines (DGIRH) se rapprochent des données réelles sur les clients relevées dans les dossiers individuels du FPPTP et tirées des réponses aux enquêtes auprès des clients. Il s'agit ici de fournir une information qui aidera la DGIRH à perfectionner la méthode utilisée pour calculer les indicateurs primaires et à améliorer l'intégrité des données.

Aux fins de l'évaluation formative, une mesure d'approximation a été adoptée pour la première mesure principale des résultats, à savoir le pourcentage des participants qui ont trouvé du travail par suite de leur intervention PEMS. Les estimations de l'évaluation formative s'inspirent des résultats de l'enquête auprès d'un échantillon de participants de même que de données administratives. C'est pourquoi la mesure qui est utilisée est la proportion ou le pourcentage des participants qui ont trouvé du travail, plutôt que leur nombre total. Le deuxième indicateur demeure le même : le montant brut des prestations de l'a.-e. non payées aux clients qui sont retournés au travail (les frais d'administration du programme n'ont pas été pris en considération). Par « participants », on entendait les prestataires ou les anciens prestataires réadmissibles pour qui un plan d'action avait été dressé et qui ont participé à au moins l'une des six composantes PEMS évaluées après le 1er juillet 1996.

Étant donné les différences dans la disponibilité des données, l'emploi et les prestations non versées n'ont pas été calculés de la même façon dans le cadre de l'évaluation formative que par la DGIRH. Dans le cadre de l'évaluation formative, la définition de l'emploi s'inspire des réponses à l'enquête. Toute l'information utilisée pour calculer les prestations non payées par rapport aux participants aux PEMS interrogés dans le cadre de l'enquête repose sur des données tirées des systèmes d'information de DRHC. Les définitions utilisées par la DGIRH pour les deux principaux indicateurs des résultats reposent uniquement sur l'information versée dans les systèmes de DRHC.

Il est important de préciser que la méthodologie conçue par la DGIRH à l'origine était relativement simple, car il fallait appliquer rapidement les indicateurs opérationnels et recueillir des données à point nommé. Par conséquent, les données n'étaient pas très pointues et les règles de calcul n'ont pas pris en considération les exceptions et les anomalies individuelles. Il faut également ajouter que la période de juillet 1996 à mars 1997 correspondait au démarrage des PEMS et qu'à l'époque, le cadre de reddition des comptes était encore en cours d'élaboration et commençait à peine à être appliqué.

Le tableau 5.1 donne les définitions utilisées dans le cadre de l'évaluation formative et par la DGIRH.

Les prestations non payées sont la différence entre les prestations d'a.-e. auxquelles le client a droit et les prestations qu'il touche effectivement, et ce, semaine par semaine

Tableau 5.1 Sommaire des définitions
Définitions	Évaluation formative	DGIRH
Emploi	On considère qu'un participant est employé s'il a travaillé pendant au moins trois mois consécutifs après la fin de l'intervention	Pour les participants qui retournent au travail avant la fin de la période de prestation : En ce qui concerne l'ATI, les PCE, la Formation et les SAE, on considère qu'un prestataire actif est employé si, pendant 12 semaines consécutives, il touche 25 p. 100 ou moins du montant maximal d'a.-e. auquel il a droit pendant la période de prestation (Règle 12 semaines - 25 p. 100). Pour les autres participants : On considère qu'un prestataire est employé si la règle de 25 p. 100 s'applique à son cas pour le reste de la période des prestations. On considère qu'un participant à la composante PCE est employée s'il continue de travailler à la fin de l'intervention.
Prestations non payées	Pour les volets ATI, PCE, Formation et SAE, le nombre de semaines de prestations restantes depuis la première semaine à partir de laquelle la Règle 12 semaines - 25 p. 100 s'applique est compté puis multiplié par le taux de prestation. Les prestations non payées sont calculées d'une façon un peu différente pour le volet SSC. Le nombre de semaines de prestations restantes à partir du début de l'intervention SSC est compté puis multiplié par le taux de prestation.

La section qui suit a deux objets. Premièrement, elle présente et analyse les principaux résultats calculés dans le cadre de l'évaluation formative. Deuxièmement, elle examine certains problèmes relatifs à la méthode utilisée par la DGIRH pour calculer les résultats.

5.1 Calcul de l'emploi et des prestations non payées dans le cadre de l'évaluation formative

Cette section fait un sommaire des résultats calculés pour l'échantillon sur lequel a porté l'évaluation formative des PEMS. Selon la méthode ainsi utilisée, les estimations des principales mesures primaires se sont inspirées des réponses de 3 000 personnes qui ont participé à l'enquête et qui avaient participé aux programmes PEMS entre juillet 1996 et mars 1997. De plus, des données sur les prestations tirées du fichier du Profil vectoriel de DRHC ont été utilisées.

5.1.1 Emploi

Aux fins de notre évaluation formative, on considérait que le participant était employé s'il avait travaillé pendant au moins trois mois consécutifs après la fin de l'intervention. Cette définition a été retenue pour les raisons suivantes :

• elle est simple et facile à comprendre;

• la définition de l'emploi de DRHC repose sur une norme de 12 semaines de travail, ce qui est semblable à notre base de trois mois¹⁹ ;

on peut justifier d'imputer des prestations non payées à la participation à une intervention que si le participant est employé après l'intervention.

Les tableaux 5.2 et 5.3 montrent la proportion des participants employés selon le programme et la région, d'après les résultats de l'enquête. Suivant cette méthode, 55,2 p. 100 des participants étaient employés. Ce chiffre comprend les prestataires actifs et les anciens prestataires réadmissibles qui étaient employés après la fin de la période de prestation. Sur cette proportion de 55,2 p. 100 des participants (actifs et réadmissibles) dont on considère qu'ils étaient employés selon l'enquête, la moitié avaient trouvé du travail avant la fin de la période de prestation.

FOR SSC 17,8 % 10,7 %

Tableau 5.2 Proportion des participants employés selon le programme PEMS
	SAE	PCE	ATI	Total
Employés avant la fin de la période de prestation	38,3 %	6,7 %	29,9 %	5,4 %	27,6 %
Employés après la fin de la période de prestation (prestataires actifs)	15,0 %	9,0 %	19,3 %	11,3 %	9,8 %	16,8 %
Employés après la fin de la période de prestation (réadmissibles)	5,8 %	27,1 %	3,6 %	29,1 %	10,8 %
Emploi total	59,1 %	42,7 %	59,8 %	20,2 %	56,8 %	55,2 %

13,1 % 10,7 % 55,2 %

Tableau 5.3 Proportion des participants employés selon la région
	Atlantique	Québec	Ontario	Prairies	C.-B.	Total
Employés avant la fin de la période de prestation	15,8 %	39,5 %	31,8 %	25,0 %	27,6 %
Employés après la fin de la période de prestation (prestataires actifs)	21,2 %	17,5 %	10,7 %	22,7 %	20,7 %	16,8 %
Employés après la fin de la période de prestation (réadmissibles)	16,2 %	9,4 %	10,1 %	8,8 %	10,8 %
Emploi total	47,8 %	46,8 %	59,5 %	64,6 %	54,5 %

Si on se concentre uniquement sur les participants dont on considère qu'ils étaient employés après la fin de la période de prestation, l'enquête montre un taux d'emploi de 27,6 p. 100 après la fin de la période de prestation. Il est important de préciser que même si la méthode utilisée par la DGIRH détermine l'emploi des participants employés après la fin de la période de prestation, cette information n'était pas souvent disponible et ne pouvait donc pas toujours être établie à cause de contraintes antérieures au moment de l'implantation.

La DGIRH a pour politique de saisir les résultats sur le plan de l'emploi des participants employés après la fin de la période de prestation ou des participants qui n'ont pas eu de période de prestation. Les résultats devraient être saisis à la fin du plan d'action ou dans le cadre d'un suivi au bout de 12 semaines. Cependant, dans la pratique, l'emploi des participants dont on considère qu'ils sont employés après la fin de la période de prestation est rarement saisi. Dans la plupart des cas, l'emploi n'est pas calculé car l'utilisation de la méthode pose des défis, c'est-à-dire qu'il faut téléphoner pour déterminer la situation d'emploi des participants.

5.1.2 Prestations non payées

En théorie, les prestations non payées du compte de l'a.-e. sont calculées d'après une méthode semblable à celle qui est utilisée par la DGIRH. Cependant, il y a des différences importantes dans l'algorithme utilisé pour les calculer. L'approche retenue dans le cadre de l'évaluation formative diffère en ce sens que, pour chaque semaine de prestation d'un participant, nous nous attachons à la différence observée entre le montant auquel le participant a droit et le montant qui lui est réellement versé. En d'autres mots, nous déterminons, semaine par semaine, si un participant a touché moins d'assurance-emploi que le montant auquel il avait droit.

Les prestations non payées d'a.-e. sont calculées seulement pour l'intervention la plus récente à laquelle ont participé les répondants à l'enquête à qui s'appliquait la définition de l'emploi donnée ci-dessus. Pour chaque participant employé sondé, les prestations non payées sont calculées comme suit :

• calcul du montant réel des prestations d'a.-e. non payées : le montant réel des prestations d'a.-e. non payées pendant chaque semaine d'une période donnée de prestation est la différence entre le montant de prestation auquel le prestataire a droit et le montant qui lui est véritablement versé;

• imputation des prestations non versées à l'emploi : les semaines au cours desquelles le non-versement des prestations est attribuable à une fraude ou à une indemnité de cessation d'emploi ne sont pas prises en considération dans le calcul des prestations d'a.-e. non payées aux fins de notre évaluation.

Le montant brut moyen des prestations non versées de l'a.-e. en vertu de la Partie I par personne se calcule en fonction de la valeur moyenne des prestations non payées pour les personnes dont on considérait qu'elles étaient employées selon la définition retenue dans le cadre de l'évaluation formative des PEMS. Le total des prestations non payées est le produit de trois quantités : le montant brut moyen des prestations non versées par personne employée, la proportion des personnes dont on considère qu'elles sont employées et le nombre total de personnes qui ont participé aux interventions PEMS au Canada au moment de l'évaluation.

Les tableaux 5.4 et 5.5 montrent le montant brut moyen des prestations non payées en vertu de la Partie I par personne employée selon le programme et la région. Il est important de préciser qu'aux fins de l'évaluation formative, la moyenne des prestations non payées n'est calculée que pour les participants dont on considère qu'ils étaient employés selon la définition de l'évaluation formative. La moyenne des prestations non payées pour les participants est la moyenne pondérée des prestations non payées pour les participants employés avant la fin de la période de prestation et les participants employés après la fin de la période de prestation. Encore ici, les prestations non payées peuvent être attribuées à des prestataires actifs réputés employés après la période de prestation, puisqu'il se peut que ces personnes aient commencé à travailler avant de répondre à la définition de l'emploi utilisée aux fins de l'évaluation formative des PEMS.

Les anciens prestataires réadmissibles ne sont pas inclus, puisqu'ils ne sont pas admissibles à des prestations d'a.-e. en vertu de la Partie I et qu'en conséquence, il est impossible de calculer des prestations non payées à leur égard.

Comme on l'a vu plus tôt, la méthode utilisée par la DGIRH pour calculer les prestations non payées a été élaborée pour permettre de recueillir de l'information opérationnelle à point nommé, de sorte que les régions puissent déterminer rapidement si elles allaient dans la bonne direction. Pour pouvoir être mise en œuvre rapidement, la méthode a été conçue de façon relativement simple sans tenir compte de toute la gamme des anomalies dans le calcul des prestations non payées. Par conséquent, les résultats estimatifs sont plus élevés que les résultats réels lorsqu'on examine les dossiers individuels.

3 319 $ 744 $

Tableau 5.4 Montant brut moyen des prestations non payées de l'a.-e. en vertu de la Partie I par personne employée selon le programme
	SAE	PCE	FOR	ATI	SSC	Total
Employés avant la fin de la période de prestation	2 548 $	2 120 $	1 010 $	779 $	2 172 $
Employés après la fin de la période de prestation (prestataires actifs)	740 $	69 $	282 $	874 $	1 553 $	561 $
Employés avant ou après la fin de la période de prestation	1 915 $	843 $	846 $	1 936 $	2 280 $

3 264 $ 510 $

Tableau 5.5 Montant brut moyen des prestations non payées de l'a.-e. en vertu de la Partie I par personne employée selon la région
	Atlantique	Québec	Ontario	Prairies	C.-B.	Total
Employés avant la fin de la période de prestation	2 423 $	2 256 $	3 781 $	3 780 $	3 319 $
Employés après la fin de la période de prestation (prestataires actifs)	608 $	252 $	501 $	1 019 $	561 $
Employés avant ou après la fin de la période de prestation	1 524 $	1 325 $	2 929 $	2 192 $	2 644 $	2 280 $

Les tableaux 5.6 et 5.7 montrent le montant total brut des prestations non payées de l'a.-e. en vertu de la Partie I selon les estimations établies dans le cadre de l'évaluation formative. Il est à remarquer que ces estimations s'appliquent aux 261 207 personnes qui ont participé à une intervention PEMS entre le 1er juillet 1996 et le 30 juin 1997, selon le Rapport de contrôle et d'évaluation²⁰ .

Pour illustrer la méthode utilisée afin de calculer le montant total des prestations non versées aux fins de l'enquête, on part du montant total des prestations non versées aux participants employés avant la fin de la période de prestation (264 414 346 $). Pour obtenir ce chiffre, on multiple la proportion de tous les participants employés avant la fin de la période de prestation (27,6 p. 100) par le nombre total de participants PEMS (261 207). Ce total estimatif du nombre de participants employés est ensuite multiplié par la moyenne des prestations non payées par personne employée avant la fin de la période de prestation (3 319 $), ce qui donne le total estimatif des prestations non payées. La même procédure a été appliquée pour chaque programme et chaque région à l'égard des participants employés avant la fin de la période de prestation et des participants employés après la fin de la période de prestation. Le total des prestations non payées est la somme des prestations non versées aux participants employés avant la période de prestation et aux participants employés après la fin de la période de prestation.

Tableau 5.6 Montant total brut des prestations non payées de l'a.-e. en vertu de la Partie I selon le programme
	SAE	PCE	FOR	ATI	SSC	Total
Employés avant la fin de la période de prestation	109 879 763 $	2 475 568 $	31 910 396 $	550 600 $	4 814 239 $	239 305 188 $
Employés après la fin de la période de prestation (prestataires actifs)	12 500 906 $	108 885 $	5 756 771 $	1 293 900 $	1 895 282 $	24 607 892 $
Montant total des prestations non payées	114 927 433 $	2 305 519 $	38 644 177 $	1 850 253 $	6 652 813 $	264 414 346 $
Nombre total des participants PEMS dans la base de sondage	112 592	17 430	105 637	13 096	12 452	261 207

Tableau 5.7 Montant total brut des prestations non payées de l'a.-e. en vertu de la Partie I selon la région
	Atlantique	Québec	Ontario	Prairies	C.-B.	Total
Employés avant la fin de la période de prestation	13 444 231 $	18 348 171 $	104 916 155 $	50 635 747 $	42 485 373 $	239 305 188 $
Employés après la fin de la période de prestation (prestataires actifs)	4 526 178 $	2 743 543 $	3 833 563 $	5 549 416 $	9 486 081 $	24 607 892 $
Montant total des prestations non payées	19 809 475 $	25 182 996 $	103 293 989 $	58 288 418 $	54 320 620 $	264 414 346 $
Nombre total des participants PEMS dans la base de sondage	35 120	62 091	70 249	48 790	44 957	261 207

5.2 Analyse des calculs des résultats

L'un des objectifs de ce rapport d'évaluation formative était d'analyser les estimations établies à l'aide des deux grands indicateurs des résultats (c.-à-d. combien de clients travaillent et le montant des prestations non payées aux prestataires de l'a.-c. qui sont retournés au travail). Il n'a cependant pas été possible de faire une comparaison directe des chiffres estimatifs produits par la DGIRH et des chiffres estimatifs établis dans le cadre de l'évaluation formative.

Comme on l'a vu plus tôt, les méthodes utilisées par la DGIRH n'étaient pas les mêmes que les méthodes utilisées dans le cadre de l'évaluation formative. Au moment des travaux sur le terrain menés dans le cadre de l'évaluation formative, les bases de données de la DGIRH étaient en train de subir d'importantes modifications. Une version ultérieure en a été utilisée dans le Rapport de contrôle et d'évaluation. Comme cette base de données fait systématiquement l'objet de travaux de réaménagement, la DGIRH n'a pas été en mesure, jusqu'à maintenant, de vérifier les données utilisées. Par conséquent, l'équipe d'évaluation n'a pas pu quantifier les différences entre les estimations établies dans le cadre de l'évaluation formative et les estimations tirées du Rapport de contrôle et d'évaluation.

Cependant, on croit que plusieurs aspects de la méthode utilisée par la DGIRH pour calculer les économies ont probablement donné lieu à des surestimations. Compte tenu des différences entre la population visée par l'évaluation formative et l'univers représenté par les populations de la DGIRH, il est impossible de commenter l'ampleur de ces surestimations. Le tableau 5.8 suit résume certaines des différences entre les deux méthodes.

Tableau 5.8
Aperçu des méthodes de calcul des prestations non payées   Évaluation formative DGIRH Rapport de contrôle et d'évaluation²¹ Méthode de calcul (algorithme)

Les prestations non payées sont la différence entre les prestations d'a.-e. auxquelles le client a droit et les prestations qu'il reçoit effectivement, et ce, semaine par semaine.

Les prestations non payées sont calculées à partir du début de l'intervention à laquelle le client participe.

Les prestations non payées par suite d'une fraude ou d'une indemnité de cessation d'emploi ne sont pas comprises dans le calcul des prestations non payées.

Pour les volets ATI, PCE, Formation et SAE, le nombre de semaines de prestations restantes depuis la première semaine, à partir de laquelle la Règle 12 semaines - 25 p. 100 s'applique, est compté puis multiplié par le taux de prestation.

Les prestations non payées sont calculées comme suit : le nombre de semaines de prestations restantes à partir du début de l'intervention SSC est compté puis multiplié par le taux de prestation.

Population Les clients PEMS qui ont commencé à participer à une intervention entre le 1er juillet 1996 et le 31 mars 1997.

Les clients PEMS qui ont commencé à participer à une intervention entre le 1er juillet 1996 et le 30 juin 1997 (3 mois de plus que pour l'évaluation formative)

Les participants dont l'intervention avait commencé avant le 1er juillet 1996

Les participants à d'autres initiatives (p.ex., Activités pancanadiennes, Suppléments de revenu ciblés, Travail partagé)²²

Taille de la population 161 000 536 386²³

Cette analyse repose sur l'information et les fichiers de données reçus en octobre 1997. Elle ne tient pas compte de tout changement ultérieur dans la méthode de la DGIRH. On pense que les facteurs suivants donnent lieu à une surestimation des résultats établis par la DGIRH en ce qui concerne les économies :

• La méthode utilisée par la DGIRH pour calculer les prestations non payées pendant la période au cours de laquelle s'appliquait la Règle 12 semaines - 25 p. 100 a pu donner lieu à une surestimation des prestations non payées en vertu de la Partie I de l'a.-e.; par exemple, un participant qui a touché 24 p. 100 des prestations auxquelles il avait droit s'est vu attribuer 100 p. 100 du montant total auquel il avait droit à titre de prestations non versées. La méthode utilisée aux fins de l'évaluation formative ne lui attribuait que 76 p. 100 des prestations auxquelles il avait droit.

• La DGIRH a compté des prestations non payées qui n'ont pas été observées et qui ne se sont pas matérialisées pendant la période à laquelle elles avaient été imputées. En effet, la DGIRH avait retenu l'hypothèse suivante : dès qu'on considère d'un participant qu'il est employé (selon la Règle 12 semaines - 25 p. 100), cette personne ne touchera plus d'autres prestations à l'avenir. L'imputation de prestations non payées qui n'ont été ni observées ni démontrées jusqu'à maintenant peut se traduire par une surestimation du total des prestations non payées.

• Selon la définition de l'emploi utilisée par la DGIRH (en vertu de la Règle 12 semaines -25 p. 100), une réduction dans les prestations non payées attribuable à des raisons autres que l'emploi était imputée à l'emploi. Par exemple, la DGIRH tient pour acquis que les prestataires qui n'ont pas soumis leur carte de déclaration avaient trouvé du travail. Selon certaines indications, des réductions des prestations pour des raisons autres que l'emploi à proprement parler, par exemple une indemnité de cessation d'emploi, ont également été imputées à l'emploi selon la définition de la DGIRH.

Comme on vient de le voir, il est impossible de quantifier l'ampleur de la surestimation, puisque certaines données ne sont pas accessibles et qu'il y a des différences dans les populations observées.

Il faut préciser que selon le cadre opérationnel de la DGIRH, l'accent est mis sur la transmission ponctuelle de données sur les résultats. Au moment de l'évaluation, soit entre juillet 1996 et mars 1997, les indicateurs opérationnels étaient en train d'être implantés et l'accent était mis sur la transmission de données à point nommé. Par conséquent, la méthode initiale était simple et les données n'étaient pas très pointues; de plus, certains cas individuels et certaines anomalies n'ont pas été pris en considération. Les indicateurs avaient pour objet de fournir de l'information opérationnelle aux régions pour leur permettre de déterminer leurs progrès.

¹⁸Chaque fois qu'il est question de l'emploi et des prestations non versées (ou non payées) dans le présent rapport, il s'agit de l'emploi et des prestations non versées de nature non incrémentielle, ce qui permet d'assurer une certaine uniformité par rapport aux calculs de la DGIRH. Retour
¹⁹La norme de 12 semaines d'emploi s'applique aux prestataires qui ont retrouvé du travail avant la fin de la période de prestation. Retour
²⁰Seuls les participants aux programmes PEMS examinés dans le cadre de cette évaluation sont compris dans ce total de 261 207 participants. Retour
²¹L'information figurant dans cette colonne a été établie au mieux de notre connaissance. Retour
²²La base de données de la DGIRH comporte 42 codes pour différentes interventions. Les participants examinés dans le cadre de l'évaluation formative des PEMS se retrouvait dans 7 de ces catégories. Retour
²³D'après le Rapport de contrôle et d'évaluation, 1997, p. 89. Retour

Page précédente

Table des matières

Page suivante