Base de données juridiques

Effectuer une recherche

Note d'orientation CNESMS

  • Favori

    Ajoutez ce texte à vos favoris et attribuez lui des libellés et annotations personnels

    Libellés

    Séparez les libellés par une virgule

    Annotations

  • Partager

  • Imprimer

CONSEIL NATIONAL DE L’EVALUATION SOCIALE ET MEDICO-SOCIALE

Paris, le 10 novembre 2005

Note d’orientation

Chargé de valider les « procédures, références et recommandations de bonnes pratiques professionnelles » au regard desquelles seront conduites les évaluations, le Conseil national de l’évaluation sociale et médico-sociale a souhaité approfondir la réflexion sur les principaux concepts.

Avant de produire une définition des « procédures, références et recommandations » et un guide de l’évaluation interne, le Conseil soumet à la réflexion le présent document d’orientation qui a été adopté à l’unanimité par le Conseil lors de sa réunion du 21 octobre 2005 et qui exprime l’état de ses travaux sur la notion d’évaluation et sur l’articulation entre évaluation interne et évaluation externe.

Le champ de l’évaluation

Complémentarité entre évaluation interne et évaluation externe

La loi prévoit deux types d’évaluation :

  • - « les établissements et services […] procèdent à l’évaluation de leurs activités et de la qualité des prestations qu’ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées [… par le] Conseil national » ; les résultats de cette évaluation interne sont « communiqués tous les cinq ans à l’autorité ayant délivré l’autorisation » ;
  • - par ailleurs, ces mêmes établissements et services « font procéder à l’évaluation de leurs activités et de la qualité des prestations qu’ils délivrent par un organisme extérieur » ; « les résultats de cette évaluation sont également communiqués à l’autorité ayant délivré l’autorisation » ; l’évaluation externe « doit être effectuée au cours des sept années suivant l’autorisation ou son renouvellement et au moins deux ans avant la date de celui-ci » ; c’est en effet « au vu de l’évaluation externe » que l’autorité compétente détermine les modalités du renouvellement : ou bien l’autorisation est tacitement reconduite ou bien il y a obligation de déposer un dossier spécifique.

On observe d’emblée que ce sont exactement les mêmes mots que le législateur utilise pour définir l’objet des évaluations interne et externe : il s’agit dans les deux cas de « procéder à l’évaluation des activités [des établissements et services] et de la qualité des prestations qu’ils délivrent ». Tout au plus peut-on relever que le législateur suggère une différence entre l’évaluation interne (qui se fait « au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles ») et l’évaluation externe (pour laquelle rien n’est précisé).

La lecture des débats parlementaires éclaire sur les intentions du législateur (voir annexe). Pour autant, le texte définitif ne donne pas d’indication précise quant aux éléments concrets qu’il convient de prendre en compte pour procéder à l’évaluation des activités des établissements et services et de la qualité des prestations qu’ils délivrent.

Idéalement, si l’on retient l’acception la plus complète du terme, toute évaluation portant sur un service ou un établissement social ou médico-social instaure un processus global et cohérent de conduite du changement, dans l’optique de l’amélioration continue de la qualité des prestations. Pour ce faire, elle comporte nécessairement plusieurs entrées.

Elle vise d’abord à apprécier comment se situe la structure, notamment au regard des procédures, références et recommandations de bonnes pratiques professionnelles ; l’évaluation est ici centrée sur la qualité des prestations, sur la manière dont elles sont délivrées et sur l’esprit qui préside à l’action : comme la loi du 2 janvier 2002 se caractérise par la place nouvelle qu’elle donne au respect du droit des personnes, cette phase de l’évaluation doit permettre tout particulièrement de mesurer si, au-delà de la proclamation incantatoire de bonnes intentions, les pratiques quotidiennes témoignent bien d’une véritable personnalisation de la prise en charge, d’une juste réponse aux attentes des personnes accueillies, d’un réel respect des usagers et de leurs familles.

L’évaluation doit également adopter une vision globale de la structure et de son contexte, ce qui conduit à émettre une série d’interrogations complémentaires sur le projet d’établissement :

  • - ce projet d’établissement permet-il de répondre de manière adéquate aux attentes et aux besoins des personnes accueillies ?
  • - ce projet d’établissement aide-t-il à travailler en dynamique, au sein du territoire desservi : comment s’inscrit-il dans le contexte que constituent d’une part les schémas adoptés, d’autre part les projets des autres établissements et services avec lesquels des complémentarités sont à construire ? L’évaluation doit permettre de porter un jugement sur l’insertion de la structure évaluée dans le contexte de son territoire ;
  • - le projet d’établissement et la manière dont il est mis en œuvre produisent-ils la meilleure efficience : serait-il possible de faire mieux avec les ressources dont dispose l’établissement ou le service ? pourrait-on faire aussi bien en mobilisant moins de ressources ? ou bien le niveau des moyens mobilisables est-il insuffisant pour répondre correctement aux exigences de la commande publique ? Une évaluation complète ne saurait éluder ces questions mais, naturellement, elle ne doit pour autant se transformer ni en audit comptable ni en contrôle budgétaire.

En outre, l’évaluation ne peut ignorer que le projet d’établissement se situe au point de rencontre de deux dimensions : d’une part le respect de la législation et, plus largement, de la commande publique qu’exprime l’autorité en charge du pouvoir d’autorisation, d’autre part les orientations et valeurs que porte le projet émis par les instances dont relève l’établissement ou le service (projet associatif si l’on se situe dans le cadre d’une association ou document de référence équivalent dans les autres cas et notamment pour les établissements publics). Dès lors, l’évaluation doit émettre un jugement sur la cohérence des relations entre ces divers éléments et sur l’adéquation aux exigences du temps présent des principes supérieurs auxquels on se réfère.

Enfin, l’évaluation doit tendre vers une mesure de l’impact des actions conduites.

A partir de ces considérations, il convient de s’interroger sur la nécessaire articulation entre évaluation interne et évaluation externe. Cette question se pose en effet avec acuité dès lors que le respect du calendrier prévu peut conduire à ce que, pour un même établissement ou service, les évaluations interne et externe soient relativement proches dans le temps, avec un écart entre elles inférieur à deux ans.

D’un point de vue théorique, on pourrait imaginer une solution dans laquelle, pour éviter que l’on fasse deux fois de suite la même opération, on donnerait aux deux évaluations des finalités distinctes, l’évaluation interne se trouvant par exemple centrée sur la conformité des pratiques quotidiennes au regard des référentiels retenus et sur le respect des droits des personnes tandis que l’évaluation externe embrasserait un champ plus large et se prononcerait sur la qualité du projet d’établissement, sur l’efficience atteinte par la structure et sur son insertion dans l’environnement institutionnel.

Une telle solution doit en fait être écartée dans la mesure où elle accrédite à tort l’idée qu’il peut exister des définitions différentes de ce que doit être l’évaluation sociale et médico-sociale ; surtout, sa mise en œuvre concrète risquerait d’aboutir à la réalisation successive de deux évaluations tronquées dont aucune ne donnerait une vision juste de la structure et dont l’addition risquerait d’être ininterprétable puisqu’elle agrégerait des données collectées à des moments différents et selon des méthodes différentes.

Puisque l’évaluation interne et l’évaluation externe doivent porter, toutes deux, sur les activités et la qualité des prestations que délivrent les établissements et services, elles doivent avoir le même périmètre et rien n’interdit que ce dernier soit large, incluant la vérification de la pertinence du projet d’établissement, de la bonne insertion de la structure dans son environnement, de l’efficience du dispositif retenu.

En fait, ce qui importe, c’est la complémentarité des regards portés sur un même établissement ou service, dans une articulation forte entre évaluation interne et évaluation externe. Leur succession doit permettre de disposer de points de vue croisés, ce qui aidera à se constituer un jugement aussi sûr que possible. Ceci est primordial, à la fois pour les responsables de la structure concernée et pour l’autorité ayant délivré l’autorisation qui est destinataire des résultats des évaluations internes et externes.

Plus précisément, la succession dans le temps des deux types d’évaluation doit créer une dynamique. Ainsi, l’évaluation interne est suivie d’une évaluation externe et cette dernière doit se prononcer à la fois sur le sérieux de l’évaluation interne, sur la pertinence des conclusions qui en ont été tirées, sur les améliorations effectivement enregistrées ; et les mesures prise à la suite de l’évaluation externe seront à leur tour évaluées, lors de la phase suivante. C’est de cette manière que l’évaluation concourt à la dynamique d’amélioration continue de la qualité des prestations.

On observera que cette dynamique ne peut évidemment être obtenue que si l’on retient une ambition également haute quant au sérieux des deux types d’évaluation. L’évaluation interne constitue une démarche méthodologiquement exigeante qui doit mobiliser l’ensemble des acteurs concernés : les équipes dirigeantes autour des administrateurs et directeurs mais également l’ensemble des personnels et, tout autant, les usagers et leurs familles. Quant à l’évaluation externe, elle doit être approfondie, pluridisciplinaire et conduite avec l’indépendance nécessaire à la sûreté du jugement, ce qui suppose que l’évaluateur externe n’ait (et n’ait eu) strictement aucun lien avec la structure en cause, ce que devrait garantir le respect du cahier des charges prévu par la loi.

Sans entamer la force des principes qui viennent d’être énoncés, le réalisme impose de tenir compte de ce que tous les établissements et services du champ social et médico-social ne se situent pas sur la même « ligne de départ » en matière d’évaluation : chez certains, la réflexion est d’ores et déjà très avancée tandis que, dans d’autres cas, les esprits sont encore peu préparés ; en outre, la situation est naturellement très différente selon que la structure est isolée ou inscrite dans un réseau déjà habité par ces préoccupations, les institutions qui fédèrent les établissements et services ayant, le plus souvent, élaboré des outils et fait progresser la culture de l’évaluation ; enfin, la possibilité de dégager des moyens humains et budgétaires est inégalement présente.

Il sera inévitable de composer avec ces réalités et l’on doit donc envisager que les établissements et services puissent, au moins pour la première évaluation interne, opérer une forme de priorisation parmi l’ensemble des thématiques qu’il faut aborder, en approfondissant certaines plus que d’autres. A cet égard, tout ce qui touche à la personnalisation de la prise en charge, au respect du droit des personnes et à l’organisation de leur participation aux décisions de l’établissement ou du service constitue à l’évidence le point obligatoire sur lequel toute évaluation doit être conduite avec le maximum d’attention. Et cette éventuelle priorisation doit s’accompagner de la préparation d’une extension progressive du champ de la démarche évaluative.

ANNEXE : RAPPEL DU CONTENU DES DEBATS PARLEMENTAIRES

Pour mieux percevoir les intentions du législateur quant aux finalités de l’évaluation externe, un détour historique est nécessaire. Il se trouve en effet que la double question de la durée des autorisations et du rôle de l’évaluation externe a constitué le principal et dernier point d’achoppement entre l’Assemblée Nationale et le Sénat.

Lors de son dépôt à l’Assemblée Nationale, en juillet 2000, le projet de loi ne prévoit qu’une évaluation interne et il limite à dix années la durée de l’autorisation, celle-ci étant « renouvelable en tout ou partie au vu du résultat de l’évaluation ».

Au cours du travail en commission, il est fait observer par un député que, dans le projet de loi, « les procédures d’évaluation sont insuffisantes et ne sont pas assurées par une instance dont l’indépendance soit absolument garantie ». Après qu’ait été écartée une solution visant à contraindre « immédiatement l’ensemble des organismes à se soumettre à une évaluation externe obligatoire [effectuée par une agence] délivrant une accréditation », certains proposent d’instaurer « la possibilité de procéder, sur une base volontaire, à une évaluation externe, en entourant de garanties le choix des organismes qui pourraient y procéder », d’autres de situer au niveau national la définition des critères de l’évaluation mais de confier « à des organismes [régionaux] plus proches du terrain » la vérification du respect de ces critères.

En définitive, au cours de sa séance du 1er février 2001, l’Assemblée Nationale se prononce en faveur d’un amendement qui, en sus de l’évaluation interne figurant dans le projet initial du Gouvernement, rend obligatoire une évaluation externe, pratiquée par un organisme extérieur figurant sur une liste arrêtée par décret. A ce stade de la discussion parlementaire, la durée de l’autorisation est fixée à dix ans et son renouvellement est lié aux résultats de l’évaluation externe.

Telle est l’économie du texte transmis au Sénat. Celui-ci ne marque aucune hostilité à l’égard de l’évaluation, qu’elle soit interne ou externe ; il n’introduit que quelques ajouts et modifications au dispositif qu’avait adopté l’Assemblée Nationale, précisant par exemple que l’évaluation externe aura lieu « au moins tous les dix ans ». En revanche, le désaccord est profond sur la question de l’opportunité d’une limitation dans le temps de la durée des autorisations, le Sénat « posant le principe d’une autorisation à durée indéterminée ».

C’est donc en Commission mixte paritaire, au cours du mois de décembre 2001, que s’élabore un compromis : d’un côté, la durée de l’autorisation est finalement limitée dans le temps ; mais d’un autre côté, pour que les établissements et services disposent d’une réelle sécurité juridique et que leur existence ne se trouve pas indûment précarisée, trois atténuations sont introduites :

  • - la durée de l’autorisation est fixée à quinze ans et non plus à dix ans ;
  • - le mécanisme du renouvellement des autorisations est singulièrement moins exigeant que celui de l’autorisation initiale : alors que celle-ci n’est accordée qu’une fois remplies quatre conditions distinctes (parmi lesquelles la double compatibilité d’une part du projet avec le schéma dont relève la structure et d’autre part du coût de fonctionnement prévu avec les ressources disponibles), le renouvellement ne peut être subordonné qu’aux seuls résultats de l’évaluation externe ;
  • - enfin, le renouvellement repose sur un « authentique régime d’approbation tacite ».

La mise en place d’une évaluation externe intermédiaire, effectuée au cours des sept premières années, constitue une autre pièce du compromis.

Informations sur ce texte

Date : 10/11/2005