Il y a deux semaines, dans cet espace, j'ai fait valoir que cette période de vulnérabilité de l'enseignement supérieur – caractérisée par une perte de confiance du public, des tensions financières, des attaques politiques et bien plus encore – exige que les collèges et les universités montrent leur valeur en prouvant qu'ils permettent réellement l'apprentissage sur leurs campus.
J'ai entendu un large éventail de personnes, certaines étant d'accord et d'autres aiguisant leurs fourches. C'est un terrain contesté : certaines personnes qui travaillent dans l'enseignement supérieur n'aiment tout simplement pas qu'on leur demande de faire leurs preuves. D’autres craignent (ce qui est compréhensible compte tenu de l’histoire) qu’essayer de « mesurer » si et combien les étudiants apprennent pourrait être réducteur et générer un travail administratif interminable.
Je répondrai bientôt ici aux bonnes questions que certains d'entre vous ont soulevées depuis mon message initial. Mais je veux d’abord terminer ce que j’ai commencé.
Au cours des prochaines semaines, j'expliquerai pourquoi nous avons historiquement essayé (et échoué) de mesurer l'apprentissage et l'importance de le faire maintenant. Fournissez mes premières idées, et sans aucun doute imparfaites, sur la façon dont nous pourrions y parvenir. Et, surtout, distinguez ce que j'envisage de l'« évaluation » axée sur l'accréditation et la responsabilité que beaucoup d'entre vous considèrent (pas à tort) comme le diable.
L’article d’aujourd’hui constitue ma meilleure tentative pour expliquer pourquoi nous en sommes arrivés là : manquant, comme je l’ai soutenu précédemment, « de preuves tangibles, directes et incontestables que les collèges et les universités aident réellement les apprenants à développer les capacités, les compétences et les habitudes d’esprit que les institutions prétendent offrir ».
Les collèges et les universités ont depuis longtemps pris des mesures pour comprendre si les étudiants apprenaient, mais de différentes manières pour répondre à différents besoins et satisfaire différents publics.
Pour leurs propres besoins internes, les établissements suivaient les progrès des étudiants vers un diplôme, en grande partie par le biais d'un processus impliquant l'élaboration d'un programme par les professeurs, l'exposition des étudiants à ce programme mesurée en heures de crédit ou en « temps passé au siège », un ensemble de devoirs et d'évaluations notés par les experts du corps professoral jugés les plus à même de juger si les étudiants apprenaient, et un diplôme soutenu par un relevé de notes peu détaillé.
Pendant des décennies, la plupart des employeurs et des Américains ont semblé croire que les diplômés avaient suffisamment appris ou en tiraient suffisamment de valeur pour en valoir la peine. C'est s'ils y avaient seulement pensé ; pour beaucoup, c’était simplement une supposition.
Les établissements ont également utilisé les évaluations à d'autres fins « internes » : pour évaluer les performances des professeurs à des fins de titularisation et de promotion ; « améliorer » les cours et les programmes, en comprenant ce qui fonctionne et ce qui ne fonctionne pas, et où les étudiants s'égarent ; et pour aider les instructeurs et les concepteurs à repenser les pratiques pédagogiques et à réviser le programme en conséquence.
Ces efforts visant à améliorer les institutions ont bénéficié d’une certaine adhésion interne (puisque les gens ont tendance à soutenir les choses qu’ils ont contribué à créer) ; le thème central du livre 2020 de Scott Gelber, Notation du collège : une histoire de l'évaluation de l'enseignement et de l'apprentissage (Johns Hopkins University Press), dit-il, est que « lorsque les gens proposent leurs propres méthodes d’évaluation, ils ont plus confiance dans la validité » que dans les approches qui leur sont imposées de l’extérieur.
Mais les méthodes internes manquaient de portée en dehors du collège (ou même du département universitaire) en question. Et à différents moments, lorsque des questions ont été soulevées quant à la qualité ou à l'efficacité de l'enseignement supérieur, des chercheurs, des décideurs politiques ou des politiciens ont fait pression pour différents types d'évaluation des apprentissages susceptibles d'offrir une plus grande comparabilité entre les établissements.
La première grande avancée a eu lieu au milieu des années 1980, sous la forme du rapport de 1984 du Groupe d’étude sur les conditions d’excellence dans l’enseignement supérieur américain, qui suivait de près le rapport « Nation at Risk » qui a stimulé des décennies de réforme de la maternelle à la 12e année.
Le groupe d’étude, mandaté par une unité du nouveau ministère américain de l’Éducation mais composé d’universitaires éminents, a recommandé que les universités définissent l’excellence éducative en termes de « résultats » mesurables des étudiants (connaissances, capacités et compétences) plutôt que d’« intrants » tels que les diplômes universitaires des étudiants entrants.
Il a également appelé les organismes d'accréditation à tenir les collèges responsables de la définition des attentes, de l'évaluation si les étudiants répondent à ces attentes et de développer des systèmes pour améliorer l'enseignement et les programmes sur la base de ces évaluations.
Peter T. Ewell, surnommé le « doyen du mouvement d'évaluation des résultats dans l'enseignement supérieur », cite ce moment comme la naissance de ce mouvement et note qu'il a été en proie dès le départ aux deux objectifs définis par le groupe d'étude : l'amélioration interne et la responsabilité externe. (L'un de mes articles d'opinion préférés de tous les temps dans À l’intérieur de l’enseignement supérieur était intitulé « Évaluation pour nous et évaluation pour eux ».) Le désir des partisans d'utiliser les données pour améliorer l'enseignement et l'apprentissage a été de plus en plus accueilli avec scepticisme de la part des professeurs qui pensaient que l'information serait « rituelle » et potentiellement utilisée contre eux devant le tribunal de la titularisation.
Cette tension s'est intensifiée deux décennies plus tard lorsque la Commission sur l'avenir de l'enseignement supérieur, alors secrétaire à l'Éducation, Margaret Spellings, a construit ses critiques souvent sévères en partie autour de l'idée que les collèges et les universités devraient définir et mesurer les « résultats d'apprentissage des étudiants » et que les accréditeurs devraient contrôler leur travail pour garantir la qualité.
Alors que le sénateur Lamar Alexander a empêché Spellings de prendre des mesures formelles pour forcer les accréditeurs à fixer des niveaux minimum de performance pour l'apprentissage des étudiants, les collèges et les accréditeurs ont compris que, comme le rappelle l'ancienne présidente de l'université et décideuse politique Jamienne Studley, « si nous ne le faisions pas nous-mêmes, ils nous le feraient. Même un « vieux classique grincheux » comme W. Robert Connor, alors directeur de la Fondation Teagle, pensait que le moment était venu de mesurer l’apprentissage de manière plus vigoureuse.
La menace d’exigences imposées par le gouvernement a engendré une multitude d’initiatives au cours de la décennie suivante.
Certains, comme le Collegiate Learning Assessment, défendu par la Spellings Commission, étaient des examens standardisés qui cherchaient à mesurer la pensée critique, le raisonnement analytique et les compétences en communication écrite des étudiants à travers une série de « tâches de performance » et de « invites d'écriture ». Le CLA était remarquable car il était conçu pour mesurer la croissance des apprenants au fil du temps, en comparant leurs performances au début et à la fin de leurs études universitaires. (L'adoption de la CLA par le panel Spellings a peut-être contribué à sa condamnation.)
De nombreux autres partisans d’une évaluation plus rigoureuse ne se sont pas concentrés sur des examens standardisés mais sur l’évaluation de portfolios de travaux réels d’étudiants pour trouver des preuves de la croissance de l’apprentissage. L'évaluation valide de l'apprentissage dans l'enseignement de premier cycle (VALUE) de l'Association américaine des collèges et universités a conçu un ensemble de rubriques pour définir 16 grands résultats d'apprentissage, a appliqué les rubriques à des échantillons de travaux d'étudiants produits dans des cours et des programmes et les a notés. L’actuelle collaboration multi-États visant à promouvoir un apprentissage de qualité chez les étudiants a tenté de le faire à grande échelle ; des centaines de campus utilisent encore VALUE d'une manière ou d'une autre.
D’autres encore, soucieux d’évaluer l’apprentissage des étudiants, ont adopté l’éducation basée sur les compétences, un effort visant à reconnaître la maîtrise des compétences et des connaissances sans tenir compte du temps qu’un apprenant passe dans un programme.
Mais aucun de ces efforts n’a pleinement abouti. Richard Arum, dont le livre de 2011 A la dérive académique a utilisé les données d'expériences avec le Collegiate Learning Assessment pour affirmer qu'il y avait incroyablement peu d'apprentissage dans de nombreux collèges, et a déclaré qu'il n'y avait « aucun investissement systématique dans l'utilisation de ces outils, et encore moins dans leur développement ».
Il n'est pas surpris que la plupart des universités n'aient pas montré beaucoup d'intérêt à mesurer si leurs étudiants apprenaient – « c'est juste un intérêt personnel fondamental » de ne pas vouloir être tenus pour responsables. Mais Arum est déçu que les bailleurs de fonds et les organismes de recherche n’aient pas insisté davantage.
(Remarque importante : les collèges et les universités qui sont généralement « leaders » dans l’enseignement supérieur – les établissements les plus visibles qui sont aussi souvent les plus riches et les plus sélectifs – sont les moins incités à mesurer l’apprentissage. Le public suppose déjà qu’ils sont les « meilleurs », donc tout mécanisme qui nous montrerait quels collèges ont réellement aidé leurs étudiants à grandir le plus pourrait bien diminuer le statut des « élites » plutôt que de l’améliorer.)
Entre-temps, les craintes de nombreux membres du corps professoral – que les établissements et les organismes d’accréditation adoptent une stratégie d’évaluation descendante qui prétend évaluer si les étudiants apprennent mais crée surtout un travail fastidieux de vérification des cases – se sont réalisées.
Les professeurs de base (qui, soyons honnêtes, se plaindront de tout ce qu'ils ne considèrent pas comme étant principalement dans leurs intérêts) ne sont pas les seuls à le penser : lors d'une conférence d'accréditation que j'ai couverte en 2019, une chercheuse qui a consacré sa vie à évaluer l'apprentissage des étudiants a qualifié l'état du domaine de « désordre brûlant ».
« Nous avons eu une série d’évaluations qui ont été vraiment préjudiciables et incroyablement axées sur les mesures », a-t-elle déclaré.
Qu’est-il arrivé à l’apprentissage entre-temps ? L’intérêt de cette série de colonnes est que nous ne le savons pas vraiment, mais la plupart des quelques indicateurs dont nous disposons suggèrent que la qualité et la quantité de l’apprentissage ne vont pas dans la bonne direction. Les dernières mesures de l'alphabétisation et du calcul des adultes aux États-Unis montrent une baisse, et même si les études les plus importantes constatant une baisse de la charge de travail académique pour les étudiants universitaires ont 15 ans, de nombreuses preuves anecdotiques suggèrent que les professeurs donnent moins de cours de lecture et d'écriture et que les étudiants eux-mêmes font moins de travail.
Tout cela alors que les notes universitaires ont augmenté sans relâche : les meilleures preuves disponibles (lire : imparfaites) dont nous disposons, issues de l'étude nationale sur l'aide aux étudiants postsecondaires du ministère de l'Éducation, suggèrent que la moyenne pondérée cumulative des notes universitaires est passée d'environ 2,7 à la fin des années 1980 à environ 3,15 aujourd'hui. Cela est largement interprété comme une preuve d'inflation des notes plutôt que comme une amélioration réelle, car les performances des élèves aux mesures standardisées comme l'ACT et aux examens nationaux comme l'évaluation nationale des progrès éducatifs ont diminué en même temps.
Vous savez ce qui a également augmenté pendant cette période ? Doute du public quant à la valeur de l’enseignement supérieur et des diplômes. Est-ce parce que les gens doutent de la réalité de l’apprentissage ? Ce n’est pas une raison qu’ils ont tendance à citer. Mais ils se demandent si les diplômés sont préparés à l’emploi et si le temps qu’ils passent dans nos établissements les aidera suffisamment pour en valoir le prix.
L’apprentissage est-il le seul élément à prendre en compte ? Bien sûr que non, c'est pourquoi j'ai déjà plaidé en faveur d'un « menu d'indicateurs large mais très spécifique qui donnerait une image plus complète de la mesure dans laquelle les collèges et les universités tiennent les promesses qu'ils font aux étudiants et à la société en général ».
L’apprentissage devrait cependant être au centre de tout cela. Je ne parle pas de la mesurer pour l’une ou l’autre des deux raisons historiques d’évaluation – « amélioration » ou « responsabilisation » – mais pour un troisième objectif : « l’évaluation pour prouver la valeur ».
Prouver aux étudiants, aux familles et aux employeurs (et peut-être à nous-mêmes ?) que nos collèges transmettent réellement aux apprenants ce que disent nos énoncés de mission. Que nous avons un véritable plan sur ce que nous voulons qu'ils sachent et soient capables de faire après avoir entrepris une série d'expériences d'apprentissage dans nos établissements, que nous et eux comprenons ce que cela signifie, et que nous nous engageons à leur montrer qu'ils obtiennent réellement ce que nous avons promis.
Je conserverai ma vision de travail de ce à quoi cela pourrait ressembler pour le troisième et dernier morceau de cette série plus tard ce mois-ci. Mais à un niveau élevé, nous :
- Définir beaucoup plus clairement (et idéalement de manière cohérente, au niveau institutionnel ou même interinstitutionnel) les principales capacités, habitudes d'esprit et comportements que nous pensons qu'un apprenant devrait développer (pour moi, il s'agirait d'un ensemble de compétences durables sur lesquelles les membres du corps professoral, les employeurs et autres peuvent trouver une cause et un langage communs) ;
- S'engager à atteindre un objectif consistant à aider chaque apprenant qui travaille à développer la compétence (sinon la maîtrise) de ces capacités ;
- Trouver un ou plusieurs moyens de mesurer le développement des élèves afin que nous (et eux) puissions savoir comment nous allons tous ; et
- Utilisez les connaissances qui en résultent pour une combinaison d'amélioration continue des programmes et pour persuader nos publics que nous faisons ce que nous promettons.
Cela semble simple, non ?
