Provoqué (dans le bon sens) par À l’intérieur de l’enseignement supérieur Dans le dernier article « Tough Love » du co-fondateur et actuel chroniqueur Doug Lederman, sur la façon dont « le fait de ne pas mesurer l'apprentissage nuit à l'enseignement supérieur », je me suis assis pour écrire une réponse sur la façon dont nous pouvons effectivement mesurer l'apprentissage.
Je me sentais confiant dans ma réponse, car changer l'orientation des cours d'écriture de ce que j'appelle « scolarité » – essentiellement suivre des processus prescriptifs à la recherche d'une note – vers « l'apprentissage » (vous savez, développer réellement la capacité de faire quelque chose et ensuite traduire cette action en d'autres choses) est mon objectif depuis près de deux décennies.
Je connais la différence entre le moment où un élève suit un processus scolaire et le moment où il apprend quelque chose. Les étudiants le savent aussi d’ailleurs. Le défi, cependant, est de « mesurer » cet apprentissage d’une manière qui satisfasse aux critères que Doug — je vais me passer ici des conventions de référence aux auteurs par leur nom de famille parce que je connais Doug depuis environ 15 ans — afin de « regagner la confiance du public », à savoir « si et combien les étudiants apprennent ».
Ledermann (pour une raison quelconque, il semble juste d'utiliser le nom de famille au début d'une phrase(1)) ne fait pas partie du groupe qui pense que l’apprentissage n’a pas lieu, mais qui croit également qu’affirmer avec autorité (ce que je fais dans le paragraphe juste au-dessus de celui-ci) « est différent de savoir… Et savoir est différent de prouver ».
Je conviens qu'affirmer par autorité est différent de savoir, mais je soutiendrai quand même que je sais – presque sans faute – quand les élèves apprennent, et lorsque je ne suis pas sûr, je peux avoir une conversation avec un élève pour apporter des éclaircissements à la fois pour eux et pour moi. Dans ce cas particulier, mon autorité est ancrée dans l’expérience et je crois que mon bilan est plutôt bon dans ce domaine.
Mais plus je pensais à l'argument de Doug (voilà, je vais changer à nouveau, dois-je simplement choisir Lederman et en finir avec ça ?), plus je réalisais qu’il y avait beaucoup plus de questions que nous devions considérer – voire répondre – avant même de pouvoir nous diriger dans la bonne direction vers notre objectif.
Ne pas comprendre l'ensemble de la mission risque de nous mener à un voyage à la Odyssée où ce serait un miracle si nous parvenions à éviter d'être consommés par un cyclope, ou transformés en cochon, ou séduits par Charlize Theron et ses fleurs de lotus juste au moment où nous sommes prêts à rentrer chez nous à Anne Hathaway. (Trop mignon ? Eh, pourquoi ne pas jeter un os au Odyssée discours? Les gens qui ont vu le film le comprendront et ceux qui ne l’ont pas vu comprendront probablement au moins la référence.)
Je ne pense pas que cette liste de questions supplémentaires soit même exhaustive, mais c'est un début sur certains des facteurs tacites qui doivent être explicités si cette mission a une chance de succès. J'ai quelques réflexions sur les réponses à ces questions, mais pour l'instant, je me limiterai aux questions elles-mêmes.
- Pourquoi est-ce une étape nécessaire pour « regagner la confiance du public » maintenant, alors que (comme le note Lederman) dans le passé, nous la laissions passer ? Qu’est-ce qui a changé dans la société et les systèmes sous-jacents qui nécessitent ce changement, et est-il possible qu’aborder ces changements plus directement soit une meilleure voie pour restaurer la confiance du public ?
- A qui s'adresse la mesure ? Quel est le public visé par la mesure ? Étudiants? Parents? Des employeurs ? Gouvernement? S'il s'agit d'étudiants, je pense que nous pouvons résoudre ce problème assez rapidement, mais chacun de ces autres groupes serait plus difficile à résoudre.
- A quoi va servir cette mesure ? Cela contribuera-t-il à éclairer les pratiques pédagogiques ? Déterminera-t-il les niveaux de financement pour les domaines d’études ou même pour des établissements entiers ? Cette mesure fait-elle partie d’un guide du consommateur destiné aux étudiants sur un marché de consommation, ou constitue-t-elle l’épine dorsale de la prise de décision en matière de politique publique ?
- La mesure vise-t-elle à classer les étudiants (et/ou les établissements) les uns par rapport aux autres ou à une norme prescrite, ou est-elle relative à chaque étudiant – par exemple, dans quelle mesure chaque étudiant a-t-il progressé au fil du temps ?
- Quand la mesure sera-t-elle effectuée et à quelle fréquence ? Est-ce qu'on fait ça chaque année ? Cours par cours ? Au début du parcours universitaire, puis à la fin ? Ou doit-il être continu, comme un moniteur de santé ? Et si on le faisait cinq puis dix ans après l'obtention de son diplôme ? Ne serait-ce pas plutôt intéressant ?
- Devons-nous mesurer tout le monde ou seulement un échantillon représentatif ?
- Quelle doit être la précision de la mesure ? Devons-nous établir une échelle avec des dégradés, ou cela peut-il ressembler davantage à cette chose sur la dinde de Thanksgiving qui apparaît une fois terminée ? Devons-nous établir une cartographie détaillée de ce que Doug Lederman appelle les « compétences durables » ou suffira-t-il de regarder un élève et de dire : « C'est de la soupe !
- Attendez, qu'est-ce qu'une compétence durable ?
- Quel type de preuve sera acceptable ? Un témoignage de soi ? Jugement subjectif ? Un test objectif ?
- Quel genre de variation (le cas échéant) sera faite pour les étudiants dans différents domaines d'études ? La même mesure peut-elle servir à l'étudiant en interprétation musicale et à l'ingénieur ?
- Enfin, et c'est à mon avis le plus important, comment éviter le piège de la loi de Campbell, où la mesure devient l'objectif et cesse donc d'être une bonne mesure, un phénomène qui a maintes fois englouti les tentatives bien intentionnées de quantification de l'apprentissage à tous les niveaux d'éducation ?
En les compilant, je me sens enthousiasmé par le défi de mesurer l'apprentissage, car c'est une grande question, et je pense que nous pourrions apprendre beaucoup de choses au cours du processus, même si nous échouons. Au moins, faire apparaître qu'il n'existe probablement pas de consensus solide sur ce qui constitue « l'apprentissage » constituerait un progrès par rapport au statu quo.
Cela est particulièrement intéressant si l’apprentissage devient un point central du travail des universités, ce qui n’est pas le cas actuellement. Comme Doug, je suis convaincu que l'apprentissage se fait dans les collèges et les universités, mais mon expérience personnelle suggère que l'apprentissage, en soi, n'est pas le principal objectif opérationnel de nos établissements d'enseignement.
Je ne peux m’empêcher de revenir sur les paroles de Carol Christ en 2016, alors vice-chancelière et aujourd’hui chancelière émérite de l’Université de Californie à Berkeley : « Les collèges et les universités ont fondamentalement pour mission d’inscrire des étudiants pour les frais de scolarité. » Cela semble aussi vrai aujourd’hui qu’à l’époque, et c’est sans doute au moins en partie la raison de ce déclin de confiance. L’idée selon laquelle faire apparaître l’apprentissage pourrait changer fondamentalement la façon dont les gens se rapportent aux institutions supposerait des changements fondamentaux dans les priorités.
Par exemple, il y a quelques semaines à peine, j'ai écrit sur le peu d'importance accordée par les institutions à l'enseignement de l'écriture, compte tenu des ressources réelles qu'elles y consacrent. Cette initiative changerait-elle ces choix ?
Est-ce que prouver l’apprentissage ou montrer que certains établissements sont meilleurs dans l’enseignement de l’apprentissage changerait les choix que font les étudiants ? J'ai quelques doutes. Par exemple, Harvard pourrait être présentée comme assez moyenne en termes d’apprentissage, du moins tel que mesuré par la croissance, plutôt que de s’appuyer sur la variable dépendante de l’admission d’enfants intelligents et (principalement) riches dans votre institution, mais je pense qu’elle continuerait à conserver son prestige.
Si nous découvrions que les établissements d’élite sont plutôt moyens en termes d’apprentissage, verrions-nous une nouvelle érosion de la confiance dans l’enseignement supérieur, ou verrions-nous une appréciation renouvelée pour les établissements plus accessibles qui pourraient obtenir de meilleurs résultats selon nos paramètres ?
Tant de questions. Espérons qu'avant que les « dégueulasses » avec qui Doug Lederman a parlé de ce problème ne se décident au sort des personnes qui font le travail d'enseignement, nous mettrons sur la table autant de questions que possible et nous nous engagerons à rechercher une réponse réelle et significative, plutôt que simplement pratique.
(Est-ce que je veux terminer sur cette note à moitié amère ? Je le pense, étant donné que je sens encore une autre initiative descendante qui sera imposée aux travailleurs de l’enseignement supérieur sans leur participation ni sans solliciter leur expertise apprise (et gagnée).)
(1) Certaines de ces parenthèses sont un exemple de la façon dont je sais que les étudiants développent leurs pratiques d'écriture – essentiellement, qu'ils sont capables de raconter intérieurement les choix qu'ils font pendant qu'ils écrivent. Je placerais ce type de conscience métacognitive au sommet ou près du sommet de ce que Doug appelle les « compétences durables ».
