Langue, technologie et société sont les trois mondes que Flor Plaza del Arco (29 ans, Villacarillo, Jaén) entrelace dans ses recherches statistiques. Il analyse les émotions contenues dans les textes sur les réseaux sociaux et détecte s'ils contiennent des crimes de haine, c'est-à-dire des commentaires discriminatoires à l'égard de personnes en fonction de leurs caractéristiques telles que le sexe, la race, l'origine ou le handicap. Vous recherchez également des méthodes pour vous aider à identifier et atténuer les préjugés ou les stéréotypes présents dans les modèles de langage, tels que ChatGPT. Grâce à son travail, elle a reçu le prix Prix de la Société espagnole d'informatique scientifique (SCIE) et de la Fondation BBVAqui encourage les jeunes chercheurs en informatique.
La chercheuse compare ses travaux en intelligence artificielle (IA) avec l’éducation qu’un parent donne à un enfant : « Imaginez que l’enfant soit le modèle. Au début, nous lui apprenons à parler espagnol et l'enfant a une connaissance générale de l'espagnol. À mesure qu'il grandit, vous pouvez lui dire de ne pas dire certaines choses parce que, par exemple, c'est une insulte ou de faire attention s'il va blesser quelqu'un. « Vous ajustez le modèle pour qu'il apprenne à détecter les discours de haine. » Plaza del Arco est chercheur postdoctoral en informatique à l'Université Bocconi de Milan.
Demander. Quels sont les crimes haineux les plus fréquents sur les réseaux sociaux ?
Répondre. Les crimes haineux liés au sexisme et à la migration sont les deux crimes dont nous entendons le plus souvent parler. Nous nous sommes également beaucoup concentrés sur les crimes liés à la misogynie, car nous constatons qu'il existe une discrimination à cet égard. Nous avons développé différents modèles et ressources pour que les modèles apprennent à détecter les crimes haineux. L’un des risques de ces modèles réside dans les préjugés et les stéréotypes qu’ils produisent ; Ils ont été formés avec les données présentes sur internet, sur Wikipédia et sont le reflet de la société.
Q. Pouvez-vous donner quelques exemples de stéréotypes ?
R. Nous avons développé une méthode pour voir si les modèles représentaient ces stéréotypes et nous avons vu que les femmes étaient davantage associées à des émotions telles que la tristesse ou des émotions liées aux soins, tandis que les hommes étaient davantage associés à la fierté, à l'ambition ou à l'agressivité. Un exemple est l’algorithme de Google qui a qualifié les personnes de couleur de gorilles, et ils ont dû le supprimer. Il s’agissait d’un biais machine et Google a promis de trouver une solution à l’erreur. Ils ont des conséquences matérielles et c’est pourquoi il est important de détecter ce type de biais et de l’atténuer. Pour cela, la qualité des données avec lesquelles les systèmes sont entraînés est essentielle, et la présence humaine également.
Q. Qu’entendez-vous par données de qualité ?
R. Que les modèles ne contiennent aucune information personnelle. Avant, par exemple, si vous demandiez au modèle comment se suicider, le modèle répondait en donnant des conseils. Maintenant, le modèle dit qu'il ne peut pas vous répondre. De nombreux travaux sont réalisés pour détecter ces types de problèmes de sécurité, de préjugés et de stéréotypes.
Q. Comment l’intelligence artificielle peut-elle détecter les crimes haineux ?
R. Nous avons vu qu'il n'existait pas de ressources espagnoles pour détecter les discours de haine, tant dans les textes étiquetés que pour apprendre à la machine à détecter ces discours de haine. Il n’est pas valable comme simple traduction de l’anglais vers l’espagnol. En espagnol, nous avons notre propre expression et nous devons l'enseigner aux modèles. Je me suis beaucoup concentré sur le développement de cette ressource et je l'ai utilisée pour entraîner des systèmes d'intelligence artificielle à détecter les discours de haine en espagnol. Au début, il s’agissait de modèles très simples, mais ils sont désormais plus complexes, capables de comprendre et de générer le langage humain. Il correspond à des textes tagués, je lui donne un texte et je lui dis : ce texte est un discours de haine, et celui-ci n'en est pas un.
Q. Combien d'espagnol ChatGPT connaît-il ?
R. L'intelligence artificielle ou modèle d'intelligence artificielle a été développée principalement pour l'anglais, les textes qui ont été enseignés sont en anglais. Beaucoup d'entre eux se disent multilingues, mais peut-être que le pourcentage qui a appris une autre langue comme l'espagnol est de 20 %. Le modèle est bien meilleur pour reconnaître, générer et comprendre l’anglais que l’espagnol, car il n’a pas appris autant de texte. C'est pourquoi il est si important que le gouvernement, avec la Stratégie nationale d'intelligence artificielle, veuille créer un modèle qui comprenne l'espagnol, et pas seulement l'espagnol, mais aussi les langues co-officielles comme le catalan, le basque, etc. Il est très important d’avoir des modèles qui comprennent différentes langues, car tout le monde l’utilise, pas seulement un habitant d’un certain pays. Le contenu espagnol est moins représenté.
Q. Comment atténuer les biais du modèle ?
R. L'essentiel est d'évaluer la qualité des données lors de la formation du modèle. Vous pouvez également ajuster le modèle une fois que vous avez appris ces données. Il peut être ajusté ou non pour que vous essayiez de le désapprendre. Nous avons besoin de disciplines différentes, les informaticiens ne peuvent pas y travailler seuls. Nous avons besoin de philosophes, de sociologues, de psychologues pour nous aider à développer ce type de modèles afin qu’ils soient plus inclusifs, plus éthiques, plus justes et responsables.
Q. Comment promouvoir un environnement plus sûr sur les réseaux sociaux ?
R. Surtout avec la recherche visant à lutter contre les discours de haine et la désinformation. Si 1 million de tweets sont publiés chaque seconde sur Twitter, il est impossible pour une seule personne d’y faire face. Ce type de machine nous aide à les détecter. Des alertes peuvent être déclenchées indiquant que le tweet est offensant ou qu'il contient des informations erronées. La responsabilité de générer les politiques permettant de voir quand un tweet est supprimé incombe aux modérateurs de contenu.
Q. L’IA peut-elle détecter s’il y a quelqu’un de réel derrière ce contenu ou non ?
R. Exact. Avec l'IA, une étude de profil de la personne peut être réalisée, qu'elle publie de nombreux tweets offensants ou de nombreux tweets, et elle peut être transférée sur n'importe quel réseau social. Il peut également détecter ou détecter du spam, car ce sont des modèles linguistiques que ces modèles apprennent. Par exemple, ils suivent presque toujours certains modèles linguistiques.
Q. Sont-ils des structures de phrases similaires ?
R. Oui. Les modèles apprennent avec les discours de haine, nous leur apprenons le texte qui contient des insultes espagnoles, des expressions offensantes, etc., ce sont des modèles linguistiques que le modèle apprend. Dans ma thèse, je me suis concentré sur le développement d'un modèle qui prend non seulement en compte le discours de haine, mais qui tient également compte du fait que si l'émotion est négative, comme la colère, le discours de haine est plus susceptible de se produire. L’ironie et le sarcasme sont l’un des défis les plus difficiles à détecter pour ces modèles linguistiques. Parce que? Car même un humain a du mal à détecter quand il y a de l’ironie ou du sarcasme dans un texte.
Q. Que peut-on faire dans d’autres environnements ?
R. Surtout dans l'éducation, il est très important qu'ils apprennent dès leur plus jeune âge quels sont les risques des réseaux sociaux, tout ce qu'on peut y trouver, pas seulement les crimes de haine. Un exemple est la cyberintimidation, comment les réseaux sociaux en ont fait la promotion. L'éducation technologique est très importante dès le plus jeune âge car nous serons en interaction continue avec ce type de technologie dans notre vie quotidienne. Savoir comment l'utiliser : quand je vois qu'une personne est attaquée, savoir comment je peux avertir le réseau social que cela se produit ou si cela m'arrive, et savoir de quelles solutions et quel soutien je dispose. Le réseau social supprimera-t-il ce message indiquant qu'il m'attaque ? Ou allez-vous supprimer le profil de la personne ? Je pense qu'il est très important que cela se transmette à la société en général.
Q. Si quelqu’un est victime d’un crime haineux en ligne, comment l’IA peut-elle l’aider ?
R. Cela peut vous aider en détectant les messages qui vous attaquent. Les modérateurs de contenu des réseaux recevront une alerte indiquant que ce contenu est généré et disposeront de leurs politiques pour voir comment le combattre, comment l'éliminer ou comment entrer en contact. Mon équipe de l'Université de Jaén, avec laquelle j'ai travaillé pendant mon doctorat, développe actuellement un type de recherche dans lequel si quelqu'un a commenté un message offensant, cela génère un contre-récit pour faire réfléchir la personne qui génère cette haine. . Par exemple, s’il s’agit d’un message sexiste ou xénophobe, un contre-récit serait par exemple : « Il faut penser que tous les humains ont les mêmes droits. Vous ne pouvez pas faire de discrimination sur la base du sexe ou de la race.
