14 septembre 2020
Un outil pour flairer l'imminence de commentaires toxiques en ligne
Des algorithmes qui tiennent compte de la polarité des sentiments permettraient d'anticiper les conversations toxiques
— Getty Images/Sloop Communications
Dans le film Rapport minoritaire, les forces de l'ordre du futur combattent le crime en faisant appel à des mutants – des précogs – capables de pressentir un méfait avant qu'il ne soit commis. On ne peut s'empêcher de penser que ces précogs seraient très utiles pour éviter que les conversations dégénèrent et conduisent à une pluie de commentaires toxiques sur le Web. En effet, dans l'état actuel des choses, les modérateurs interviennent après le fait, une fois que les commentaires offensants ont été publiés.
Éloi Brassard-Gourdeau et Richard Khoury, du Département d'informatique et de génie logiciel, croient qu'il y a moyen de faire mieux. Dans un article en prépublication sur Arxiv.com, ils démontrent que le caractère positif ou négatif des mots utilisés dans une conversation ainsi que l'intensité de cette polarité permettent d'améliorer les algorithmes servant à prédire si un échange risque de dérailler.
Présentement, les modérateurs sont avisés qu'une conversation toxique a eu lieu par des utilisateurs qui portent plainte ou par des algorithmes relativement simples, mais pas toujours fiables. «Ces algorithmes détectent des mots-clés qui peuvent être offensants, mais qui ne le sont pas forcément dans un contexte donné, signale Richard Khoury. De plus, il serait préférable de prévoir qu'une conversation prend un mauvais tournant avant qu'elle devienne toxique.»
Pour y arriver, Éloi Brassard-Gourdeau et le professeur Khoury ont perfectionné des algorithmes prédictifs en développement en faisant appel à l'analyse des sentiments, une approche qui consiste à assigner un score de polarité positive ou négative à un mot, une phrase ou une conversation. La première partie du travail a été réalisée à l'aide de 1270 paires de conversations qui ont eu lieu entre des usagers de la section Édition du site Wikipédia. La moitié de ces échanges étaient restés polis alors que l'autre moitié avait dégénéré.
Les chercheurs ont ainsi pu extraire les caractéristiques propres aux trajectoires de chaque type de conversation. Ils ont ensuite «entraîné» les algorithmes à améliorer leurs prédictions à l'aide de données provenant de la même source. Enfin, ils ont testé leur fiabilité à l'aide de conversations provenant encore une fois de Wikipédia, mais aussi d'une autre base de données réunissant près de 27 000 conversations entre les utilisateurs d'un jeu vidéo.
Leurs conclusions:
La polarité est un indice prédictif de toxicité qui permet d'améliorer la précision des algorithmes
C'est au niveau des mots plutôt que de l'ensemble du message que se trouve cette valeur prédictive
Il faut beaucoup de mots positifs pour maintenir une conversation polie, mais il suffit d'un ou de quelques mots fortement négatifs pour conduire au dérapage
Les mêmes résultats ont été obtenus pour les deux bases de données, même s'il s'agit de communautés très distinctes
Le ton d'une conversation change radicalement en moins de trois messages
«Ce dernier constat signifie qu'on dispose de quelques secondes à peine pour intervenir avant qu'une conversation polie ne devienne toxique, souligne le professeur Khoury. Il faudrait donc recourir à un automatisme qui enverrait rapidement une notification invitant les usagers à se calmer ou qui verrouillerait leur conversation.»
Il reste encore beaucoup de travail avant que des algorithmes prédictifs de toxicité puissent être utilisés par des gestionnaires de sites Web, reconnaît le chercheur. Mais, considérant que 17% des usagers d'Internet disent avoir déjà été victimes de cyberintimidation et considérant les répercussions très négatives des commentaires toxiques en ligne sur la santé psychologique des personnes, la nécessité de poursuivre les travaux ne fait pas de doute.
