Comment l’apprentissage automatique améliore la crédibilité des informations en ligne?

Les méthodes traditionnelles d'évaluation du contenu des médias exigent beaucoup de ressources et de temps. D’où l’idée d’explorer le champ des possibles avec l'apprentissage automatique qui peut nous aider à repérer les articles d'actualité qui contiennent les opinions et les préjugés des journalistes eux-mêmes. IREX[1] et Lore.ai ont conduit une expérience très intéressante s’appuyant sur l’apprentissage automatique afin d’améliorer la détection des infox.

L'expérience teste la faisabilité de l'utilisation de l'apprentissage automatique pour évaluer automatiquement la qualité du contenu médiatique au Mozambique. Il s'adresse aux professionnels de l'appui aux médias qui souhaitent tirer parti d'outils numériques novateurs pour amplifier leur travail, ainsi qu'aux organisations non gouvernementales (ONG) et aux organisations mondiales de développement en général qui s'efforcent de trouver des moyens pratiques d'utiliser cette technologie et de l'appliquer de manière significative et responsable à leur travail.

Ils ont procédé en 5 étapes :

1. Définir l'énoncé du problème et choisir un indicateur spécifique de qualité des médias,
2. Charger 1 200 articles de nouvelles en ligne dans un logiciel d'apprentissage automatique,
3. Lui montrer des exemples d'articles qui contiennent du contenu à caractère dogmatique,
4. Vérifier et corriger les suggestions du logiciel, et
5. Évaluer les résultats et répéter les étapes 3 et 4.

L'équipe a utilisé un logiciel pour numériser les sites Web de neuf grands médias imprimés et a importé plus de 1 200 articles dans le logiciel d'apprentissage automatique. Les évaluateurs ont ensuite commencé à former l'outil pour identifier les opinions dans le texte.

À l'aide de l'outil "surligneur" du logiciel, les évaluateurs ont cliqué sur les phrases des articles pour montrer les exemples d'opinions. À l'aide de ces exemples, le logiciel a identifié des modèles et cherché d'autres phrases similaires. Les évaluateurs ont examiné les phrases que le logiciel a signalées comme étant des opinions possibles et ont déterminé si la suggestion était correcte ou incorrecte. L'équipe a effectué cette boucle de rétroaction 51 fois.

Cette expérience a permis de vérifier si un logiciel peut évaluer automatiquement l'impartialité des articles de nouvelles en ligne, notamment en identifiant les opinions exprimées dans les articles de nouvelles.

Les résultats prouvent qu'il est possible pour l'apprentissage machine de nous aider à trouver des opinions dans les articles de presse. Le logiciel a identifié ces articles de manière suffisamment fiable pour les appliquer à la surveillance et à l'évaluation du contenu des médias, à une échelle et à une vitesse qui dépassent de loin celles des évaluateurs humains conventionnels (en quelques secondes, au lieu de quelques minutes ou heures). Voici quelques résultats marquants de l’expérience :

• Précision de 95 % : Le logiciel a trouvé des articles contenant une opinion 95 fois sur 100.
• Taux de précision de 84 % : 84 des 100 articles analysés contenaient réellement des opinions ou infox ;
• Taux de rappel de 93 % : Sur 100 articles contenant des opinions, le logiciel en a trouvé 93, mais en a manqué 7.
• Plus le modèle était formé, plus sa précision et sa précision augmentaient : Il existe une relation claire entre le nombre de fois que les évaluateurs ont formé le logiciel et l'exactitude et la précision des résultats. Les résultats des rappels ne se sont pas améliorés de façon aussi constante avec le temps.
• La capacité du logiciel à "apprendre" était presque immédiatement évidente : L'équipe d'évaluation a remarqué une nette amélioration de l'exactitude des suggestions du logiciel après avoir montré seulement 20 phrases qui avaient des opinions.

Une autre expérimentation fut organisée par le Stanford Question Answering Dataset, ou SQuAD, à travers un concours d'analyse comparative qui mesure la qualité des IA dans ce type de tâche. Le premier prix SQuAD fut remporté par une équipe du centre de recherche sur l'intelligence artificielle ouvert par Salesforce  : leur intelligence artificielle pouvait détecter des infox avec 80 % de précision.

Toujours libre de dire n'importe quoi, mais...

Fabula AI est un autre exemple de startup britannique qui a développé sa propre technologie baptisée Geometric Deep Learning, qui a développé une intelligence artificielle capable de détecter les infox avec un taux de réussite très prometteur, atteignant les 93%. Ce taux élevé de réussite justifie leur récent rachat par Twitter qui précise que : « Fabula AI va nous permettre d’analyser des ensembles de données vastes et complexes. La technologie de cette startup va être un vrai moteur pour notre plateforme et devrait nous permettre de faire des efforts pour offrir des informations d’une meilleure qualité et faire en sorte que nos communautés se sentent plus en sécurité[2]».

La mesure de la qualité des médias est un exercice subjectif et atteindre un niveau de crédibilité parfaite à 100 % est impossible. Le raisonnement humain à travers la pensée critique est l’unique possibilité pour assurer une détection parfaite des infox (fake news). D’où l’importance de faire de l’éducation aux médias, une pratique institutionnalisée et banalisée dans tous les secteurs de la vie : à l’école, au travail et... dans les algorithmes.

Ajouter à mes listes de lecture