Overview of the CLEF-2022 CheckThat! Lab: Task 3 on Fake News Detection

  • This paper describes the results of the CheckThat! Lab 2022 Task 3. This is the fifth edition of the lab, which concentrates on the evaluation of technologies supporting three tasks related to factuality. Task 3 is designed as a multi-class classification problem and focuses on the veracity of German and English news articles. The German subtask is ought to be solved using an cross-lingual approach while the English subtask was offered as mono-lingual task. The participants of the lab were provided an English training, development and test dataset as well as a German test dataset. In total, 25 teams submitted successful runs for the English subtask and 8 for the German subtask. The best performing system for the mono-lingual subtask achieved a macro F1-score of 0.339. The best system for the cross-lingual task achieved a macro F1-score of 0.242. In the paper at hand we will elaborate on the process of data collection, the task setup, the evaluation results and give a brief overview of the participating systems.

Metadaten exportieren

Weitere Dienste

Suche bei Google Scholar
Metadaten
Verfasserangaben:Juliane KöhlerORCiDGND, Gautam Kishore Shahi, Julia Maria StrußORCiDGND, Michael Wiegand, Melanie Siegel, Thomas Mandl, Mina Schütz
URN:urn:nbn:de:0074-3180-7
URL:https://ceur-ws.org/Vol-3180/paper-30.pdf
ISSN:1613-0073
Titel des übergeordneten Werkes (Englisch):CLEF 2022 Working Notes : Proceedings of the Working Notes of CLEF 2022 - Conference and Labs of the Evaluation Forum
Verlagsort:Bologna
Herausgeber*in:Guglielmo Faggiolo, Nicola Ferro, Allan Hanburry, Martin Potthast
Dokumentart:Konferenzveröffentlichung
Sprache:Englisch
Jahr der Erstveröffentlichung:2022
Veröffentlichende Institution:Fachhochschule Potsdam
Urhebende Körperschaft:University of Bologna
Datum der Freischaltung:08.04.2025
GND-Schlagwort:Deep Learning; Desinformation; Fehlinformation
Erste Seite:404
Letzte Seite:421
Fachbereiche und Zentrale Einrichtungen:FB5 Informationswissenschaften
FB5 Informationswissenschaften / Publikationen des FB Informationswissenschaften
DDC-Klassifikation:000 Informatik, Informationswissenschaft, allgemeine Werke / 000 Informatik, Wissen, Systeme
Open Access:Gold Open Access
Lizenz (Deutsch):Creative Commons - CC BY - Namensnennung 4.0 International
Einverstanden ✔
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.