Overview of the CLEF–2021 CheckThat! Lab on Detecting Check-Worthy Claims, Previously Fact-Checked Claims, and Fake News

  • We describe the fourth edition of the CheckThat! Lab, part of the 2021 Conference and Labs of the Evaluation Forum (CLEF). The lab evaluates technology supporting tasks related to factuality, and covers Arabic, Bulgarian, English, Spanish, and Turkish. Task 1 asks to predict which posts in a Twitter stream are worth fact-checking, focusing on COVID-19 and politics (in all five languages). Task 2 asks to determine whether a claim in a tweet can be verified using a set of previously fact-checked claims (in Arabic and English). Task 3 asks to predict the veracity of a news article and its topical domain (in English). The evaluation is based on mean average precision or precision at rank k for the ranking tasks, and macro-F1 for the classification tasks. This was the most popular CLEF-2021 lab in terms of team registrations: 132 teams. Nearly one-third of them participated: 15, 5, and 25 teams submitted official runs for tasks 1, 2, and 3, respectively.

Metadaten exportieren

Weitere Dienste

Suche bei Google Scholar
Metadaten
Verfasserangaben:Preslav Nakov, Giovanni Da San Martino, Tamer Elsayed, Alberto Barrón-Cedeño, Rubén Míguez, Shaden Shaar, Firoj Alam, Fatima Haouari, Maram Hasanain, Watheq Mansour, Bayan Hamdan, Zien Sheikh Ali, Nikolay Babulkov, Alex Nikolov, Gautam Koshore Shahi, Julia Maria StrußORCiDGND, Thomas Mandl, Mucahid Kutlu, Yavuz Selim Kartal
DOI:https://doi.org/10.1007/978-3-030-85251-1_19
ISBN:978-3-030-85251-1
ArXiv-Id:http://arxiv.org/abs/2109.12987v1
Titel des übergeordneten Werkes (Englisch):Experimental IR Meets Multilinguality, Multimodality, and Interaction
Verlag:Springer
Verlagsort:Cham
Dokumentart:Konferenzveröffentlichung
Sprache:Englisch
Datum der Veröffentlichung (online):07.03.2022
Jahr der Erstveröffentlichung:2021
Veröffentlichende Institution:Fachhochschule Potsdam
Datum der Freischaltung:07.03.2022
Freies Schlagwort / Tag:Check-worthiness estimation; Fact-checking
GND-Schlagwort:Desinformation; Fehlinformation
Erste Seite:264
Letzte Seite:291
Fachbereiche und Zentrale Einrichtungen:FB5 Informationswissenschaften
FB5 Informationswissenschaften / Publikationen des FB Informationswissenschaften
DDC-Klassifikation:000 Informatik, Informationswissenschaft, allgemeine Werke / 000 Informatik, Wissen, Systeme
Lizenz (Deutsch):License LogoCreative Commons - CC BY-NC-SA - Namensnennung - Nicht kommerziell - Weitergabe unter gleichen Bedingungen 4.0 International
Einverstanden ✔
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.