[DHd-blog] CfP: CUTE – CRETA Unshared Task zu Entitätenreferenzen

[德语国家数字人文协会DHd-blog网站消息]

Wir laden dazu ein, Beiträge zu einem shared/unshared Task Workshop einzureichen, der im Rahmen der DHd 2017 in Bern (CH) stattfindet.

Link zur Webseite

Im Gegensatz zu shared tasks, bei denen die Performanz verschiedener Systeme/Ansätze/Methoden direkt anhand einer klar definierten und quantitativ evaluierten Aufgabe verglichen wird, sind unshared tasks offen für verschiedenartige Beiträge, die auf einer gemeinsamen Datensammlung basieren. Shared und Unshared Tasks in den Digital Humanities sind ein vielversprechender Weg, Kollaboration und Interaktion zwischen Geistes-, Sozial- und ComputerwissenschaftlerInnen zu fördern und zu pflegen.

Konkret rufen wir dazu auf, gemeinsam an einem heterogenen Korpus zu arbeiten, in dem Entitätenreferenzen annotiert wurden (siehe unten). Das Korpus besteht aus:

Jeweils einer Rede aus insgesamt vier Parlamentsdebatten des Deutschen Bundestags (S. Leutheuser-Schnarrenberger am 28.10.99, A. Merkel am 16.12.04, A. Ulrich am 15.11.07 und A. Karl am 17.03.11)Briefen aus Goethes Die Leiden des jungen Werther (Ausgabe von 1787) vom 4. Mai bis einschließlich 16. JuniDem Abschnitt Zur Theorie des Kunstwerks aus Adornos Ästhetischer TheorieDen Bücher 3 bis 6 von Wolframs von Eschenbach Parzival (mittelhochdeutsch)

Auch wenn jede Textsorte ihre eigenen Besonderheiten hat, wurden alle nach einheitlichen Annotationsrichtlinien annotiert, die wir ebenfalls veröffentlichen und zur Diskussion stellen möchten.

Wir laden ein, Beiträge zu folgenden Aufgaben einzureichen:

Automatische Erkennung von Entitätenreferenzen: Experimente zum automatischen Erkennen von Annotationen auf noch nicht annotierten Texten, mit regelbasierten und/oder statistischen Systemen

Visualisierung von Entitätenreferenzen im Text: Visualisierungsmöglichkeiten zur (interaktiven) Exploration der vorhandenen oder neuer Annotationen

Annotationsanalyse: Qualitative oder quantitative Analyse der vorhandenen Annotationen oder der Annotationsrichtlinien; Annotationsexperimente zur Anwendbarkeit der Richtlinien auf neue Texte

Freestyle: Kreative Ideen, die sich nicht direkt einem der obigen Tasks zuordnen lassen

Beiträge zu Aufgabe 1 werden quantitativ evaluiert und im Wettbewerb mit den Evaluationsergebnissen der anderen Beiträge verglichen (Shared Task). Beiträge für die Aufgaben 2 bis 4 werden vom Organisationskomitee qualitativ evaluiert (Unshared Task). Technische Details zu den Datenformaten und zur Evaluation sind auf der Webseite abrufbar.

Wichtige TermineTask 11. Dezember: Testdaten für Task 1 (jetzt verfügbar)5. Dezember: Abgabe der annotierten Testdaten10. Dezember: Benachrichtigung über Evaluationsergebnisse15. Dezember: Einreichungsfrist AbstractTasks 2–415. Dezember: Einreichungsfrist Abstract19. Dezember: Benachrichtigung über AnnahmeWorkshop

13. oder 14. Februar 2017

Kontakt

Nils Reiter, Gerhard Kremer
E-Mail: cute@ims.uni-stuttgart.de