DRT_project

In der Datei Exam.ipynb befinden sich die 5 Sätze:

• If John is happy, Sam is sad.
• If Lia learned for the exam, she passed it but if she did not learn, she did not pass.
• The Cow does not scream or laugh.
• Sam and Lia are friends, they smile.
• If Sam is a human or Lia is an animal, Sara is a thing.

jeweils als DRS, die mit Hilfe von dem Boxer-Parser erstellt wurden und als DRS, die von mir per Hand geschrieben wurden. Der Plan war ursprünglich die zwei DRSs mit der Evaluations-Methode aus dem Kurs zu evaluieren. Die vom Boxer generierten DRSs konnte ich als clause notation darstellen und speichern (Ende des Notebooks), die anderen DRS aber nicht, sodass ich den genauen F-Score nicht berechnen kann. Jedoch erkennt man auf den Ersten Blick Unterschiede zwischen den zwei DRSs, die ich hier näher beschreibe und versuche auf eine Ursache zurückzuführen:

1. If John is happy, Sam is sad.

   Der Boxer führt unterschiedliche Bezeichnungen für Namen und Organisationen ein, in dem Fall von John hat der Boxer den Namen als Organisation deklariert. Lässt man das außer Acht wurden Sam und John beide als Diskursreferenten eingeführt, genau so wie ich das per Hand gemacht habe. Auch die Implikation ist sehr ähnlich, der Boxer Parser führt nur zusätzlich Theme ein und markiert die Adjektive mit a. Lässt man dies erneut außer Acht, da es sich nur um eine genauere Notation handelt, wären beide DRSs identisch. Der F-Score wäre zwar im ersten Moment schlecht, eleminiert man jedoch die Notations-Unterschiede aus der Rechnung wäre der F-Score 1.

2. If Lia learned for the exam, she passed it but if she did not learn, she did not pass.

   Erneut sehen die DRSs sehr unterschiedlich aus, schaut man sich beide im Detail an, erkennt man ähnliche Unterschiede in der Notation, wie bei dem ersten Satz. Der Boxer Parser markiert Lia (3-mal) als female und exam als thing. Diese Notation findet man nicht in der von Hand geschriebenen DRS, da solche Markierungen nur implizit passieren. Bei der anaphora resolution brauche ich, anders als der Boxer-Parser, keine explizite Markierung. Lia und exam werden also erneut unterschiedlich eingeführt, lässt man zusätzliche Notationen jedoch weg, ist die Einführung gleich. Auch in den Implikationen, führen die Notationen zu Unterschieden, die Struktur ist gleich. In diesem Beispiel fällt zusätzlich auf, dass ich die anaphora she und it schon in der Box der Implikation einführe, nicht erst in der Negation. Zusätzlich notiere ich die anaphora resolution anders. Der F-Score wäre also erneut sehr schlecht, lässt man jedoch außer Acht das der Boxer ausführlicher ist, wäre der F-Score besser. Er wäre jedoch nicht 1, da die Einführung der Diskursreferenten in unterschiedlichen Boxen passiert.

3. The cow does not scream or laugh.

   In dem dritten Satz sind erneut nur Unterschiede in der Notation und nicht in der Struktur, so dass der F-Score zunächst sehr schlecht wäre, aber ohne die Notations-Unterschiede zu beachten 1.

4. Sam and Lia are friends, they smile.

   Der Boxer-Parser hat allem Anschein nach Probleme mit dem they, während ich das zu Sam und Lia zuordnete, hat der Boxer eine neue Box angelegt, in dieser Box ist smile nur zu Sam zugeordnet. Da die zwei DRSs sich ansonsten sehr ähnlich sind (Notation außer Acht) würde der F-Score nicht 1 ergeben, aber auch nicht sehr schlecht sein.

5. If Sam is a human or Lia is an animal, Sara is a thing.

   In diesem Satz hat der Parser einige Dinge anders gelöst als ich. Er erkennt im ersten Schritt Lia nicht als Eigennamen, sodass sie als Diskursreferent erst später eingeführt wird und nicht direkt in der äußersten Box. Zusätzlich stellt der Boxer-Parser das or nicht dar. Sam ist das animal und Lia ein human, ich habe den Satz jedoch so verstanden, dass wenn entweder Sam ein Mensch ist oder Lia ein Tier, Sara ein Ding ist und damit sowohl das or representiert, als auch Sam als human und Lia als animal. Der F-Score wäre somit sehr schlecht, und das auch zu Recht, da die DRSs sich strukturell kaum ähneln.

Zusammenfassend stelle ich fest, dass der Boxer-Parser in den meisten Fällen eine sehr ähnliche Lösung für die Sätze hatte. Der letzte Satz erschien mir nicht so schwierig, wie er allem Anschein nach für den Parser war, sodass die Perfomance nicht so gut war, wie in den Sätzen zuvor.