hallo

Stefan Kokkelink

Extraktion von Metadaten aus mathematischen Preprints im Postscript Format
Version 1.0 (Oct 2001)

Abstract. Im Folgenden wird beschrieben, wie sich durch einfache Heuristiken Abstract, Schlüsselwörter und MSC Klassifikationen aus mathematischen Preprints im Postscript Format extrahieren lassen, falls diese von den Autoren vergeben wurden. Ausgangspunkt ist das von der New Zealand Digital Library entwickelte Programm prescript, das Postscript Dokumente in Text- oder HTML-Dokumente konvertiert.

1. Dokumentenstruktur

Das Konvertierungsprogramm prescript versucht bei der Konvertierung von Postscript nach HTML die Informationen über Seiten, Paragraphen und Zeilen des ursprünglichen Postscript Dokumentes zu erhalten.

Beispiel 1.

Postscript Format: CAP7.ps (CAP7.pdf)
Erzeugtes HTML Format: CAP7.html

Neben Umlauten, Sonderzeichen u.ä., bereiten mathematischen Formeln besondere Probleme, wie das folgende Beispiel zeigt.

Beispiel 2.

Postscript Format: Preprint.ps (Preprint.pdf)
Erzeugtes HTML Format: Preprint.html

Diese Problematik muss bei der Erstellung von Heuristiken zur Extraktion von Metadaten besonders berücksichtigt werden. Für die Anwendung von Heuristiken ist es unumgänglich, einen wohldefinierten Zugang zu der Dokumentenstruktur der von Prescript erzeugten HTML Dokumente zu haben. Deshalb wurde die Perl Bibliothek PrescriptStructure erstellt, die HTML Dokumente auf die folgende Datenstruktur abbildet:

Ein Objekt aus der Klasse PrescriptStructure besteht aus einem Array [1..n] von n Seiten. Einer Seite ist evtl. eine Seitenzahl zugeordnet, falls diese im ursprünglichen Postscript Dokument angegeben war.
Jede Seite besteht aus einem Array [1..m] von m Paragraphen.
Jeder Paragraph besteht aus einem Array [1..k] von k Zeilen. Die Textdaten des ursprünglichen Postscript Dokumentes sind in diesen Zeilen enthalten.

Die Klasse PrescriptStructure stellt eine Reihe von Methoden zur Verfügung, mit deren Hilfe auf diese Datenstruktur zugegriffen werden kann (vgl. POD Dokumentation).

2. Heuristiken

Aufbauend auf die Klasse PrescriptStructure wurde die Klasse MathHeuristics erstellt, die Methoden zur Extrakion von Abstract, Schlüsselwörter und MSC Klassifikationen aus den erzeugten HTML Dokumenten anbietet (vgl. POD Dokumentation). Zur Zeit sind die folgenden Heuristiken implementiert.

Abstract. Suche in den ersten drei Seiten nach Paragraphen, die mit den Wörtern 'abstract', 'summary', oder 'zusammenfassung' beginnen (case insensitive). Überprüfe, ob die Anzahl der Wörter des gefundenen Paragraphen größer 10 ist. Falls die Anzahl der Wörter kleiner 10 ist, iteriere diesen Prozess so lange mit den folgenden Paragraphen, bis diese Bedingung erfüllt ist.

Erkenne den Paragraphen als Anfang eines Abstracts. Überprüfe, ob der Paragraph mit einem Punkt endet oder die Anzahl der Zeilen des Paragraphen größer 1 ist. Falls nicht, addiere solange die folgenden Paragraphen zu dem gefundenen Abstract-Anfang, bis diese Bedingung erfüllt ist.

Lösche evtl. eines der Wörter 'abstract', 'summary', oder 'zusammenfassung'.

Keywords. Suche in den ersten drei Seiten nach Zeilen, die eines der Wörter 'key' und 'words' oder 'schlüsselwörter' enthält (case insensitive). Lösche den Text der gefundenen Zeile bis zu dem ersten Vorkommen von "." oder ":" und erkenne diese Zeile als Anfang von Keywords.

Überprüfe, ob die Zeile mit einem Punkt endet oder letzte Zeile des Paragraphen war. Falls nicht, addiere solange die folgenden Zeilen, bis diese Bedingung erfüllt ist.

Falls diese Strategie keinen Treffer liefert gehe, wie folgt vor: Addiere die ersten drei Seiten in ein Textfragment und suche in diesem Textfragment nach einer Zeile (im Sinne von Text, nicht von Prescript!), die mit dem Wort 'Key' beginnt. Addiere zu dieser Zeile die nächsten fünf Zeilen in ein neues Textfragment. Lösche in diesem Textfragment alles, was nach dem ersten Auftreten eines "<br>", eines <P> oder eines "." kommt. Erkenne den Rest als Keywords.

MSC Klassifikation. Suche in den ersten drei Seiten nach Paragraphen, die mindestens zwei der Wörter "ams","msc","classification","subject" oder "mathematics" enthalten. Suche in diesem Paragraphen nach Wörtern der Form (D)DCD(D) und erkenne diese als MSC Klassifikationen. (D=Zahl, C=keine Zahl, ()=ein- oder keinmal).

3. Erste Testergebnisse

Untersucht: 37 Preprints.

Vorhandene Angaben:

Abstract	33 (89%)
Keywords	21 (56%)
MSC	20 (54%)

Es wurden 29 Abstracts korrekt extrahiert (89%), ein Abstract wurde überhaupt nicht und drei Abstracts wurden nicht vollständig erkannt. Es wurden alle Schlüsselwörter erkannt (100%). Es wurden alle MSC Klassifikationen erkannt (100%), allerdings wurde eine ungültige Klassifikation zuviel ausgegeben.