Storing and Querying Historical Texts in a Relational Database

Abstract

Diese Arbeit beschreibt einen Ansatz für die Speicherung und Anfrage eines großen Korpus linguistisch annotierter historischer Texte mit Hilfe eines relationalen Datenbanksystems. Texte in solch einem Korpus haben eine reichhaltige Struktur bestehend aus mehreren Text-Ebenen die detailliert annotiert und miteinander aligniert sein können. Die Modellierung und Verwaltung solcher Korpora bereitet diverse Herausforderungen, die bei einfacheren Textsammlungen nicht auftreten. Eine besondere Herausforderung ist das Design und die Implementierung einer geeigneten Anfragesprache für solche komplexen Annotationsstrukturen. In diesem Bericht beschreiben wir erste Schritte in diese Richtung. Wir stellen ein Datenmodell und Speicherkonzept für beliebig komplexe linguistische Annotationsschemata über in unterschiedlichsten Transliterationen und Varianten vorliegenden Texten vor. Wir identifizieren die primären Anforderungen für eine Anfragesprache auf solchen linguistischen Annotationen. Aus diesen Anforderungen leiten wir elementare Anfrageoperatoren ab und skizzieren ihre Implementierung in unserem Speicherkonzept. Weiterhin diskutieren wir erste Ideen zur Optimierung einer auf relationalen Datenbanken und XML-Techniken basierenden Implementierung.

This paper describes an approach for storing and querying a large corpus of linguistically annotated historical texts in a relational database management system. Texts in such a corpus have a complex structure consisting of multiple text layers that are richly annotated and aligned to each other. Modeling and managing such corpora poses various challenges not present in simpler text collections. In particular, it is a difficult task to design and efficiently implement a query language for such complex annotation structures that fulfills the requirements of linguists and philologists. In this report, we describe steps towards a solution of this task. We describe a model for storing arbitrarily complex linguistic annotation schemes for text. The text itself may be present in various transliterations, transcriptions, or editions. We identify the main requirements for a query language on linguistic annotations in this scenario. From these requirements, we derive fundamental query operators and sketch their implementation in our model. Furthermore, we discuss initial ideas for improving the efficiency of an implementation based on relational databases and XML techniques.