Publikationen

Mit dem Aufschwung des Internets wachsen Anwendungen immer weiter, sowohl bezüglich des Datenvolumens als auch der Anzahl von Teilnehmern. Gleichzeitig wächst die Größe und räumliche Ausdehnung der unterliegenden Netzwerkstrukturen. Viele dieser Anwendungen bieten Zugriff auf riesige Datenmengen für eine ebenso riesige Anzahl von Teilnehmern. Wenn es sich um Daten von öffentlichem Interesse handelt die der Öffentlichkeit zur Verfügung stehen, werden solche Anwendungen als Public Data Management klassifiziert. Oftmals sind die Daten auch offen für Erweiterung und Veränderung. Folglich entstehen die Nutzdaten durch Kollaboration und werden von der Gemeinschaft gepflegt. Strukturierte Daten und entsprechende Zugriffsmethoden sind dabei oft eine zwingende Voraussetzung dieser Systeme. Dabei ist ein hoher Grad an Heterogeneität zu erwarten. Funktionalität aus traditionellen Datenbank- und Integrationssystemen ist oft gefragt, erwartet, oder sogar benötigt um solche Datenmengen sinnvoll zu handhaben. Zentralisierte Ansätze sind beschränkt in ihrer Skalierbarkeit und können mit den stetig wachsenden Anforderungen nicht Schritt halten. Die Verteilung von Daten und Last ist eine logische und notwendige Konsequenz. Verteilung in kleinem Maßstab, so wie in Clusters und lokal abgeschotteten Systemen, stößt ebenso an seine Grenzen. Stetige Investitionen sind nicht möglich, denn oft findet sich kein einzelner Nutzer und keine Instanz, die bereit und befähigt sind, die enormen Kosten solcher Systeme zu tragen. Im Gegenzug resultieren Public Data Management Anwendungen aber auch in verringerten Anforderungen, wie zum Beispiel gelockerten Garantien bezüglich Konsistenz und Verfügbarkeit. Das macht aus der Idee der totalen Verteilung von Daten und Last einen vielversprechenden und praktikablen Ansatz. Auch wenn existierende Systeme bereits entsprechende Funktionalität bieten, so ist diese in der Regel stark vereinfacht und extrem eingeschränkt. Ein Großteil der Anforderungen von datenbank-ähnlichen verteilten Systemen wird weder unterstützt noch ermöglicht. Diese Arbeit konzentriert sich auf die Anforderungen und ungelösten Herausforderungen die speziell im Kontext der Anfrageverarbeitung auftreten. Neben der reinen Effizienz der Anfrageverarbeitung umfasst dies Punkte wie die Ausdruckskraft von Anfragen und die Anwendbarkeit bestimmter Konzepte. Wir erfassen zunächst diese und weitere Herausforderungen und motivieren den Beitrag dieser Arbeit. Im Anschluss schlagen wir entsprechende Techniken und Ansätze für effiziente Anfrageverarbeitung in weit-verteilten Systemen vor. Wir empfehlen eine Schichtenarchitektur, welche die Vorteile dezentralisierter Peer-to-Peer-Ansätze nutzt. Basierend auf dieser Architektur, einem vertikalen Tripelmodell und einer zugehörigen Anfragealgebra, stellen wir eine physische Algebra vor. Die Operatoren dieser Algebra nutzen Parallelität und andere Paradigmen der verteilten Anfrageverarbeitung. Des weiteren präsentieren wir Techniken um komplexe Anfragepläne die Nutzeranfragen repräsentieren zu verarbeiten. Das Anfragesystem ist erweitert um ein Kostenmodell, welches eine sinnvolle Planung von Anfragen ermöglicht. Wir diskutieren ebenfalls Garantien und Vorhersagbarkeit. In diesem Zusammenhang stellen wir einen leichtgewichtigen und flexiblen Ansatz zur Schätzung der Vollständigkeit von Teilantworten vor. Eine umfassende Evaluierung auf der Basis einer Referenzimplementierung stellt die Anwendbarkeit und Korrektheit der vorgestellten Konzepte unter Beweis. Dies unterstreicht den wertvollen Beitrag zur Entwicklung riesiger verteilter Datensysteme.