WWW.ABSTRACT.XLIBX.INFO
FREE ELECTRONIC LIBRARY - Abstract, dissertation, book
 
<< HOME
CONTACTS



Pages:   || 2 | 3 | 4 | 5 |   ...   | 6 |

«Konstantin Tsysin MASTERARBEIT Design of a Reflective REST-based Query API Eingereicht am 30.12.2014 Betreuer: Prof. Dr. Dirk Riehle, M.B.A. ...»

-- [ Page 1 ] --

Friedrich-Alexander-Universität Erlangen-Nürnberg

Technische Fakultät, Department Informatik

Konstantin Tsysin

MASTERARBEIT

Design of a Reflective REST-based

Query API

Eingereicht am 30.12.2014

Betreuer: Prof. Dr. Dirk Riehle, M.B.A.

Professur für Open-Source-Software

Department Informatik, Technische Fakultät

Friedrich-Alexander-Universität Erlangen-Nürnberg

i

Versicherung

Ich versichere, dass ich die Arbeit ohne fremde Hilfe und ohne Benutzung anderer als der angegebenen Quellen angefertigt habe und dass die Arbeit in gleicher oder ähnlicher Form noch keiner anderen Prüfungsbehörde vorgelegen hat und von dieser als Teil einer Prüfungsleistung angenommen wurde. Alle Ausführungen, die wörtlich oder sinngemäß übernommen wurden, sind als solche gekennzeichnet.

_______________________________________

Nürnberg, 30.12.2014 License This work is licensed under the Creative Commons Attribute 3.0 Unported license (CC-BY

3.0 Unported), see http://creativecommons.org/licenses/by/3.0/deed.en_US _______________________________________

Nürnberg, 30.12.2014 ii Abstract In this thesis a prototypical implementation of the Open Data Service is performed in order to solve the problem of data and information overload. After a reflection and evaluation of related and existing solutions the requirements for the Open Data Service and the reflective REST API were gathered and a conceptual solution has been developed. Thereby quality attributes for a well-developed interface were elaborated and the benefits of metadata were illustrated on the example of the metaobject protocol. These two aspects have been incorporated into the design of the Open Data Service and the reflective API. The service makes use of publicly available data sources, processes them and makes them available through a uniform interface. This facilitates easy access to freely available and usable data from heterogeneous data sources. A major emphasis of this thesis has been put on the design and implementation of the reflective RESTAPI, taking into account the data structures and metadata.

iii Zusammenfassung In dieser Arbeit wird die prototypische Umsetzung des Open Data Service vollzogen, um die Probleme der Daten- und Informationsflut zu lösen. Nach einer Betrachtung und Evaluation verwandter und bereits existierender Lösungen werden die Anforderungen an den Open Data Service und an die reflektierende REST-API erfasst sowie eine konzeptuelle Lösung ausgearbeitet. Dabei wurden die Qualitätsmerkmale für eine gute Schnittstelle ausgearbeitet und der Nutzen der Metadaten am Beispiel des Metaobjektprotokolls veranschaulicht. Diese beiden Themenaspekte flossen in die Konzeption des Open Data Service und der reflektierenden Schnittstelle mit ein. Der Dienst bedient sich dabei öffentlich zur Verfügung stehender Datenquellen, bereitet diese auf und stellt sie über eine einheitliche Schnittstelle zur Verfügung. Diese ermöglicht einen komfortablen Zugriff auf frei verfügbare sowie nutzbare Daten hete-rogener Datenquellen. Einen Schwerpunkt dieser Arbeit bildet die Konzeption und Realisie-rung der reflektierenden auf dem Paradigma REST basierenden Schnittstelle unter Berück-sichtigung der Datenstrukturen und der Metadaten.

iv Inhaltsverzeichnis 1 Einleitung

1.1 Ziele der Arbeit

2 Forschungsstand und Konzeption

2.1 Grundlagen

2.1.1 Open Data

2.1.2 REST

2.1.3 JSON

2.2 Verwandte Arbeiten

Application Programming Interface (API) – Design

2.2.1 2.2.2 Metadaten und das Metadata Object Protocol

2.2.3 Comprehensive Knowledge Archive Network (CKAN)

2.3 Konzeption

2.3.1 Funktionale Anforderungen

2.3.2 Nichtfunktionale Anforderungen

2.4 Konzeption der Lösung

2.4.1 Architektur des Open Data Service

2.4.2 Importkomponente

2.4.3 Datenbankkomponente

2.4.4 Serverkomponente

2.4.5 Gesamtarchitektur des ODS

2.4.6 Reflektierende Abfrageschnittstelle (Query API)

3 Umsetzung

3.1 Importkomponente

3.2 Datenbankkomponente

3.3 Serverkomponente und REST-API

4 Ergebnisse

4.1 Diskussion

4.2 Ausblick

4.3 Zusammenfassung

Abbildungsverzeichnis

Tabellenverzeichnis

Literaturverzeichnis

v1 Einleitung

Das Wachstum des Internets und damit dessen Bedeutung hat in den letzten Jahren stetig zugenommen. In weiten Teilen Europas, Nordamerikas und Ostasiens ist das Internet mittlerweile ein bedeutender Wirtschaftsfaktor. Ebenso rasant steigt die über das Internet verfügbare Gesamtdatenmenge, die sich in weniger als zwei Jahren schätzungsweise verdoppelt. Die Digitalisierung der Daten bringt jedoch auch Probleme mit sich. Daten liegen oft in unstrukturierten, heterogenen Formaten vor und fehlende Metadaten erschweren zusätzlich die Extraktion von Informationen. So lassen sich derzeit nur fünf Prozent der weltweit verfügbaren Daten über ein Schlagwort suchen. Der Bedarf einer effektiven Datenabfrage steigt somit ebenso. Der Engpass verlagert sich von der reinen Verfügbarkeit der Daten hin zu deren Auswertbarkeit. 1 Diese genannten Probleme kann man gut am Beispiel der Gewässerdaten in der Bundesrepublik Deutschland erkennen. Die Gewässerdaten werden dezentral in verschiedenen Institutionen der jeweiligen Bundesländer erhoben und liegen in verschiedenen Formaten vor. Obwohl die Daten frei zugänglich sind, gestaltet sich die Auswertung dieser schwer. Die Nutzer müssen die unterschiedlichen Datenquellen durchforsten und die Informationen aus den teilweise schwer analysierbaren Datenbeständen herausfiltern. Die Auswertung über Bundesländer hinweg und die maschinell automatisierte Verarbeitung der Daten gestaltet sich so aufwendig. Dabei birgt die Nutzung der freien Daten ein großes Innovationspotential.2 Aus wirtschaftlicher Sicht können freie Daten auf EU-Ebene einen monetären Nutzen von 200 Milliarden Euro ermöglichen. Allerdings ist die Zugänglichkeit eine wichtige Voraussetzung dafür. (Steria, 2012)





1.1 Ziele der Arbeit In dieser Arbeit wird der „JValue Open Data Service“ (ODS) als Prototyp realisiert. Er versucht die Probleme der Daten- und Informationsflut zu lösen, indem er eine einfache Schnittstelle bereitstellt, welche es ermöglicht, komfortabel auf frei verfügbare sowie nutzbare Daten heterogener Datenquellen zuzugreifen.

Als Datenquellen werden in dieser Arbeit Kartenmaterial von „OpenStreetMap“, einer Datenbank für geographische Daten, wie auch Gewässerdaten von „PEGELONLINE“, einem http://germany.emc.com/leadership/digital-universe/2014iview/executive-summary.htm http://www.opendata.bayern.de/ueber.html gewässerkundlichen Informationssystem der Wasser- und Schifffahrtsverwaltung des Bundes, gewählt.1 Um eine einheitliche Schnittstelle zu den PEGELONLINE- und OpenStreetMap-Daten zu ermöglichen, müssen die Quellen angebunden werden. Anschließend werden die unterschiedlich strukturierten Daten eingesammelt, extrahiert, gegebenenfalls in ein einheitliches Format transformiert und in einer Datenbank gespeichert. Schließlich werden diese über eine einfache Schnittstelle öffentlich bereitgestellt.

Die maschinell automatisierte Verarbeitung der Daten und die Möglichkeit der übergreifenden Auswertungen wird durch die Vereinheitlichung des Datenformats, Verbesserung der Datenqualität und dem Anbieten einer zentralen Schnittstelle gewährleistet. Der Nutzer kann so über die standardisierte wohldefinierte Schnittstelle alle aufgenommenen Daten der verschiedenen Datenquellen bequem abrufen. Statt sich mit den Quellen und den Formaten abzumühen, kann er die Informationen direkt aus dem ODS entnehmen, welcher die Daten in einem einheitlichen Format validiert und bereinigt zur Verfügung stellt.

Durch die Vielfalt der angebotenen Daten benötigt der Nutzer eine Möglichkeit Metadaten, einschließlich der Typinformationen über die angebotenen Daten, abfragen zu können.

Außerdem bedarf es einer Möglichkeit der Suche oder Filterung für die großen Datenmengen.

Deshalb ist ein Schwerpunkt dieser Arbeit die Konzeption und Realisierung der reflektierenden auf dem Paradigma REST basierenden Schnittstelle unter Berücksichtigung der Datenstruktur und der Metadaten.

http://www.pegelonline.wsv.de/ http://www.openstreetmap.de/ 2 Forschungsstand und Konzeption In diesem Kapitel werden die Grundlagenaspekte behandelt und Forschungsansätze vorgestellt.

Außerdem werden bereits existierende Lösungen erörtert und evaluiert. Mit Hilfe dieser Ergebnisse werden die Anforderungen an den ODS und an die reflektierende REST-API erfasst sowie eine konzeptuelle Lösung ausgearbeitet.

2.1 Grundlagen In diesem Abschnitt werden zunächst die grundlegenden Definitionen und Grundbegriffe zum Thema erörtert. Zuerst wird der Begriff Open Data erklärt. Anschließend werden das RESTParadigma und die JSON-Struktur erläutert.

2.1.1 Open Data Der Open Data Service wurde konzipiert, um „Open Data“ zu aggregieren, vereinheitlichen und über eine einfache Schnittstelle dem Nutzer bereitzustellen. Unter Open Data versteht man die frei nutzbaren gesammelten Daten (Shadbolt, et al., 2012). Dazu gehören die Geo- und Umweltdaten sowie statistische Daten und weitere zur Verfügung gestellte Daten öffentlicher Behörden. Diese nennt man auch „Open Government Data“ (Maali, Cyganiak, & Peristeras, 2012). Die bereitgestellten Daten können von Nutzern weiterverarbeitet werden.

Ausgenommen sind hierbei Daten, die dem Datenschutz oder anderen Einschränkungen unterliegen, wie z.B. Betriebsgeheimnisse oder sicherheitsrelevante Daten.

Eine allgemeine Definition gemäß der Open Knowledge Foundation gibt vor, dass offene Daten vollständig, nur zu ihren Reproduktionskosten für jeden frei verfügbar sein müssen und weiterverarbeitet werden dürfen. Das Modifizieren und die Anfertigung von Derivaten sind erlaubt. Dabei müssen offene Dateiformate verwendet werden. Der Einsatzzweck darf ebenfalls nicht eingeschränkt werden, solange niemand durch die Nutzung diskriminiert wird. (Lucke & Geiger, 2010) Frei zugängliche Daten weisen ein großes Innovationspotential auf. Sie können genutzt oder auf neuartige Weise kombiniert werden und somit zur Erkenntnisgewinnung führen. Sie fördern Potentiale zur Wieder- und Weiterverwendung bestehender Datenbestände und unterstützen die Partizipation, Transparenz und Kollaboration. Dabei können neue Dienste und Anwendungen entstehen.1 http://www.opendata.bayern.de/ueber.html 2.1.2 REST REST steht für Representational State Transfer und ist ein Architekturstil für netzwerkbasierte Anwendungen. REST ist kein Protokoll und weist keine streng definierten Regeln auf. Es definiert nur wie Web Services und Dienste funktionieren sollen. (Burbiel, 2007) Eine RESTArchitektur beinhaltet Ressourcen. Jede Ressource hat eine eindeutige Id, welche die Ressource identifiziert. Die Darstellung dieser Ressource nennt man auch Repräsentation. Mit Verben werden die auf dieser Ressource ausführbaren Operationen beschrieben. Sie ermöglichen es beispielsweise, die Ressourceninformationen auszuliefern, zu verändern oder zu löschen.

Web-Technologien bieten alle Voraussetzungen zur erfolgreichen Umsetzung einer RESTArchitektur. Folgende Tabelle zeigt die Umsetzung von REST mithilfe von Web-Technologien:

–  –  –

REST hat eine Client-Server Architektur. Die Datenhaltung am Server ist getrennt von den Belangen der Darstellung der Informationen. Durch die Standardisierung der Kommunikation über die REST-Schnittstelle wird eine Entkopplung der verwendeten Technologien des Clients und Servers erreicht. Die Kommunikation erfolgt auf Abruf des aktiven Clients vom passiven Server. Jeder Client kann selbst entscheiden wie er die Informationen des Servers nutzt. Die gleichen Daten können für verschiedene Anwendungen verwendet werden. Dabei wird empfohlen die etablierten Standards zu nutzen: Einheitliche Bezeichner (URIs) für die Adressierung und beliebig etablierte Datenformate wie XML, JSON, PNG etc. für die Repräsentationen der Ressourcen.

Abbildung 1: Client-Server Architektur

REST ist ein zustandsloses Protokoll. Jede Anfrage – auch desselben Auftraggebers – wird als voneinander unabhängige Transaktion behandelt ohne Bezug zu früheren Anfragen. Es wird keine Sitzungsinformation ausgetauscht oder vom Server verwaltet. In jeder Anfrage stecken somit alle Informationen, um einen Request auszuführen. Da alle Interaktionen zustandslos sind, kann man die Bearbeitung der Anfragen auf verschiedene Server verteilen. Die Zustandslosigkeit des Protokolls hat also positive Auswirkungen auf die Skalierbarkeit des Systems. (Fielding, Architectural Styles and the Design of Network-based Software Architectures, 2000) Neben REST werden oft auch auf SOAP basierende Web Services benutzt. SOAP ist eine „Remote Procedure Call“ (RPC) Middleware, eine anwendungsneutrale Dienstschicht, die HTTP als Transportprotokoll und XML als Nachrichtenformat verwendet, um zwischen Anwendungen zu vermitteln. SOAP ist eine Art Protokollbaukasten, bei der jeder Entwickler sein eigenes Anwendungsprotokoll definiert. Dieses Protokoll beschreibt die Schnittstelle, also alle verfügbaren Methoden und den genauen Aufbau der Anfrage und Antwort. Im Gegensatz zu REST hat eine Änderung an dem Nachrichtenformat sowie das Hinzufügen oder Entfernen von Informationen zur Folge, dass die Schnittstelle angepasst werden muss. Somit fehlt in SOAP die Möglichkeit der Evolution des bestehenden Web Services. Ein weiterer Unterschied zu REST ist der Adressraum. Nur REST bietet mit dem Konzept der URIs einen globalen Adressraum, über den jede Ressource, auch über die Grenzen der Anwendung oder Organisation hinweg, adressiert werden kann. (Curbera, et al., 2002)

–  –  –

2.1.3 JSON JSON ist die Abkürzung für JavaScript Object Notation und ist ein schlichtes, kompaktes, aber vollständiges Datenaustauschformat zwischen Anwendungen.1

JSON basiert auf zwei Strukturen:

Einer ungeordneten Menge von Schlüssel-Wert-Paaren. In vielen Programmiersprachen  ist dies realisiert als object, record, struct, dictionary, hash table, keyed list oder associative array.



Pages:   || 2 | 3 | 4 | 5 |   ...   | 6 |


Similar works:

«Numerical Computations of Wind Turbine Wakes by Stefan S. A. Ivanell January 2009 Technical Reports from Royal Institute of Technology Linn´ Flow Centre, Department of Mechanics e SE-100 44 Stockholm, Sweden Front cover illustration shows a photo of Horns Rev located 15 km off the west coast of Denmark. At the time the photo was taken the pressure was close to the vaporizing pressure resulting in a visualization of the wakes behind the turbines, [UNI-FLY A/S 2008]. Typsatt i AMS-L TEX. A...»

«Клуб успешных трейдеров Robot-Forex.biz Мы знаем, как заработать на Форекс! A MARKETPLACE BOOK Trading Chaos Maximize Profits with Proven Technical Techniques SECOND EDITION JUSTINE GREGORY-WILLIAMS and BILL M. WILLIAMS John Wiley & Sons, Inc. КНИГА О РЫНКЕ Торговый Хаос Максимизируйте прибыль, используя доказанные технические приемы ВТОРОЕ ИЗДАНИЕ...»

«TRANSACTIONS OF THE AMERICAN MATHEMATICAL SOCIETY Volume 293. Number 2. February 1986 GROWTH RATES AND CRITICALEXPONENTS OF CLASSES OF BINARYCOMBINATORIALGEOMETRIES BY JOSEPH P. S. KUNG Abstract. We prove that a binary geometry of rank n {n 2) not containing M(Ky and F-, (respectively, M(K5) and C10) as a minor has at most 3/i 3 (respectively, 4« 5) points. Here, M(K5) is the cycle geometry of the complete graph on five vertices, F-, the Fano plane, and C10 a certain rank 4 ten-point geometry...»

«Title: TOWARDS A COMPREHENSIVE STRATEGY FOR THE EFFECTIVE AND EFFICIENT MANAGEMENT OF INDUSTRIAL POLLUTION ALONG THE ATLANTIC COAST OF CAMEROON Dissertation submitted to the Faculty of Environmental Sciences and Process Engineering of the Brandenburg University of Technology Cottbus, in Partial fulfillment of the requirement for the award of a Ph.D Degree (according to the ERM Ph.D regulations) BY Dieudonne Alemagi (M.Sc) Born in Ebolowa, South Province, Cameroon Matr. Nos. : 2119268...»

«Machine Learning: The High-Interest Credit Card of Technical Debt D. Sculley, Gary Holt, Daniel Golovin, Eugene Davydov, Todd Phillips, Dietmar Ebner, Vinay Chaudhary, Michael Young {dsculley,gholt,dgg,edavydov}@google.com {toddphillips,ebner,vchaudhary,mwyoung}@google.com Google, Inc Abstract Machine learning offers a fantastically powerful toolkit for building complex systems quickly. This paper argues that it is dangerous to think of these quick wins as coming for free. Using the framework...»

«Jahresbericht Bilanz und Erfolgskonten 2012 Budget 2013 Inhaltsverzeichnis I. Bericht des Präsidenten I.1 Tätigkeiten Vitivals im Jahr 2012 I.2 ÖLNund Zertifikats Kontrollen I.3 Vitiswiss und Label Vinatura I. 4 Aktivitäten 2013 I. 5 Schlussfolgerung II. Bericht der technischen Kommission II.1. Rebjahr 2012 II.2. Aktivitätenprogramm II.3. Pflanzenschutz und technische Anwendung II.4. Anforderungen ÖLN und Zertifikat III. Bilanz und Erfolgsrechnung 2012 III.1. Erfolgsrechnung 2012 III.2....»

«1 Final paper for ITS Europe June 2011, Lyon Current Trends of Real-Time Multimodal Urban Mobility Information Services (RTMMIS) 8th European ITS congress Lyon 2011 Technical Session 15 / June 7 / « Encouraging mode change », paper ITS-EMEA-0258-2011 Patrick GENDRE Technical manager, CETE Mediterranee Aix-en-Provence, France, www.cete-aix.fr/tt13 pat.gendre@developpement-durable.gouv.fr Georges GALLAIS General Manager, VULOG Antibes, France, www.vulog.fr gbgallais@vulog.info Laurence RISTORI...»

«İSTANBUL TECHNICAL UNIVERSITY  INSTITUTE OF SCIENCE AND TECHNOLOGY DEVELOPMENT OF A SUPPLY CHAIN RE-ENGINEERING TOOL-KIT AND AN APPLICATION IN AN ORGANIZATION M.Sc. Thesis by İrem BİLGİÇ Department : Industrial Engineering Programme : Industrial Engineering Thesis Supervisor: Assis. Prof. Dr. Ufuk CEBECİ JUNE 2011 İSTANBUL TECHNICAL UNIVERSITY  INSTITUTE OF SCIENCE AND TECHNOLOGY DEVELOPMENT OF A SUPPLY CHAIN RE-ENGINEERING TOOL-KIT AND AN APPLICATION IN AN ORGANIZATION M.Sc....»

«RISK MANAGEMENT AND CONTROL GUIDANCE FOR SECURITIES FIRMS AND THEIR SUPERVISORS A Report by the Technical Committee of the International Organization of Securities Commissions May 1998 TABLE OF CONTENTS I. Introduction II. The Role of Risk Management and Controls III. Firm and Supervisory Considerations IV. Elements of a Risk Management and Control System. 13 Appendix A Significant Risk Management and Control Papers. 19 Appendix B Risk Management and Control Self-Assessment Grid. 27 -1I....»

«forensic automatic speaker recognition using bayesian interpretation and statistical compensation for mismatched conditions THÈSE NO 3367 (2005) PRÉSENTÉE à LA FACULTÉ SCIENCES ET TECHNIQUES DE L'INGÉNIEUR Institut de traitement des signaux SECTION DE GÉNIE ÉLECTRIQUE ET ÉLECTRONIQUE ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Anil ALEXANDER Bachelor of Technology in Computer Science and Engineering, Indian Institute of Technology,...»

«Hunter College and Graduate Center Anthony G. Picciano and Jeff Seaman K–12 Online Learning A 2008 Follow-up of the Survey of U.S. School District Administrators Anthony G. Picciano, Ph.D. Professor, Graduate Center and Hunter College, City University of New York (CUNY) Executive Officer of the Ph.D. Program in Urban Education Graduate Center (CUNY) Jeff Seaman, Ph.D. Survey Director The Sloan Consortium Olin and Babson Colleges Co-Director, Babson Survey Research Group Babson College January...»

«This Page Intentionally Left Blank ISBN: 0-8247-0428-2 This book is printed on acid-free paper. Headquarters Marcel Dekker, Inc. 270 Madison Avenue, New York, NY 10016 tel: 212-696-9000; fax: 212-685-4540 Eastern Hemisphere Distribution Marcel Dekker AG Hutgasse 4, Postfach 812, CH-4001 Basel, Switzerland tel: 41-61-261-8482; fax: 41-61-261-8896 World Wide Web http:/ /www.dekker.com The publisher offers discounts on this book when ordered in bulk quantities. For more information, write to...»





 
<<  HOME   |    CONTACTS
2016 www.abstract.xlibx.info - Free e-library - Abstract, dissertation, book

Materials of this site are available for review, all rights belong to their respective owners.
If you do not agree with the fact that your material is placed on this site, please, email us, we will within 1-2 business days delete him.