CMS Journal
Nr. 33
Juni 2010
Service
Metadaten
Hinweise
Weitere Artikel aus dem cms-Journal Nr. 33 finden Sie auf dem edoc-Server der Humboldt-Universität zu Berlin unter http://edoc.hu-berlin.de/cmsj/33
Copyright
Dieser Artikel ist ein Open Access Artikel und steht unter der Creative Commons Lizenz BY (siehe...).

Modernisierung desBackbone-Netzes mit MPLS


Klemens Müller
kmueller@cms.hu-berlin.de

Abstract

Das Backbone-Netz der Humboldt-Universität wurde 2009 durch die Neuinstallation von Routern modernisiert. Mit dem Einsatz von 10-Gigabit-Ethernet verzehnfacht sich dieBandbreite des Netzes. Durch die Verwendung der Technologie MPLS (Multi Protocol Label Switching) zeichnet sich das Netz durch eine hohe Verfügbarkeit, Sicherheit und durch eine besondere Flexibilität bei der Bildung virtueller Netzstrukturen aus.


Ausgangssituation 2009

Zum Backbone-Netz der HU gehören:

  • Kabeltrassen, eigene und gemietete Glasfaserkabel sowie gemietete Datenleitungen
  • WDM-Technik
  • Router
  • Firewallsysteme
  • Gebäudeswitche in größeren Instituten

Die Kabeltrassen und zentralen Routerstandorte sind in Abbildung 1 im vorhergehenden Artikel „Topologie und Einordnung unserer Netze“ dargestellt.

Die WDM-Technik (Wavelength Division Multiplexing) von der Firma MRV Communications wurde ab 2004 installiert und mehrfach erweitert. Im Einsatz waren Kanäle für Gigabit-Ethernet, Fiber Channel bis zu 4 Gbit/s sowie für ISDN-Multiplexer.

Es waren 20 Router von der Firma Enterasys aus verschiedenen Baureihen (teilweise „Out of Sale“) in Betrieb. Das durchschnittliche Alter betrug ca. sieben Jahre.

Zur Absicherung des Backbone-Netzes betreiben wir zwei Firewall-Cluster der Firma Juniper Networks.

Die Gebäudeverteiler waren mit Geräten von Enterasys aus den Baureihen ER/SSR und Matrix-N bestückt. Die genannten Router sind leider anfällig für DoS-Attacken. Versuche, eine Redundanz auf Layer 2 mit der klassischen SpanningTree-Technik zu realisieren, führten zu Instabilitäten und wurden schließlich aufgegeben.

Die im Laufe der Jahre gewachsene Struktur wurde zunehmend unübersichtlicher. Es gab also zahlreiche Gründe für eine generelle Modernisierung des Backbone-Netzes.

Inhaltsverzeichnis

Ausgangssituation 2009...

Ziele der Modernisierung ...

Die neue Netzstruktur...

Virtualisierung des Netze...

Redundanzmechanismen im B...

Zusammenfassung...


Ziele der Modernisierung

  • Hohe Ausfallsicherheit durch einheitliche modulare Technik
  • 10 Gigabit im Backbone und in Servernetzen
  • Ausreichende Portdichte und Ausbaufähigkeit
  • Neustrukturierung des Backbones auf der Basis von Multiprotocol Label Switching (MPLS)
  • Einfacheres Management (Sicherheit!)
  • Unterstützung von IPv6 (perspektivisch)

Durch Bündelung von Mitteln konnten die Router des Backbone-Netzes im zweiten Halbjahr 2009 nahezu komplett ersetzt werden. Aufgrund des günstigsten Preis-Leistungs-Verhältnisses und guter Erfahrungen der FU Berlin fiel die Wahl auf Geräte der NetIron- und BigIron-Serien der Firma Foundry (jetzt Brocade). Eine umfangreiche Teststellung im Jahr 2008 ermöglichte es uns, verschiedene Konzepte praktisch zu erproben. Dieser Test brachte durchweg positive Ergebnisse.

Die neuen Router haben redundante CPUs, Switchfabrics und Netzteile. Jedes Chassis kann mit acht bzw. 16 Linecards bestückt werden. Im NetIron MLX enthält eine Linecard 20 Gigabit-Ports oder vier 10G-Ports. Bei BigIron RX sind es 24 Gigabit-Ports oder bis zu 16 10G-Ports. Die NetIron-Serie unterstützt MPLS und ist für das Backbone-Netz vorgesehen. Die BigIron-Router kommen in Gebäudeverteilern oder für Serverfarmen zum Einsatz.

Bei Ausfall einer CPU können die Router in wenigen Sekunden auf die Backup-CPU umschalten (failover). Dabei wird das Forwarding von Datenpaketen nicht unterbrochen. Auch ein unterbrechungsfreies Softwareupgrade (hitless upgrade) ist möglich.

Für MPLS haben wir uns entschieden, weil es eine Virtualisierung des Netzes ermöglicht. Dadurch können einerseits sehr effektive Redundanztechniken unterhalb der bekannten Layer-2- und Layer-3-Protokolle aufgebaut werden. Andererseits wird durch Layer-2- und Layer-3-VPNs unser Netz sicherer und übersichtlicher.

Gleichzeitig wurde die vorhandene WDM-Technik mit 10G-Kanälen nachgerüstet.

Durch die einheitliche Technik und die übersichtlichere neue Netzstruktur vereinfacht sich das Management, was ebenfalls zur Stabilität des Netzbetriebs beiträgt.

Seit mehr als zehn Jahren wird der Übergang zu IPv6 diskutiert. Inzwischen hat er in einigen Teilen der Welt (China, Japan, USA, ...) tatsächlich begonnen. In Deutschland sollen öffentliche Netze bis Ende 2012 umgestellt sein. Es ist zwar nicht zwingend, alle Netze umzustellen, jedoch bietet IPv6 eine ganze Reihe von Verbesserungen und neuen Diensten. Besonders Hochschuleinrichtungen sind gefordert, in diesem Prozess voranzugehen.

Inhaltsverzeichnis

Ausgangssituation 2009...

Ziele der Modernisierung ...

Die neue Netzstruktur...

Virtualisierung des Netze...

Redundanzmechanismen im B...

Zusammenfassung...


Die neue Netzstruktur

Den Kern des neuen Backbone-Netzes bilden acht NetIron MLX-Router. Die vier Hauptknoten im Erwin Schrödinger-Zentrum (ESZ), Johann von Neumann-Haus, Hauptgebäude (Unter den Linden 6) und Jacob-und-Wilhelm-Grimm-Zentrum sind voll vermascht. Alle weiteren Routerstandorte und größere Gebäude sind mit je zwei Hauptknoten verbunden. Die acht Backbonerouter sowie neue Gebäudeswitche im Grimm-Zentrum und im ESZ wurden im vorigen Jahr installiert. Nach einer Testphase begann die schrittweise Umstellung des Netzes. Zunächst wurde das Grimm-Zentrum an den neuen Backbone angeschlossen. Dann folgten einzelne Gebäude im Stadtzentrum, das ESZ sowie kürzlich das Institut für Informatik im Neumann-Haus.

Der Parallelbetrieb zweier Backbone-Netze führte gelegentlich zu Routingproblemen. Der Vorteil eines schrittweisen Übergangs liegt hauptsächlich im verringerten Termindruck. Dadurch sinkt die Fehlerquote. Außerdem wirken sich Probleme, die erst im praktischen Betrieb auftreten, nicht gleich auf das ganze Netz aus.

Ergänzt wird die zentrale Technik durch 10G-fähige Switche in den Gebäudeverteilern und an wichtigen Serverstandorten. Hier werden BigIron in größeren Gebäuden und G3-Switche von Enterasys an anderen Standorten eingesetzt. Zum Teil fungieren die MLX-Router auch als Gebäudeswitch.

Abbildung 1 zeigt unsere neue Netzstruktur (Stand Mai 2010, es sind nicht alle HU-Standorte dargestellt).

Inzwischen konnte der größere Teil der alten Router außer Betrieb genommen werden. Die Netze der Institute für Chemie und Physik werden demnächst umgestellt. Der ER16 im Institut für Psychologie soll ebenfalls in diesem Jahr ausgetauscht werden.

Der Übergang zu IPv6 ist kurzfristig noch nicht vorgesehen. Hier ist zunächst eine Testumgebung geplant.

Leistungsfähigere Firewallsysteme werden voraussichtlich im nächsten Jahr beschafft.

image

Abb. 1: Netzstruktur der Humboldt-Universität

Inhaltsverzeichnis

Ausgangssituation 2009...

Ziele der Modernisierung ...

Die neue Netzstruktur...

Virtualisierung des Netze...

Redundanzmechanismen im B...

Zusammenfassung...


Virtualisierung des Netzes auf Basis von MPLS

Multi Protocol Label Switching (MPLS) ist eine Technik, die ursprünglich entwickelt wurde, um das Routing in großen Netzen zu beschleunigen. Durch gesunkene Kosten ist MPLS auch für verteilte Unternehmensnetze interessant. Einige grundlegende Konzepte, wie das verbindungsorientierte Weiterleiten von Datenpaketen über virtuelle Pfade sowie ein leicht abgerüstetes Bandbreitenmanagement, wurden vom ATM übernommen. Jedes Datenpaket vom Kundenrouter (Customer Edge, CE) bekommt beim Eintreffen auf einem äußeren MPLS-Router (Provider Edge, PE) ein Label. Das erfolgt nach Merkmalen wie Routerport, VLAN-Tag und anderen Faktoren. Die Weiterleitung der Pakete erfolgt innerhalb des MPLS-Netzes ausschließlich anhand des Labels über virtuelle Pfade, sogenannte LSPs (Label Switched Path). LSPs können innerhalb von Sekundenbruchteilen auf Ersatzleitungen umgeschaltet werden. Im Test zeigte sich, dass beim Ausfall einer Verbindung während eines IP-Telefonats nicht einmal ein Knacken zu hören war. LSPs lassen sich auch Bandbreiten und Prioritäten zugeordnen. Mit MPLS können beliebig viele virtuelle Kundennetze unabhängig voneinander bedient werden. Auch nicht routingfähige Protokolle sind transportierbar, z. B. sind vituelle private LANs (VPLS) möglich. Weiterhin können Layer-3-VPNs (Multi-VRF) gebildet werden.

Abbildung 2 zeigt ein einfaches MPLS Netzwerk, das zwei VPLS transportiert. Zwischen den Eingangsroutern (PE) können beliebig viele MPLS-Router liegen. MPLS zeigt seine Vorteile natürlich erst in großen Netzwerken.

Für uns gab nicht die Größe des Netzes den Ausschlag für MPLS, sondern die Option, virtuelle Netze zu bilden, weit über die Möglichkeiten der VLAN-Technik hinaus. Wir benutzen VPLS für verschiedene Sondernetze wie Netzwerkmanagement, Gebäudemanagement, Videodienste und WLAN. Es wird auch eingesetzt, wenn Einrichtungen – z. B. die Universitätsverwaltung – auf mehrere Standorte verteilt sind.

Unser IP-Backbone besteht aus einem VRF (Virtual Routing and Forwarding). Mit Hilfe dieser Technologie sieht es so aus, als wenn alle acht Router zu einem virtuellen Router zusammengeschlossen sind. VRF erfordert nicht zwingend MPLS, wird dadurch jedoch leichter handhabbar.

Ein zweites VRF ist für die IP-Telefonie geplant. Dadurch wird das VoIP-Netz schwerer angreifbar und kann bei Bedarf mit einer garantierten Bandbreite und Priorität ausgestattet werden. Das Bandbreitenmanagement ist zwar gegenüber dem von ATM abgerüstet worden, aber wesentlich wirksamer als das schwammige Class of Service-Verfahren.

image

Abb. 2: Beispiel eines MPLS-Netzwerks mit zwei VPLS

Inhaltsverzeichnis

Ausgangssituation 2009...

Ziele der Modernisierung ...

Die neue Netzstruktur...

Virtualisierung des Netze...

Redundanzmechanismen im B...

Zusammenfassung...


Redundanzmechanismen im Backbone

Es wurde bereits dargestellt, dass Leitungsstörungen auf MPLS-Ebene behandelt werden, ohne dass die virtuellen Netze direkt davon betroffen sind. Es ist allerdings auch nicht völlig auszuschließen, dass einzelne Knoten ganz oder teilweise ausfallen, z. B. durch:

  • Strom- oder Klimaausfall
  • Softwaremängel
  • Bedien- oder Konfigurationsfehler

Um hier zusätzliche Sicherheit zu schaffen, werden alle größeren Gebäude an zwei Knoten angeschlossen, natürlich auch abhängig von vorhandenen Kabeltrassen (s. auch Abb. 1 im vorhergehenden Artikel).

Auf der IP-Ebene wird VRRP (Virtual Router Redundancy Protocol) eingesetzt. Auf der MAC-Ebene gibt es zwar Spanning Tree, aber dieses bringt so viele Probleme mit sich, dass wir es nicht einsetzen werden. So haben wir vor einiger Zeit wochenlang die Ursache für häufige Paketverluste gesucht. Letztlich war die Ursache eine fehlerhafte Implementation von Spanning Tree auf einem Etagenswitch. Abhilfe schafft hier das von Foundry entwickelte VSRP (Virtual Switching Redundancy Protocol). Es wurde vom VRRP abgeleitet und funktioniert ähnlich. Beides soll kurz dargestellt werden.

Bei VRRP (s. Abb. 3) bilden zwei oder mehr Router einen virtuellen Router für ein Subnetz. Sie teilen sich eine virtuelle Gateway-Adresse mit einer eindeutigen MAC-Adresse. Diese ist immer dem jeweiligen Master zugeordnet. Der Master sendet regelmäßig Hello-Pakete aus. Wenn ein Router im Backup-Status keine Hello-Pakete erhält, wechselt er in den Master-Status.

image

Abb. 3: Schematische Darstellung von VRRP

image

Abb. 4: Schematische Darstellung von VSRP

Inhaltsverzeichnis

Ausgangssituation 2009...

Ziele der Modernisierung ...

Die neue Netzstruktur...

Virtualisierung des Netze...

Redundanzmechanismen im B...

Zusammenfassung...


Zusammenfassung

Die Umstellung unseres Backbones auf moderne Hardware mit hohen Bandbreiten und neuen Strukturierungstechniken wird für die nächsten Jahre einen stabilen und ausbaufähigen Netzbetrieb ermöglichen. Vorhaben für die nächste Zeit sind:

  • Einrichten weiterer virtueller Netze, z. B. für VoIP
  • Ablösen der restlichen ER16 durch BigIron-Router
  • Installation leistungsfähigerer Firewallsysteme
  • Modernisierung weiterer Institutsnetze
  • Einrichten einer Testumgebung mit IPv6