Hoe borgen we de redundantie bij SURFnet8 en wat heb je daar als instelling aan?

Alweer enige tijd geleden plaatsten we een bericht op onze website over de rol van het SURFnet8-netwerk voor observaties van astronomen. We deden dat, toen JIVE als een van de eerste pilot-instellingen over ging naar SURFnet8.

Met deze blogpost geven we jullie inkijk hoe we redundantie binnen het SURnet8-netwerk borgen en hoe de instellingen hier profijt van hebben. De aanleiding hiervoor zijn metingen die we in samenwerking met de astromen hebben gedaan om vast te stellen wat de impact is van verstoringen binnen het SURF-netwerk op het SURF (inclusief Jive observatie) verkeer.

Achtergrond

JIVE is een Europese instelling voor radioastronomie dat gevestigd is bij ASTRON in Dwingeloo. JIVE is op het SURF-netwerk aangesloten en is onderdeel van een wereldwijd netwerk van telescopen. Het verkeer van vele telescopen worden tijdens ‘observaties’ tegelijk naar Dwingeloo verstuurd waar deze datastromen verwerkt worden.

JIVE  en SURF zijn al heel lang een vertrouwd koppel. JIVE zit in top 10 van aansluitingen die het meeste verkeer over het SURF-netwerk transporteren.

Na elke generatiewisseling van netwerken (in dit geval van SURFnet7 naar SURFnet8) stemmen wij met JIVE een redundantietest af. We doen dat om te bekijken wat de impact op de observaties is wanneer er onderbrekingen in het SURF-netwerk plaatsvinden. Deze onderbrekingen kunnen bijvoorbeeld incidenten (fibercut’s) of geplande netwerkwijzigingen zijn.

Netwerk in Dwingeloo

JIVE heeft op het SURF-netwerk een gedeelde aansluiting met Astron. Zij zijn middels 2x100Gb/s interfaces in een interface bundle  (200Gb/s) setup aangesloten op onze PoP (Point of Presence) in Dwingeloo.

Wij hebben in Dwingeloo een Juniper MX480 router geïnstalleerd. Deze router is met twee 100Gb/s linken aangesloten richting Zwolle enerzijds en Groningen anderzijds.

Het SURFnet8-netwerk is een netwerk van Juniper routers (servicelaag), waarbij IS-IS, MPLS en segment routing gebruikt worden als routeringsprotocollen. De koppelingen tussen de routers op verschillende PoP’s is via het SURFnet8 optisch netwerk gerealiseerd.

Het netwerk is zo ontworpen dat het verkeer tussen de eindpunten binnen het SURF-netwerk het kortste en beste pad volgt. In het geval van Dwingeloo is de verbinding tussen Zwolle en Dwingeloo het actieve pad dat het JIVE-verkeer naar Amsterdam transporteert. Vanuit daar gaat het verkeer verder naar andere onderzoekers.

In de afbeelding hieronder zie je hoe Dwingeloo in het SURFnet8 netwerk is aangesloten op de servicelaag. Aan de rechterzijde laten we de topologie zien van de optische laag op dit traject.

Servicelaag (links) en optische laag (rechts)
Servicelaag (links) en optische laag (rechts)

Redundancy test

Wij waren geïnteresseerd in de impact op observaties als er werkzaamheden of verstoringen in het SURF8 netwerk voorkomen. Dit onderzoek hebben we samen met Paul Boven van JIVE uitgevoerd.

JIVE transporteert heel veel data, en maakt daarom gebruik van het UDP(IPv4)-protocol. Dit heeft minder overhead dan het TCP-protocol. Keerzijde is echter dat er geen recoverymechanisme in het UDP-protocol zit. Daarom is het belangrijk dat er zo min mogelijk packetloss (lees dataverlies) optreedt tijdens het initiële transport om een bruikbare dataset te verkrijgen.

Samen met  Paul Boven van JIVE spraken we een testmoment af om de impact op het transport van het JIVE-observatieverkeer gedurende netwerkverstoringen te onderzoeken. We wilden dit vanuit beide kanten bekijken. JIVE had een observatie tussen 17 en 18 november gepand staan. Paul heeft kunnen regelen dat we na de standaard JIVE-observaties nog een testobservatie konden inplannen, zodat we de testen vanuit SURFnet8-netwerk konden uitvoeren.

We gingen er van uit, dat met ons nieuwe SURFnet8-netwerk de impact op de observaties gedurende verstoringen in het netwerk geen of heel weinig impact zou hebben.

Voorgaand aan deze testen hebben wij binnen het Team Expert Netwerken (team binnen SURF dat verantwoordelijk is voor de engineering en het operationeel houden van het SURF-netwerk) de mogelijke testen doorgesproken die we zouden kunnen uitvoeren.

Hieruit hebben wij vier scenario’s gekozen die we wilden uitvoeren. Belangrijk hierbij was dat we dit wilden doen, zonder andere aangesloten instellingen op het SURF-netwerk te verstoren.

Testscenario’s

Test 1: het schakelen van het verkeer van het primaire pad naar het backup pad.

Binnen het SURFnet8-netwerk gebruiken wij BGP, IS-IS, MPLS en segment routing als routeringsprotocollen om verkeer tussen de routers te transporteren. Het observatieverkeer verliep primair over de corelink tussen Dwingeloo en Zwolle.

Door gebruik te maken van onze Orchestration tool is de metric van de primaire link zo aangepast dat het verkeer over het backup-pad gerouteerd werd.

Hiermee simuleren we een herroutering binnen het SURFnet8-netwerk door werkzaamheden.

Normaal verkeersverloop (verkeer gaat van Dwingeloo naar Amsterdam over Zwolle)
Normaal verkeersverloop (verkeer gaat van Dwingeloo naar Amsterdam over Zwolle)
Verkeersverloop na aanpassen IS-IS metric (verkeer wordt automatisch herrouteerd via Groningen)
Verkeersverloop na aanpassen IS-IS metric (verkeer wordt automatisch herrouteerd via Groningen)

Test 2: De actieve uplink interface abrupt onderbreken op de router.

Dit zorgt er ook voor dat het verkeer zal gaan herrouteren. Hiermee simuleren we een herroutering binnen het SURF8-netwerk door werkzaamheden of fiberverstoringen (Deze test is uitgevoerd op de shell-omgeving van de Juniper route; het Operating system van Juniper ziet dit als een falende optic of een fibercut).

Normaal verkeersverloop
Normaal verkeersverloop
Herroutering na abrupt onderbreken uplink interface
Herroutering na abrupt onderbreken uplink interface

Test 3: De actieve link verstoren op het Optische netwerk (simulatie van een fibercut)

Bij deze test zetten we de lasers op ons ECI optische platform uit.

Hiermee forceren we een herroutering binnen het SURFnet8-netwerk door fiberverstoringen. Door het uitzetten van de actieve pad (rode kruis) zal de zwarte lijn onderbroken worden. Verkeer zal over het oranje pad getransporteerd worden.

SURFnet8 Optisch Netwerk
SURFnet8 Optisch Netwerk

Test 4: Het verstoren van een andere corelink dan Zwolle-Dwingeloo

Hiervoor zal het actieve pad tussen Zwolle en Amsterdam middels aanpassen van IS-IS metrics verkeersvrij gemaakt worden. Het verkeer  wordt dan geherrouteerd via Utrecht en Nijmegen.

Zie hier de grafiek van het verkeersverloop tussen Zwolle en Dwingeloo Met het uitvoeren van test 4 zorgden we ervoor dat het verkeer tussen Zwolle en Amsterdam (zwarte stippellijn) herrouteerd wordt via de andere linken (groene pijlen).
Zie hier de grafiek van het verkeersverloop tussen Zwolle en Dwingeloo Met het uitvoeren van test 4 zorgden we ervoor dat het verkeer tussen Zwolle en Amsterdam (zwarte stippellijn) herrouteerd wordt via de andere linken (groene pijlen).

Testresultaten

   testresultaten

Resultaten van de tests door JIVE en bevindingen

packet loss zien per seconde, per  verbinding, op een logaritmische schaal.
Packet loss zien per seconde, per verbinding, op een logaritmische schaal.

Deelnemende telescopen aan deze test waren:

  • Tr - Torun, Polen - Routed
  • Ys - Yebes, Spanje - Routed
  • O8 - Onsala, Zweden - E-VPN
  • Wb - Westerbork, NL - Dark Fiber
  • Ef - Effelsberg, Duitsland - E-VPN
  • Mc - Medicina, Italie - Routed
  • Jb - Jodrell Bank, UK - E-VPN
  • Hh - Hartebeesthoek, Zuid Afrika - E-VPN

Alle deelnemende stations doen hier mee op 2Gb/s, dat is ongeveer 32k pakketjes per seconde, Jumbo Frames.

De wijziging van de IS-IS metric tussen Zwolle en Dwineloo is amper zichtbaar (Test 1), en veroorzaakt slechts een handjevol verloren pakketten.

Het down brengen van een van de links naar JIVE/ASTRON op de Juniper shell (Test 2) had veruit het  grootste effect: ongeveer 4000 pakketten verloren op elke verbinding (1/8e van de data). Het weer aanzetten van de link had amper effect.

Het uitzetten van de laser op het optisch netwerk was een stuk minder erg (Test 3), dat was eerder in de orde van 400 verloren pakketten.

Als laatste, de wijziging van de IS-IS metric tussen Amsteram en Zwolle had weer heel weinig effect (Test 4) en leidde op sommige links zelfs helemaal niet tot verlies van pakketjes.

Conclusie

De conclusie die JIVE op basis van deze testen trekt, is dat de hoeveelheid packet loss die in deze gesimuleerde verstoringen zijn waargenomen geen invloed hebben op de kwaliteit van de wetenschappelijke data. Dat was tevens het uitgangspunt voor het uitvoeren van deze testen vanuit SURF zijde.

Hierdoor kan SURF gepland onderhoud dat geen directe invloed heeft op de verbindingen naar Dwingeloo zonder problemen uitvoeren tijdens de geplande e-VLBI observaties.

Meer lezen of geïnteresseerd? 

Author

Comments

Dit artikel heeft 0 reacties