Achtergrond
JIVE is een Europese instelling voor radioastronomie dat gevestigd is bij ASTRON in Dwingeloo. JIVE is op het SURF-netwerk aangesloten en is onderdeel van een wereldwijd netwerk van telescopen. Het verkeer van vele telescopen worden tijdens ‘observaties’ tegelijk naar Dwingeloo verstuurd waar deze datastromen verwerkt worden.
JIVE en SURF zijn al heel lang een vertrouwd koppel. JIVE zit in top 10 van aansluitingen die het meeste verkeer over het SURF-netwerk transporteren.
Na elke generatiewisseling van netwerken (in dit geval van SURFnet7 naar SURFnet8) stemmen wij met JIVE een redundantietest af. We doen dat om te bekijken wat de impact op de observaties is wanneer er onderbrekingen in het SURF-netwerk plaatsvinden. Deze onderbrekingen kunnen bijvoorbeeld incidenten (fibercut’s) of geplande netwerkwijzigingen zijn.
Netwerk in Dwingeloo
JIVE heeft op het SURF-netwerk een gedeelde aansluiting met Astron. Zij zijn middels 2x100Gb/s interfaces in een interface bundle (200Gb/s) setup aangesloten op onze PoP (Point of Presence) in Dwingeloo.
Wij hebben in Dwingeloo een Juniper MX480 router geïnstalleerd. Deze router is met twee 100Gb/s linken aangesloten richting Zwolle enerzijds en Groningen anderzijds.
Het SURFnet8-netwerk is een netwerk van Juniper routers (servicelaag), waarbij IS-IS, MPLS en segment routing gebruikt worden als routeringsprotocollen. De koppelingen tussen de routers op verschillende PoP’s is via het SURFnet8 optisch netwerk gerealiseerd.
Het netwerk is zo ontworpen dat het verkeer tussen de eindpunten binnen het SURF-netwerk het kortste en beste pad volgt. In het geval van Dwingeloo is de verbinding tussen Zwolle en Dwingeloo het actieve pad dat het JIVE-verkeer naar Amsterdam transporteert. Vanuit daar gaat het verkeer verder naar andere onderzoekers.
In de afbeelding hieronder zie je hoe Dwingeloo in het SURFnet8 netwerk is aangesloten op de servicelaag. Aan de rechterzijde laten we de topologie zien van de optische laag op dit traject.
Redundancy test
Wij waren geïnteresseerd in de impact op observaties als er werkzaamheden of verstoringen in het SURF8 netwerk voorkomen. Dit onderzoek hebben we samen met Paul Boven van JIVE uitgevoerd.
JIVE transporteert heel veel data, en maakt daarom gebruik van het UDP(IPv4)-protocol. Dit heeft minder overhead dan het TCP-protocol. Keerzijde is echter dat er geen recoverymechanisme in het UDP-protocol zit. Daarom is het belangrijk dat er zo min mogelijk packetloss (lees dataverlies) optreedt tijdens het initiële transport om een bruikbare dataset te verkrijgen.
Samen met Paul Boven van JIVE spraken we een testmoment af om de impact op het transport van het JIVE-observatieverkeer gedurende netwerkverstoringen te onderzoeken. We wilden dit vanuit beide kanten bekijken. JIVE had een observatie tussen 17 en 18 november gepand staan. Paul heeft kunnen regelen dat we na de standaard JIVE-observaties nog een testobservatie konden inplannen, zodat we de testen vanuit SURFnet8-netwerk konden uitvoeren.
We gingen er van uit, dat met ons nieuwe SURFnet8-netwerk de impact op de observaties gedurende verstoringen in het netwerk geen of heel weinig impact zou hebben.
Voorgaand aan deze testen hebben wij binnen het Team Expert Netwerken (team binnen SURF dat verantwoordelijk is voor de engineering en het operationeel houden van het SURF-netwerk) de mogelijke testen doorgesproken die we zouden kunnen uitvoeren.
Hieruit hebben wij vier scenario’s gekozen die we wilden uitvoeren. Belangrijk hierbij was dat we dit wilden doen, zonder andere aangesloten instellingen op het SURF-netwerk te verstoren.
Testscenario’s
Test 1: het schakelen van het verkeer van het primaire pad naar het backup pad.
Binnen het SURFnet8-netwerk gebruiken wij BGP, IS-IS, MPLS en segment routing als routeringsprotocollen om verkeer tussen de routers te transporteren. Het observatieverkeer verliep primair over de corelink tussen Dwingeloo en Zwolle.
Door gebruik te maken van onze Orchestration tool is de metric van de primaire link zo aangepast dat het verkeer over het backup-pad gerouteerd werd.
Hiermee simuleren we een herroutering binnen het SURFnet8-netwerk door werkzaamheden.
Test 2: De actieve uplink interface abrupt onderbreken op de router.
Dit zorgt er ook voor dat het verkeer zal gaan herrouteren. Hiermee simuleren we een herroutering binnen het SURF8-netwerk door werkzaamheden of fiberverstoringen (Deze test is uitgevoerd op de shell-omgeving van de Juniper route; het Operating system van Juniper ziet dit als een falende optic of een fibercut).
Test 3: De actieve link verstoren op het Optische netwerk (simulatie van een fibercut)
Bij deze test zetten we de lasers op ons ECI optische platform uit.
Hiermee forceren we een herroutering binnen het SURFnet8-netwerk door fiberverstoringen. Door het uitzetten van de actieve pad (rode kruis) zal de zwarte lijn onderbroken worden. Verkeer zal over het oranje pad getransporteerd worden.
Test 4: Het verstoren van een andere corelink dan Zwolle-Dwingeloo
Hiervoor zal het actieve pad tussen Zwolle en Amsterdam middels aanpassen van IS-IS metrics verkeersvrij gemaakt worden. Het verkeer wordt dan geherrouteerd via Utrecht en Nijmegen.
Testresultaten
Resultaten van de tests door JIVE en bevindingen
Deelnemende telescopen aan deze test waren:
- Tr - Torun, Polen - Routed
- Ys - Yebes, Spanje - Routed
- O8 - Onsala, Zweden - E-VPN
- Wb - Westerbork, NL - Dark Fiber
- Ef - Effelsberg, Duitsland - E-VPN
- Mc - Medicina, Italie - Routed
- Jb - Jodrell Bank, UK - E-VPN
- Hh - Hartebeesthoek, Zuid Afrika - E-VPN
Alle deelnemende stations doen hier mee op 2Gb/s, dat is ongeveer 32k pakketjes per seconde, Jumbo Frames.
De wijziging van de IS-IS metric tussen Zwolle en Dwineloo is amper zichtbaar (Test 1), en veroorzaakt slechts een handjevol verloren pakketten.
Het down brengen van een van de links naar JIVE/ASTRON op de Juniper shell (Test 2) had veruit het grootste effect: ongeveer 4000 pakketten verloren op elke verbinding (1/8e van de data). Het weer aanzetten van de link had amper effect.
Het uitzetten van de laser op het optisch netwerk was een stuk minder erg (Test 3), dat was eerder in de orde van 400 verloren pakketten.
Als laatste, de wijziging van de IS-IS metric tussen Amsteram en Zwolle had weer heel weinig effect (Test 4) en leidde op sommige links zelfs helemaal niet tot verlies van pakketjes.
Conclusie
De conclusie die JIVE op basis van deze testen trekt, is dat de hoeveelheid packet loss die in deze gesimuleerde verstoringen zijn waargenomen geen invloed hebben op de kwaliteit van de wetenschappelijke data. Dat was tevens het uitgangspunt voor het uitvoeren van deze testen vanuit SURF zijde.
Hierdoor kan SURF gepland onderhoud dat geen directe invloed heeft op de verbindingen naar Dwingeloo zonder problemen uitvoeren tijdens de geplande e-VLBI observaties.
Meer lezen of geïnteresseerd?
- Ben je geïnteresseerd, of wil je meer weten over deze test? Je kunt altijd contact met me opnemen .
- website JIVE
0 Praat mee