Opnieuw recordaantal SURFconext-logins

Spanning in de eerste week van september: wel of geen record?

Elke eerste week van september stijgt de spanning weer in het SURFconext-team. We blijven met onze vingers van alle servers af, en we F5'en veelvuldig op https://stats.surfconext.nl. Gaan we het weer halen? Is er weer een loginrecord, net als in vorige jaren? Tot op heden zien we elk jaar een groei van ongeveer 20 à 30% in het aantal logins. Die groei komt door het toenemende aantal studenten, maar ook door de groeiende hoeveelheid diensten die op SURFconext aansluiten.

Hoe houden we de statistieken bij?

Elke login genereert een logregel. Daarin staat het tijdstip, de IdP (de instelling), de SP (de dienst waarop wordt ingelogd) en de gebruikersnaam. Deze logregels worden opgeslagen in een database. Deze database gebruiken we voor forensische doeleinden en de data bewaren we maximaal 6 maanden. We raadplegen deze database als er een probleem is dat we willen analyseren, of als er een incident is geweest waarbij sprake is van misbruik.

We vullen ook een andere database met de logingegevens. Deze vullen we met dezelfde gegevens, maar in plaats van de gebruikersnaam hanteren we daar een pseudoniem. Dat doen we vanuit de privacy-by-design gedachte: we willen zo min mogelijk persoonsgegevens opslaan. Vanuit de ruwe data vullen we verschillende tabellen. Zo houden we bij hoeveel logins er per uur, per dag, per maand, per kwartaal, of per jaar plaatsvinden. Dat doen we voor de totale hoeveelheid logins, en voor het aantal unieke gebruikers. Ook houden we bij hoeveel logins er plaatsvinden per IdP/SP combinatie. Een gedeelte van deze gegevens is publiek beschikbaar en in te zien op https://stats.surfconext.nl. Voor instellingen zijn meer gedetailleerde gegevens beschikbaar in het IdP Dashboard. Een instelling kan dat gebruiken om te zien hoe vaak een dienst wordt gebruikt en door hoeveel gebruikers. Handig om te controleren of een dienst die op basis van het aantal gebruikers factureert wel de juiste gegevens heeft.

Deze statistieken leveren veel interessante informatie op. De loginpatronen volgen voorspelbare patronen. Zo zien we dat de hoeveelheid logins per minuut langzaam toeneemt, tot een uurtje of 10 in de ochtend. Rond de lunch zien we een dip, en vanaf de tweede helft van de middag neemt de hoeveelheid langzaam af. Weekenden en vakanties zijn duidelijk zichtbaar. Tijdens de corona persconferenties zagen we ook een duidelijke dip in de logins. Op zondagavond zien we nog een aardig fenomeen: Dat is de enige dag waarop 's avonds het aantal logins hoger is dan gedurende de dag. Veel gebruikers loggen dan nog even in om zich alvast voor de volgende dag voor te bereiden.

Verder gebruiken we de stats applicatie ook om snel te controleren of er geen problemen zijn. Bijvoorbeeld bij een kleine hickup in ons netwerk.

Techniek

Er zijn nogal wat componenten betrokken bij het opslaan en het genereren van de loginstatistieken: we gebruiken rsyslog om de logs centraal te verzamelen, filebeat om de logs van de centrale plek door te sturen naar een Logstash server, Logstash om wat transformaties toe te passen en om de logs naar InfluxDB toe te sturen, InfluxDB om de statistieken op te slaan, en een python Flask webapplicatie om de statistieken weer te geven op https://stats.surfconext.nl. Zoals gebruikelijk is de broncode volledig open source, wat betekent dat ook andere partijen van deze code gebruik kunnen maken. 

Meer weten over (de techniek achter) SURFconext?

Neem dan contact met me op via bart.geesink@surf.nl.

Meer informatie over de achtergrond en ontwikkelingen binnen het SURFconext team vindt je hier: https://www.surf.nl/voorop-in-trust-en-identity

Of lees een van mijn eerder verschenen blogs:

• Beveilig je API's met API Security van SURFconext
• Een motor van een vliegend vliegtuig vervangen

• SURFconext OpenID Connect voor dummies