Table of Contents

C2023M08c: Update Onderhoud OpenShift Storage

Beste allen,

Het geplande onderhoud op Openshift Storage vannacht is niet succesvol afgerond.

Storing tijdens Onderhoud Openshift Storage

Tijdens het onderhoud op het storage cluster hebben we opnieuw last gehad van een drietal outages. Dit zorgde ervoor dat het storage cluster tussen de volgende tijdvensters niet bereikbaar was voor workloads:

Workloads op het Community Hosting Platform die gebruik maken van OpenShift Storage kunnen hierdoor kortstondig last hebben gehad van onbereikbaarheid van data op PVCs.

Oorzaak

Helaas ondervonden we problemen met onze metadataservice pods. Dit werd veroorzaakt door het aanzetten van de debug logging.

Oplossing / Maatregelen

We zijn teruggevallen op het voorbereide fallback scenario, waardoor we de duur van de outages hebben kunnen beperken. In samenwerking met Red Hat hebben we tijdens deze gebeurtenissen uitgebreide logs kunnen verzamelen die input geven aan het lopende onderzoek.

Vervolgstappen

We staken verder onderhoud op OpenShift Storage en wachten de analyse van de Red Hat engineers af. We zullen volgende stappen weer tijdig communiceren.

Communicatie

Voor vragen en opmerkingen is Hosting & Streaming bereikbaar via de reguliere kanalen: https://hosting.omroep.nl/contact.