Incident report: MySQL 5.7 driftproblemer

Siden vi opgraderede til MySQL 5.7, har vi haft en masse stabilitetsproblemer med vores MySQL-servere, servere vi ellers aldrig har haft problemer med.

Selv om MySQL 5.7 har været i stable-release i næsten 2 år inden vi opgraderede, så er den åbenbart stadig plaget af underlige (og kendte) crash-fejl, som vi har fundet uløste bug-reports på der er flere år gamle.

Det har betydet en helt elendig og ustabil drift på vores MySQL servere, og det er vi ekstremt kede af.

Vi har siden problemerne begyndt, forsøgt at optimere og justere os ud af problemet samt opgraderet storage og hardware, men det har ikke hjulpet.

For at komme de mange problemer til livs, har vi derfor udskiftet MySQL med Percona Server.

Percona er en fork af MySQL (på samme måde som MariaDB), hvor der er lavet en masse fejlrettelser og optimeringer ifht. til mainstream versionen af MySQL. Percona er fuldt ud kompatibel med MySQL, så det har ingen negativ betydning for hvordan du forbinder eller bruger MySQL. Til gengæld har vi set en betydelig forbedring i både hastighed og stabilitet, som kommer alle kunder til gode.

Vi håber derfor at den seneste tids stabilitetsproblemer er løst, og at vi kan vende tilbage til den stabile drift som vi er kendt for.

Incident report 31-08-2016: Netværksudfald

Wow, det er træls at skulle skrive endnu en incident report indenfor så kort tid.

Onsdag nat samt Onsdag morgen, har vi haft udfald på vores netværksinfrastruktur der driver vores storage og VMware-platforme. Som konsekvens af dette har vi haft nedsat tilgængelighed til hele den virtuelle infrastruktur i vores datacenter.

Continue reading “Incident report 31-08-2016: Netværksudfald”

Incident report 29-07-2016: Strømafbrydelse i datacenter

Fredag aften kl. 20.50, skete det der aldrig må ske i et datacenter: Vi mistede alt strøm.

Strømafbrydelsen betød, at alle UnoEuro servere og services, var utilgængelige fra kl. 20.50 og frem. De første services kom online igen kl. 23.34, og al drift var normaliseret igen kl. 01.03.

Continue reading “Incident report 29-07-2016: Strømafbrydelse i datacenter”