psHost Logo2
Wszystkie wpisy
Raport z awariiZaktualizowano 4 min czytaniaZespół psHost

Awaria węzła xeon-1: przebieg, odzyskanie danych oraz dalsze kroki

W dniu 7 listopada 2026 r. doszło do poważnej awarii węzła xeon-1. Wszystkie dane zostały odzyskane, a usługi są ponownie dostępne. Poniżej przedstawiamy przebieg zdarzenia, proces odzyskiwania danych oraz decyzje dotyczące dalszego działania usług VPS-RAM.

W skrócie

Dane odzyskane

Odzyskaliśmy dane wszystkich usług, usługi są ponownie dostępne.

+10 dni

Rekompensata dla każdego Klienta, już doliczona do usług.

VPS-RAM zostaje

Nie wycofujemy usług. 15.11 wymieniamy dyski w węźle, po pracach sprzedaż wraca.

Pozostałe usługi

Działają bez zmian, awaria ich nie objęła.

Aktualizacja: VPS-RAM zostaje

Zmieniamy wcześniejszą decyzję: usługi VPS-RAM nie zostaną wycofane. Zamiast tego wymieniamy dyski w węźle xeon-1, na którym działają. Termin 15 grudnia 2026 r. opisany w sekcji Dalsze działanie usług VPS-RAM przestaje obowiązywać, a przenoszenie danych na inną usługę nie jest konieczne.

Wymiana dysków w węźle xeon-1 (pl1)

W niedzielę 15.11.2026 około godziny 02:00 rozpocznie się przerwa techniczna na węźle xeon-1 (pl1). Dyski NVMe zostaną zastąpione dyskami SSD SAS Enterprise. Zmiana usuwa przyczynę wcześniejszych awarii, którą były dyski NVMe niekompatybilne z tą platformą.

  • Przewidywany czas przerwy to do 6 godzin.
  • W tym czasie serwery VPS-RAM mogą być niedostępne lub zostaną zrestartowane.
  • Przed rozpoczęciem prac zostanie wykonana kopia zapasowa wszystkich serwerów.
  • Dane na serwerach zostaną zachowane, a adresy IP pozostaną bez zmian.

Po zakończeniu prac oferta VPS-RAM zostanie przywrócona do sprzedaży.

Przebieg awarii

W dniu 7 listopada o godz. 04:47 węzeł xeon-1 został wyłączony w ramach zaplanowanej przerwy technicznej, obejmującej prace związane z pamięcią RAM oraz dyskami.

Przed każdą ingerencją sprzętową wykonujemy aktualną kopię zapasową wszystkich usług. Po wyłączeniu węzła okazało się, że ostatnie zadanie kopii zapasowej nie zakończyło się dla wszystkich serwerów, co wcześniej zostało przeoczone.

Aby dokończyć wykonywanie kopii, podjęliśmy próbę ponownego uruchomienia węzła. Nie było to już możliwe: platforma zgłosiła błąd Uncorrectable PCI Express Error, a dalsza diagnostyka wykazała uszkodzenie kontrolera w obydwu dyskach NVMe.

Dlaczego awaria była niespodziewana

Z czterech dysków w węźle padły akurat oba dyski jednej puli RAID1, w której każdy z nich jest lustrzaną kopią drugiego. Dyski w tej puli celowo pochodziły z różnych serii i zostały kupione w różnym czasie, właśnie po to, aby zapobiec takiej sytuacji.

Próby odzyskania danych z dysków

W celu wykluczenia usterki samego serwera dyski zostały przeniesione do innego serwera dedykowanego, opartego na odmiennej platformie (AMD Ryzen). Również tam nie wykazywały oznak działania.

Działania prowadziliśmy równolegle. Skrypt diagnostyczny podejmował kolejne próby wybudzenia kontrolera dysków, a w tym czasie zakupiliśmy nowe dyski i rozpoczęliśmy przywracanie danych z kopii zapasowych na nowym sprzęcie. Dzięki temu przywrócenie usług nie było uzależnione od powodzenia prób odzyskania danych z uszkodzonych dysków.

Odzyskiwanie danych

Proces przywracania obejmował:

  1. 1

    Reinstalację systemu węzła na nowych dyskach systemowych.

  2. 2

    Przywrócenie usług z dwóch niezależnych repozytoriów kopii zapasowych.

  3. 3

    Odtworzenie usług, dla których ostatnia kopia zakończyła się poprawnie, ze stanu z nocy z 6 na 7 listopada.

  4. 4

    Odtworzenie pozostałych usług z kopii z 6 listopada, czyli sprzed około 24 godzin.

W trakcie przywracania serwer kilkukrotnie uległ ponownemu uruchomieniu. Analiza logów sprzętowych wykazała, że przyczyną były kolejne dyski NVMe zainstalowane w tej samej karcie rozszerzeń. Dane z tych dysków zostały bezpiecznie skopiowane na nowe dyski, a wadliwe dyski wraz z kartą zostały usunięte z serwera. Od tego momentu węzeł pracuje stabilnie, a kolejne usługi były przywracane i uruchamiane bez zakłóceń.

Dane wszystkich usług zostały odzyskane.

Rekompensata

Zdajemy sobie sprawę, że przerwa w działaniu usług, a w części przypadków utrata zmian z ostatniej doby, stanowiła dla Państwa istotne utrudnienie.

+10dni

W ramach rekompensaty każdy Klient otrzymał 10 dni do okresu rozliczeniowego. Dni zostały już doliczone do Państwa usług.

Wnioski

Najważniejszy wniosek z tego zdarzenia: przed każdą ingerencją sprzętową, w tym przed wyłączeniem węzła w ramach zaplanowanych prac, należy zweryfikować poprawne zakończenie kopii zapasowej, bez wyjątków. Samo uruchomienie zadania nie jest wystarczające.

Dodatkowo usunęliśmy z węzła elementy, które okazały się źródłem niestabilności, oraz zabezpieczyliśmy jego konfigurację przed podobnymi błędami.

Dalsze działanie usług VPS-RAM

Aktualizacja z 10 listopada 2026 r.

Decyzje opisane w tej sekcji zostały zmienione: usługi VPS-RAM nie zostaną wycofane, a po wymianie dysków w węźle wrócą do sprzedaży. Szczegóły w sekcji Aktualizacja: VPS-RAM zostaje.

Wszystkie usługi działają obecnie stabilnie. Ostatnie zdarzenia wykazały jednak, że w przypadku usług VPS-RAM nie jesteśmy w stanie zagwarantować poziomu niezawodności, jakiego Państwo oczekują i jaki sami chcemy zapewniać. Nie chcemy ryzykować ponownego wystąpienia podobnej sytuacji, w związku z czym podjęliśmy następujące decyzje:

Decyzje dotyczące usług VPS-RAM

  • Sprzedaż usług VPS-RAM zostaje wstrzymana.
  • Przedłużanie istniejących usług VPS-RAM zostaje wstrzymane.
  • Usługi VPS-RAM będą działać do dnia 15 grudnia 2026 r.

VPS-RAM wróci w II kwartale 2027 r.

Wstrzymanie nie jest ostateczne. Usługi VPS-RAM wrócą do oferty w II kwartale 2027 r., po tym, jak znajdziemy i przetestujemy stabilne rozwiązania, w szczególności w zakresie przechowywania danych.

Decyzja ta dotyczy wyłącznie usług VPS-RAM. Pozostałe usługi działają bez zmian i nie są objęte opisaną awarią.

Prosimy o zabezpieczenie oraz przeniesienie danych przed tym terminem. Klientom usług VPS-RAM proponujemy migrację na usługi VPS-GAME, które działają stabilnie, a ich nieprzerwany czas pracy liczony jest w miesiącach. Chętnie pomożemy w przeniesieniu danych.

Migracja na VPS-GAME

Pomożemy przenieść dane z VPS-RAM na nową usługę.

Klientów, których usługi VPS-RAM są opłacone na okres po 15 grudnia 2026 r., prosimy o kontakt mailowy na adres admin@pshost.pl lub przez system zgłoszeń w panelu klienta. Przygotujemy indywidualną propozycję, np. migrację na VPS-GAME lub rozliczenie niewykorzystanego okresu.

Podziękowania

Dziękujemy za cierpliwość, wyrozumiałość oraz wszystkie wiadomości wsparcia otrzymane w trakcie awarii. W przypadku pytań dotyczących usług, odzyskanych danych lub dalszych kroków prosimy o kontakt:

Raport z awariiZaktualizowano 4 min czytaniaZespół psHost
Wszystkie wpisy