Coś płonie w serwerowni; jak mogę szybko zidentyfikować, co to jest?

Pewnego dnia zauważamy okropny, płonący zapach wydobywający się z serwerowni. Krótko mówiąc, okazało się, że jest to jeden z modułów akumulatorów, który płonął w zasilaczu, ale zajęło to kilka godzin, zanim udało nam się to rozgryźć. Głównym powodem, dla którego udało nam się to rozgryźć, jest fakt, że wyświetlacz UPS w końcu pokazał, że moduł wymaga wymiany.

To był problem: cały pokój był wypełniony zapachem. Wykonanie testu wąchania było bardzo trudne, ponieważ zapach przeniknął do wszystkiego (nie wspominając, że sprawił, że oszaleliśmy). Prawie przez pomyłkę zdjęliśmy nasz produkcyjny serwer bazy danych, ponieważ tam był najsilniejszy zapach. Wydawało się, że parametry witalne są w porządku (temperatura procesora pokazała 60 stopni C, a prędkości wentylatora w porządku), ale nie byliśmy pewni. Zdarzyło się tak, że spalony moduł akumulatorowy był mniej więcej tej samej wysokości co serwer na stojaku i tylko 3 stopy dalej. Gdyby to był prawdziwy wypadek, ponieślibyśmy klęskę.

Realistycznie rzecz biorąc, szanse, że rzeczywisty sprzęt serwerowy się wypali, są dość rzadkim zjawiskiem i przez większość czasu będziemy patrzeć na zasilacza UPS. Ale z kilkoma stojakami z kilkoma elementami wyposażenia może szybko stać się zgadywanką. Jak szybko i dokładnie określić, który sprzęt faktycznie się pali? Zdaję sobie sprawę, że to pytanie jest wysoce zależne od zmiennych środowiskowych, takich jak wielkość pokoju, wentylacja, lokalizacja itp., Ale każdy wkład byłby mile widziany.

Ogólny konsensus wydaje się, że odpowiedź na twoje pytanie składa się z dwóch części:

Jak znaleźć źródło śmiesznego płonącego zapachu?

Masz dość dobrze przybity „How”:

• „Test wąchania”
• Poszukaj widocznego dymu / mgły
• Przejdź pomieszczenie kamerą termiczną (IR), aby znaleźć gorące punkty
• Sprawdź monitorowanie i panele urządzeń pod kątem alertów

Możesz zwiększyć swoje szanse na szybkie znalezienie problemu na wiele sposobów - lepsze monitorowanie jest często najłatwiejsze. Kilka pytań, które należy zadać:

• Czy otrzymujesz powiadomienia o temperaturze i innych zagrożeniach zdrowotnych ze swojego sprzętu?
• Czy twoje systemy UPS zgłaszają usterki do systemu monitorowania?
• Czy otrzymujesz alarmy poboru prądu ze swojego urządzenia do dystrybucji energii?
• Czy czujniki dymu w pomieszczeniu zgłaszają się do systemu monitorowania? (i czy mogą? )

Kiedy powinniśmy rozwiązywać problemy, a nie uderzać w Big Red Switch?

To jest bardziej interesujące pytanie.
Uderzenie w duży czerwony przełącznik może w pośpiechu kosztować Twoją firmę ogromną ilość pieniędzy: uwolnienia czystych środków mogą sięgać dziesiątek tysięcy dolarów, a koszty przestoju / odzyskiwania po wyłączeniu awaryjnym (EPO, „upuszczenie pokoju” ) może być katastrofalne.
Nie chcesz upuszczać centrum danych, ponieważ pękł kondensator w zasilaczu i sprawił, że w pokoju poczuł zapach.

I odwrotnie, pożar w serwerowni może kosztować Twoją firmę jej dane / sprzęt, a co ważniejsze, życie pracowników.
Rozwiązywanie problemów z „tym śmiesznym płonącym zapachem” nigdy nie powinno mieć pierwszeństwa przed bezpieczeństwem , dlatego ważne jest, aby mieć jasne zasady dotyczące rozwiązywania problemów z warunkami „przed pożarem”.

Poniższe wytyczne to moje osobiste ograniczenia, które stosuję w przypadku braku (lub oprócz) innych jasno określonych procedur / zasad - dobrze mi służyły i mogą ci pomóc, ale równie łatwo mogą mnie zabić lub zwolniony jutro, więc zastosuj je na własne ryzyko.

1. Jeśli zobaczysz dym lub ogień, upuść pomieszczenie.
   Powinno to pójść bez słowa, ale powiedzmy to mimo wszystko: Jeśli istnieje aktywny ogień (lub dym wskazujący, że wkrótce nastąpi), ewakuujesz pomieszczenie, odcinasz energię i gasisz ogień system tłumienia.
   Mogą istnieć wyjątki (zachowaj zdrowy rozsądek), ale prawie zawsze jest to właściwe działanie.

2. Jeśli próbujesz rozwiązać problem, zawsze zaangażuj co najmniej jedną inną osobę.
   Z dwóch powodów. Po pierwsze, nie chcesz błąkać się po centrum danych i nagle masz podniesiony stojak w rzędzie, po którym idziesz i nikt nie wie, że tam jesteś. Po drugie, drugą osobą jest twoja kontrola rozsądku podczas rozwiązywania problemów w porównaniu do opuszczenia pokoju, a jeśli zadzwonisz, aby uderzyć w Big Red Switch, możesz skorzystać z drugiej osoby, która zgadza się z decyzją (pomaga uniknąć aspektów ograniczających karierę zawodową takiej decyzji, jeśli ktoś przesłucha ją później).

3. Zachowaj ostrożność podczas rozwiązywania problemów
   Upewnij się, że zawsze masz ścieżkę ewakuacyjną (otwarty koniec rzędu i czysta ścieżka do wyjścia).
   Trzymaj kogoś w miejscu zwolnienia EPO / przeciwpożarowego.
   Noś ze sobą gaśnicę (proszę Halon lub inny środek czyszczący).
   Pamiętaj o regule nr 1 powyżej.
   W razie wątpliwości opuść pokój . Zadbaj o swój oddech: użyj respiratora lub maski tlenowej. Może to uratować zdrowie w przypadku pożaru chemicznego.

4. Ustaw limit i trzymaj się go
   Dokładniej ustaw dwa limity:

   • Warunek („O ile gorzej mogę pozwolić?”) I
   • Czas („Jak długo będę próbował znaleźć problem, zanim będzie zbyt ryzykowny?”).

   Ustawione limity można również wykorzystać, aby umożliwić zespołowi rozpoczęcie uporządkowanego zamykania dotkniętego obszaru, więc kiedy WYKORZYSTASZ moc, nie rozbijesz kilku aktywnych maszyn, a czas odzyskiwania będzie znacznie krótszy, ale pamiętaj, że jeśli uporządkowane zamykanie trwa zbyt długo, być może trzeba będzie pozwolić, aby kilka systemów uległo awarii w imię bezpieczeństwa.

5. Zaufaj jelitom
   Jeśli kiedykolwiek martwisz się bezpieczeństwem, wyłącz rozwiązywanie problemów i opróżnij pomieszczenie.
   Możesz opuścić pokój na podstawie przeczucia jelitowego, ale przegrupowanie się na zewnątrz w (względnym) bezpieczeństwie jest rozsądne.

Jeśli nie ma bezpośredniego zagrożenia, możesz wybrać lokalną straż pożarną przed podjęciem jakichkolwiek drastycznych działań, takich jak EPO lub zwolnienie czystego agenta. (Mogą i tak ci powiedzieć: ich zadaniem jest ochrona ludzi, a następnie mienia, ale oczywiście są oni ekspertami w radzeniu sobie z pożarami, więc powinieneś robić to, co mówią!)

Zajęliśmy się tym w komentarzach, ale równie dobrze można to streścić w odpowiedzi - @DeerHunter, @Chris, @Sirex i wiele innych osób włączyło się w dyskusję

Kamera termowizyjna może wykonać pracę i pozwolić Ci zidentyfikować miejsce przegrzania. Takie urządzenie pozwoliłoby ci również zidentyfikować źródło pożaru lub spalania w pomieszczeniu wypełnionym dymem.

Nie czynicie żadnej z tych rzeczy , które zostały powiedziane. Opuszczasz niebezpieczne środowisko, ponieważ wszystko, co jest przepompowywane przez całe pomieszczenie, jest niebezpieczne dla zdrowia i może naprawdę popsuć płuca. Jeśli w pokoju pali się nieprzyjemny zapach czegoś, czego nie możesz znaleźć, zadzwoń pod (911 | 112 | 999 | dowolny numer alarmowy, który pasuje do twojej jurysdykcji) i pozwól, aby pożar (firma | wydział | brygada) go załatwił są na butelkowanym powietrzu.

Części komputerowe zawierają różnego rodzaju interesujące chemikalia, w tym rtęć , kadm , ołów i wiele plastików w obudowach. Zauważ, że wszystkie linki, które podałem, wyjaśniają, w jaki sposób ekspozycje na niskim poziomie mogą powodować trwałe szkody, a nawet szybką śmierć. Jest to środowisko, które może być natychmiast niebezpieczne dla życia i zdrowia .

... więc naprawdę, jeśli coś się pali, nie marnuj godzin na węszenie spalin. Jeśli nie możesz go zidentyfikować i natychmiast podjąć działania, aby go powstrzymać, wynoś się.

Jeśli masz odpowiednie monitorowanie na UPS (zwykle przez SNMP), to samo urządzenie powinno zadzwonić dzwonkami w twoim systemie monitorowania. Jeśli nie, porozmawiaj o tym ze sprzedawcą. Albo działał nieprawidłowo, albo system monitorowania nie został poprawnie skonfigurowany.

Jeśli coś aktywnego się pali, powinno to być na coś narzekać lub po prostu być poza siecią, co powinno również wywołać alarm.

Jeśli jest to coś w rodzaju rzeczywistej szyny zasilającej płonącej przez izolację, a nie ma jej na inteligentnym PDU, to wracamy do twojego pierwotnego pytania, które brzmi: „jak znaleźć płonącą rzecz?”. I myślę, że właściwą odpowiedzią jest: „Hit EPO i wymyśl to. Twoje serwery produkcyjne prawdopodobnie nie są wystarczająco ważne, aby ryzykować życie”.

Jest to jedna z tych sytuacji, w których

nie dotyczy, należy zadzwonić do specjalisty

Wszystko inne jest po prostu głupie.

Jako osoba, której poprzednia kariera była elektroniką, mam doświadczenie z „płonącymi zapachami”, które nie były pożarami. To nie jest rzadkie.

Nie zamknąłem centrum danych z powodu zapachu. Dym to inna sprawa, coś naprawdę się pali (zwykle, ale kondensator tantalu wielkości grochu może również wypełnić pomieszczenie dymem). To niesamowite, ile zapach może wytworzyć smażonego komponentu w zasilaczu.

Termometr TIC lub IR (przydatne narzędzie i znacznie tańszy niż TIC) niekoniecznie pokazałby to, ponieważ element w ogóle nie wytwarza dużo ciepła i znajduje się w obudowie. Ale sprawdź, czy nie działają urządzenia, użyj narzędzi monitorujących. Przy takim zapachu przez 95% czasu będzie to zasilacz wpływający na działanie całego urządzenia.

Lubię obrazowanie w podczerwieni lub odpowiedzi termometru, ale może to, co pomogłoby, to prawdziwy „wykrywacz zapachów”. W końcu to, co wywołało twoją ostrożność, to zapach. Dym, ciepło, IR itp. Są substytutami.

Coś jak ten: . Osobiście nigdy ich nie używałem, ani nawet nie widziałem w centrum danych. Ale przynajmniej teoretycznie powinno to być zgrabne narzędzie. Jeśli masz pieniądze, które możesz wydać na to gadżet, to znaczy.

http://www.sca-shinyei.com/odormeter lub http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

Daje siłę zapachu, a także klasyfikację. Dlatego powinno być możliwe zasiedlenie zapachu. Diabeł oczywiście w szczegółach. Jak wrażliwy jest, maskowanie fałszywego zapachu tła itp.

Jedną z zalet w porównaniu z pomiarami opartymi wyłącznie na temperaturze jest to, że często zapach pojawia się w znacznie wcześniejszym punkcie lub progu. Lub jeśli przegrzany element jest ukryty przez ciało / ukryte okablowanie itp., Łatwiej jest wykryć uciekające cząsteczki niż gorący punkt widzenia.

Inną sytuacją jest zapach niezwiązany z ciepłem. Wcześniej mieliśmy przeciek w obwodzie chłodzącym, a zapachy płynu chłodzącego były również dziwne. Nie będę nawet wchodził w starożytny przypadek martwego gryzonia w przewodach. :)

Byłem zaskoczony, jak czułe są te czujniki. Apparacyjnie H2S / merkaptany itp. (Zwykle sprawcy) są wykrywalne przy poziomach poniżej ppm.