Śledzenie wyjątków i błędów w produkcyjnych urządzeniach IoT?

W jaki sposób obecnie firmy śledzą błędy na urządzeniach IoT, bramach i platformach? Moja firma używa papertrail do agregowania logów ze wszystkich urządzeń, jednak często pozostawia nas to poszukiwanie różnych systemów, gdy wystąpi błąd w produkcji.

Szukam sposobu na zmniejszenie naszego „czasu do przyczyny” podczas rozwiązywania wyjątków, które mogły zostać wygenerowane w jednym miejscu (np. Na platformie IoT), ale powstały w wyniku problemu w innym miejscu stos - np. błąd danych z urządzenia brzegowego.

Pod względem tego, co znalazłem w tej przestrzeni, Sentry i Rollbar są dobre do śledzenia wyjątków na serwerach lub aplikacjach, ale nie zapewniają sposobu śledzenia błędów kaskadowych, jak omówiono w poprzednim akapicie.

Czy istnieją systemy pozwalające to zrobić lepiej niż rejestrowanie tekstu? W szczególności chcę wykorzystać zdarzenia w stylu breadcrumb, które otrzymujesz od Sentry, ale ze śledzeniem w rozproszonym systemie.

Rozproszone śledzenie

Idea każdego cennego śledzenia rozproszonego jest najbardziej znana, opisana w białej księdze Google na temat ich rozwiązania Dapper . Zauważ, że nie mówię, że to wymyślili. Zasadniczo działa to samo dla IoT, po prostu rozpocznij śledzenie na krawędzi, w jednym z backendów lub nawet na urządzeniach końcowych.

Chociaż oficjalny dokument Google jest mniej lub bardziej skoncentrowany na systemach po stronie serwera, koncepcja może być łatwo dostosowana do urządzeń końcowych. Magię używania identyfikatorów śledzenia i identyfikatora zakresu do śledzenia wszystkich informacji w systemach można zobaczyć w każdej wizualizacji wykonanej przez Netflix za pośrednictwem Vizceral, którą niedawno udostępniono. To, co na blogu jest wizualizowane w widoku regionalnym, jest całkowicie oparte na analizach dziennika na żywo, w których połączenia są skorelowane za pomocą identyfikatorów śledzenia. Zauważ, że - jak Google wspomina w artykule Dappera - Netflix ma próbkę połączeń wzorcujących się na ich API. Google wspomniał w gazecie 1: 1000 - która ma kilka lat. Najwyraźniej Netflix osiągnął już 1: 1 milion w przypadku niektórych typów swoich żądań.

Nie wiem o twoim systemie, ale bardzo prawdopodobne, że możesz zacząć od rzeczywistego śledzenia w 100%.

Tak czy inaczej, o ile można dopasować ślad od początku do urządzeń IoT lub nawet utworzyć identyfikatory śledzenia w punktach końcowych, nic nie stoi na przeszkodzie, aby dostosować te pomysły w sposób obejmujący urządzenia brzegowe.