Jak zweryfikować bardzo niskie poziomy błędów

Mam do czynienia z próbą wykazania poprzez testowanie wyjątkowo niskiego poziomu błędu czujnika (nie więcej niż 1 błąd na 1 000 000 prób). Mamy ograniczony czas na przeprowadzenie eksperymentu, więc spodziewamy się, że nie będziemy w stanie uzyskać więcej niż około 4000 prób. Nie widzę problemu z pokazaniem, że czujnik nie spełnia wymagań, ponieważ nawet jeden błąd przy 4000 prób da 95% przedział ufności dla wskaźnika błędu z dolną granicą większą niż 0,000001. Problemem jest jednak wykazanie, że spełnia to wymaganie, ponieważ nawet 0 błędów w 4000 prób wciąż skutkuje dolną granicą większą niż 0,000001. Wszelkie sugestie będą mile widziane.

Jest to powszechny problem, szczególnie w przypadku nowoczesnych komponentów lub systemów, które mogą wykazywać wskaźniki awarii tak niskie jak $10^{-9}$. Aby temu zaradzić, musisz przyjąć założenia, stworzyć modele i / lub uwzględnić inne formy danych.

Lee Cadwallader z INL pisze :

Jeśli nie ma danych dotyczących doświadczenia operacyjnego dla komponentu, takiego jak komponent w fazie projektowania, analityk ma kilka opcji:

• Dekompozycja - dekonstrukcja komponentu na jego części składowe, a następnie przypisanie do części wskaźników awaryjności podręcznika. Jeśli analityk ma pewność co do dokładności danych części, technika ta jest uciążliwa, ale użyteczna; jeśli dane na częściach nie są dokładne, należy zastosować inne techniki.

• Ocena analityka - może wymagać odwrotnego oszacowania na podstawie wymogu dostępności systemu lub po prostu oceny technicznej ogólnych wskaźników awaryjności dla tej klasy komponentów.

• Opinia eksperta - uzyskiwanie jakościowych opinii od ekspertów merytorycznych i łączenie ich w celu opracowania wskaźnika awaryjności rzędu wielkości.

• Techniki specyficzne dla komponentu - na przykład metoda Thomas do orurowania.

Rozkład jest często stosowany w przypadku części elektronicznych, o czym świadczą podręczniki wskaźników awaryjności komponentów .

Inne źródła sugerują, że dane branżowe lub doświadczenie można wykorzystać do informowania lub zamiast testowania danych.

Inne techniki omówione na Weibull.com obejmują

Aby ocenić czas zużycia elementu, mogą być wymagane testy długoterminowe. W niektórych przypadkach cykl pracy 100% (jazda oponami w symulatorze zużycia dróg przez 24 godziny na dobę) może zapewnić przydatne testy trwałości w miesiącach. W innych przypadkach faktyczne użycie produktu może trwać 24 godziny na dobę i nie ma możliwości przyspieszenia cyklu pracy. Konieczne może być zastosowanie wysokich naprężeń fizycznych w celu skrócenia czasu testu. Jest to pojawiająca się technika oceny niezawodności zwana QALT (Quantitative Accelerated Life Testing), która wymaga uwzględnienia fizyki i inżynierii testowanych materiałów.

Uwaga: wydaje się, że istnieje ścisła analogia między tym problemem a szacowaniem innych rzadkich zdarzeń, takich jak uderzenia asteroid i katastrofalne awarie w systemie finansowym - „czarne łabędzie” Taleba. . Te ostatnie stawki były notorycznie niedoszacowane.

Nie ma sposobu, aby udowodnić poziom błędu <1/1 000 000 tylko przy 4000 prób. Musisz w jakiś sposób wybrać błędy (równoległe przeprowadzanie większej liczby prób i obserwowanie tylko przypadków, które powodują błąd) lub zastosować pewien rodzaj stresu, który zwiększyłby szansę na błąd, a następnie ekstrapolację warunków skrajnych na warunki normalne.

Tak zresztą zrobiliby genetycy ...

Ogólnie rzecz biorąc, nie możesz. Byłbym bardzo ostrożny wobec technik, które twierdzą, że są w stanie udowodnić$1/10^6$ podany tylko poziom błędu $4000$testy. Często tego rodzaju techniki wiążą się z założeniem niezależności, czego nie można rzetelnie potwierdzić: to tylko skok wiary. Tego rodzaju błędne rozumowanie doprowadziło do poważnych awarii w świecie systemów krytycznych dla bezpieczeństwa.

Mogą istnieć pewne szczególne przypadki, w których można wykazać pożądany poziom niezawodności za pomocą tak ograniczonej liczby testów, np. Biorąc pod uwagę coś z fizyki sytuacji. Ale są rzadkie, a tego rodzaju rozumowanie jest kruche.