Jak interaktywnie wyświetlać dane dużych szeregów czasowych?

10

Często mam do czynienia z rozsądną ilością danych szeregów czasowych, 50-200 milionów podwójnych z powiązanymi znacznikami czasu i chciałbym je wizualizować dynamicznie.

Czy istnieje oprogramowanie umożliwiające to skutecznie? Co powiesz na biblioteki i formaty danych? Zoom-cache jest jednym z przykładów bibliotek skupiających się na dużych seriach czasowych. W Zoom-cache dane są podsumowane w kilku rozdzielczościach, aby ułatwić przeglądanie w różnych rozdzielczościach.

Edycja: Również jeśli jest gdzieś indziej, powinienem zadać to pytanie lub poszukać odpowiedzi, daj mi znać.

— Davorak
źródło

1

Chociaż nie mam pojęcia, jak będzie się skalować przy tak dużej liczbie punktów danych, możesz rzucić okiem na Cubism.js .

— chl

Przyjrzałem się kubizmowi, który wygląda dobrze na przyrostowe aktualizowanie wykresów z szeregowych strumieni danych, ale po krótkim wyszukiwaniu nie zauważyłem niczego w buforowaniu wielu rozdzielczości lub danych podsumowujących w celu przyspieszenia dużych zestawów danych. Taki wskaźnik wygląda jednak na fajną bibliotekę.

— Davorak,

1

Być może zainteresuje Cię Zoomdata zoomdata.com/product/fast-data-sharpening-visualization Ich ceny są jednak dość wysokie.

— chhantyal

@chhantyal - Dzięki! To wygląda na narzędzie, którego szukałem. Chociaż nie pracuję już z tymi samymi zestawami danych, nadal interesuję się przestrzenią, więc prawdopodobnie kiedyś wypróbuję ślad Zoomdata.

— Davorak

2

Istnieje zestaw narzędzi badawczych o nazwie TimeSearcher 1--3, które dostarczają przykładów radzenia sobie z dużymi zestawami danych szeregów czasowych. Poniżej kilka przykładowych zdjęć z TimeSearcher 2 i 3.

TimeSearcher 2

TimeSearcher 3

— edallme
źródło

2

Przepraszamy za autoportretę, ale Thunderplot (thunderplot.com) byłby dobrym kandydatem do tego. Napisałem to dokładnie do interaktywnego drukowania dużych zbiorów danych. Nie testowałem tego przy użyciu zestawów danych wierszy 200KK, ale działa dobrze z wierszami ~ 10KK. Dostępna jest również funkcja „czytaj co n-ty wiersz”, dzięki czemu można zmniejszyć ilość danych do przechowywania / wizualizacji. Mogę przesłać ci klucz rejestracyjny w zamian do jednego z tych dużych zestawów danych. :-)

zrzut ekranu pioruna

— Vadim Kalinsky
źródło

0

Kolejny post z autopromocją, ponieważ pracuję dla tej firmy, ale SensorCloud (sensorcloud.com) używa inteligentnych algorytmów do szybkiego tworzenia wykresów ogromnych zbiorów danych. Został pierwotnie zaprojektowany z myślą o naszych fizycznych czujnikach, ale ma program do przesyłania plików CSV do obsługi danych z dowolnego przedziału czasu.

Na przykład przesłaliśmy zestaw danych, który zawierał 100 miliardów punktów danych (ponad 1 terabajt znacznika czasu + wartości danych), i możesz go wykreślić i bardzo szybko z nim współdziałać.

Oto publiczny link do tego zestawu danych: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

Powyższy link używa naszej przeglądarki Flash. Jeśli nie chcesz używać Flasha, oto przeglądarka javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Użyj kółka przewijania lub Shift + lewy przycisk myszy, aby powiększyć.

— rwstoneback
źródło