Oprogramowanie potrzebne do zeskrobywania danych z wykresu [zamknięte]

Czy ktoś ma jakieś doświadczenie z oprogramowaniem (najlepiej darmowym, najlepiej open source), które zrobi zdjęcie danych wykreślonych na współrzędnych kartezjańskich (standardowy, codzienny wykres) i wyodrębni współrzędne punktów wykreślonych na wykresie?

Zasadniczo jest to problem eksploracji danych i problem odwrotnej wizualizacji danych.

Sprawdź digitalizacją pakiet dla R . Został zaprojektowany w celu rozwiązania dokładnie tego rodzaju problemu.

oprogramowanie do digitalizacji grafów

Istnieje wiele różnych opcji, ale w zasadzie wszystkie używają tego samego przepływu pracy:

1. prześlij zdjęcie
2. ustaw skalę xiy, wskazując wartości w dwóch punktach na każdej osi
3. wskazać, czy skala jest liniowa, log itp.,
4. kliknij punkty.
   • Niektóre programy automatycznie rozpoznają linie lub punkty. Zwykle szukam punktów i uważam je za zbyt niespójne, aby były pomocne nawet przy setkach punktów. Nie znalazłem takiego, który rozpoznaje różne symbole. Ta funkcja może być warta kłopotów z digitalizacją linii, ale nigdy nie musiałem tego robić.

Program zwraca każdy punkt jako macierz xy.

Często pomaga wybrać punkty, jeśli obraz jest powiększony, przesyłając powiększoną wersję obrazu lub używając funkcji powiększania dostępnej w niektórych programach.

Istnieje wiele programów, które różnią się dodatkowymi funkcjami, użytecznością, licencjonowaniem i kosztami. Wymieniłem je poniżej.

Wszystkie te, z których korzystałem, działają dobrze. Z wyjątkiem kontekstów, w których błąd pomiaru jest bardzo mały, błąd zgarniania wykresu jest nieznaczny (np. Błąd digitalizacji << wielkość słupków błędów lub niepewność w oszacowaniu). Jeśli nie przetestowałem dokładności żadnego z tych programów, ale warto byłoby porównać użytkowników, programy i wyniki odtworzonych analiz statystycznych.

Programy, z których korzystałem:

• Digitizer (darmowe oprogramowanie, GPL) automatyczne rozpoznawanie punktu / linii. Dostępne w repozytorium Ubuntu (engifier-digitizer)
• Pobierz dane (shareware) ma okno powiększenia, automatyczne rozpoznawanie punktu / linii
• DigitizeIt (shareware) automatyczne rozpoznawanie punktu / linii
• ImageJ (open source, najbardziej rozszerzalny po digitalizacji R)
• R digitalizacja (darmowa, open source), ponieważ upraszcza procesy pobierania danych z wykresu do analizy, zachowując wszystkie kroki w R. Zobacz samouczek w R-Journal
• Chwyć to! (bezpłatne demo, 69 USD) Wtyczka Excel
• WebPlotDigitzer (bezpłatny, online). Przeglądarka wyodrębnia dane z obrazów. Recenzja tutaj .

Programy, z których nie korzystałem:

• GraphClick (Mac, 8 USD)
• g3data (open source - GNU GPL) Ma okno powiększenia, brak automatycznego rozpoznawania. Dostępne w repozytorium Ubuntu.
• Wtyczka GRABIT OpenSource (BSD) działająca na zastrzeżonej platformie Matlab

TL; DR: WebPlotDigitizer jest dostępny jako aplikacja internetowa oraz jako wtyczka chrome

Inni odpowiadający zakładają, że masz do czynienia z obrazem rastrowym wykresu. Ale obecnie dobrą praktyką jest publikowanie wykresów w postaci wektorowej. W takim przypadku możesz osiągnąć znacznie wyższą dokładność odzyskanych danych, a nawet oszacować błąd odzyskiwania, jeśli pracujesz bezpośrednio z kodem wykresu wektorowego, bez konwersji go na obraz rastrowy.

Ponieważ artykuły są publikowane online jako pliki PDF, zakładam, że masz plik PDF, który zawiera wykres wektorowy z danymi, które chcesz odzyskać (uzyskać w formie liczbowej) i oszacować wprowadzony błąd odzyskiwania.

Przede wszystkim PDF to format wektorowy, który jest zasadniczo tekstowy (może być odczytany przez edytor tekstu). Problem polega na tym, że może (i prawie zawsze) zawierać skompresowane strumienie danych, które wymagają dekompresji w celu odczytania ich przez edytor tekstu. Te skompresowane strumienie danych zwykle zawierają potrzebne informacje.

Istnieje kilka sposobów dekompresji strumieni danych w celu konwersji pliku PDF na dokument tekstowy z czytelnym kodem PDF. Prawdopodobnie najprostszym sposobem jest użycie darmowego narzędzia QPDF z --stream-data=uncompressopcją :

qpdf infile.pdf --stream-data=uncompress -- outfile.pdf

Niektóre inne sposoby opisano tutaj i tutaj .

Wygenerowany plik outfile.pdf można otworzyć za pomocą edytora tekstu. Teraz potrzebujesz PDF Reference Manual 1.7, aby zrozumieć, co widzisz. Nie panikuj w tej chwili! Musisz znać tylko kilku operatorów opisanych w „TABELI 4.9 Operatory budowy ścieżki” na stronach 226–227. Najważniejszymi operatorami są (pierwsza kolumna zawiera specyfikację współrzędnych dla operatora, druga zawiera operator, a trzecia to nazwa operatora ):

x y               m   moveto 

x y               l   lineto 

x y width height  re  rectangle

                  h   closepath

W większości przypadków wystarczy znać tych czterech operatorów do odzyskiwania danych.

Teraz musisz zaimportować plik outfile.pdf jako tekst do jakiegoś programu, w którym możesz manipulować danymi. Pokażę, jak to zrobić z Mathematica .

Importowanie pliku:

pdfCode = Import["outfile.pdf", "Text"];

Teraz zakładam najprostszy przypadek: wykres zawiera linię, która składa się z wielu dwupunktowych segmentów. W takim przypadku każdy segment linii jest kodowany w następujący sposób:

268.79999 408.92975 m
272.39999 408.92975 l

Wyodrębnianie wszystkich takich segmentów z kodu PDF:

lines = StringCases[pdfCode, 
   StartOfLine ~~ x1 : NumberString ~~ " " ~~ y1 : NumberString ~~ " m\n" ~~ 
                  x2 : NumberString ~~ " " ~~ y2 : NumberString ~~ " l\n" 
                                        :> ToExpression@{{x1, y1}, {x2, y2}}]; 

Wizualizacja ich:

Graphics[{Line[lines]}]

Otrzymujesz coś takiego (praca, z którą pracuję zawiera cztery wykresy):

Każde dwa sąsiednie segmenty mają jeden punkt. W tym przypadku możesz przekształcić sekwencje sąsiednich segmentów w ścieżki:

paths = Split[lines, #1[[2]] == #2[[1]] &];

Teraz możesz wizualizować wszystkie ścieżki osobno:

Graphics[{Line /@ paths}]

Na tej figurze możesz wybrać (klikając dwukrotnie) szukaną ścieżkę, skopiować zaznaczenie grafiki i wkleić jako nową Graphics. Aby przekonwertować go do tyłu na listę punktów, weź element {1, 1, 1}. Teraz mamy punkty nie w układzie współrzędnych wykresu, ale w układzie współrzędnych pliku PDF. Musimy ustalić relacje między nimi.

Z powyższego wykresu wybierasz ręcznie kleszcze (przytrzymując Shiftdla wielokrotnego wyboru), a następnie kopiujesz je i wklej jako nowe Graphics. Oto, w jaki sposób można wyodrębnić współrzędne poziomych kleszczy:

Teraz sprawdź różnice między kleszczami:

Differences[reHorTicks]

Na podstawie tych różnic można zobaczyć, jak dokładne jest umieszczanie znaczników w pliku PDF. Daje oszacowanie błędu wprowadzonego przez konwersję oryginalnych punktów danych na wykres wektorowy zawarty w pliku PDF. Jeśli występują znaczące błędy w pozycjonowaniu kleszczy, możesz zmniejszyć błąd, dopasowując współrzędne kleszczy do modelu liniowego. Tej funkcji liniowej można teraz użyć do uzyskania oryginalnych współrzędnych punktów ścieżki (czyli w układzie współrzędnych wykresu).

Nie korzystałem z niego, ale laboratorium UWA CogSci poleca DataThief (shareware).

Sprawdź narzędzie. Jest darmowy i open source http://digitizer.sourceforge.net/

Un-Scan-It http://www.silkscientific.com/graph-digitizer.htm

Spróbuj scanit: http://amsterchem.com/scanit.html

Jest bezpłatny, działa w systemie Windows

Możesz także spróbować im2graph ( http://www.im2graph.co.il ), aby przekonwertować wykresy na dane. Działa w systemie Linux i Windows.

„g3data” to oprogramowanie, które może służyć do realizacji Twoich celów. To darmowe oprogramowanie, z którego korzystałem. Możesz go pobrać tutaj: http://www.frantz.fi/software/g3data.php

Musiałem to robić tyle razy w swojej karierze, że ostatecznie opracowałem program javascript, który jest dostępny tutaj:

http://kdusling.github.io/projects/DataGrab/index.html

Przepraszamy, ale nadal będziesz musiał kliknąć każdy punkt. Możesz jednak użyć klawiszy strzałek, co pozwala zaoszczędzić trochę nadgarstka.

STIPlotDigitizer został niedawno wydany.

http://stiwww.com/product/software-techniques-plot-digitizer

Dla Rużytkowników pakiet grImport(w CRAN ) może importować grafikę wektorową i konwertować je na obiekty, które R może interpretować. Zakłada się, że można konwertować PDF (lub inny interesujący format wektorowy) na format PostScript. Można to zrobić na przykład za pomocą Inkscape : import ( File > Import) strony PDF z rysunkiem do Inkspace i File > Save As > Save as type: > PostScript *.ps. Gdy *.psplik pojawi się w grImportwiniecie Importowanie grafiki wektorowej , bardziej odpowiedni jest rozdział „4.1. Skrobanie danych z obrazów ”.

Będziesz potrzebował ghostscript na swoim systemie operacyjnym - spróbuj go pobrać stąd .

Uwaga, jeśli uruchomić jakoś w błąd ghostscript „status 127” podczas rozmowy grImport::PostScriptTrace, a następnie daniele zalecenie od tutaj , które mówi, aby ręcznie ustawić ścieżkę do Ghostscript na komputerze.

Oto przykładowy kod R do importowania pliku PostScript do R:

install.packages("grImport")
require(grImport)
# if you get the ghostscript error 'status 127' then set the path to ghostscript, e.g.:
Sys.setenv(R_GSCMD = normalizePath("C:/Program Files/gs/gs9.22/bin/gswin64c.exe")) 
PostScriptTrace(file = "graph.ps", outfilename = "graph.ps.xml")
my_fig <- readPicture(rgmlFile = "graph.ps.xml")
grid.picture(my_fig)

Uwaga: jeśli wykres znajduje się na stronie w wielostronicowym pliku PDF, możesz podzielić dokument wielostronicowy za pomocą PDFTK builder. Zaimportuj jednostronicowy plik PDF w Ikscape i usuń wszelkie dodatkowe elementy (dodatkowy tekst, dodatkowe elementy wykresu). Ułatwi to pracę w R, gdy będziesz próbował złapać współrzędne interesujących cię elementów wykresu.