Dlaczego Intersect podaje ERROR 999999: Błąd podczas wykonywania funkcji Nieprawidłowa topologia [Zbyt wiele punktów końcowych lineseg]?

Usiłuję uruchomić proces przecięcia w arcgis 10 sp 3 z 2 zestawami plików (proporcje i nachylenie) od DEM do 1 m na obszarze 65 000 km2. Aspekt ma 9 930 384 rekordy, a nachylenie ma 31 435 462 rekordy (łącznie około 12 GB w 2 geo-bazach plików).

Uruchomiłem geometrię napraw około 3 razy, a teraz zestawy danych nie zgłaszają żadnych błędów (za każdym razem trwały ponad 30 godzin).

Teraz rozumiem

Wykonanie (przecięcie): Przecięcie "D: \ SCRATCH \ Projects \ 106 \ data \ 7_asp_Merge.gdb \ asp_HghstRez_M_rep #" D: \ SCRATCH \ Projects \ 106 \ data \ working \ working.gdb \ AsSl_Int ALL # INPUT Czas rozpoczęcia: niedz 23 października 02:19:10 2011 Funkcje czytania ...

Przetwarzanie kafelków ...

BŁĄD 999999: Błąd wykonywania funkcji.

Nieprawidłowa topologia [Zbyt wiele punktów końcowych linii.]

Nie udało się wykonać (przecięcie).

Failed at Sun 23 października 04:09:12 2011 (Upłynęło czas: 1 godzin 50 minut 2 sekund)

Czy to naprawdę problem z topologią, czy problem z rozmiarem pliku?

Próbowałem użyć narzędzia ArcINFO SPLIT, ale nie działa nawet przy ponad 1 TB wolnego miejsca na dysku, a przy mniejszym zestawie plików powoduje postrzępione krawędzie. Nie mogę użyć DICE, ponieważ obszary przecięcia bolenia i stoku muszą być dokładnie takie same. Rozumiem, że w dużych zestawach danych ESRI pęka (automatycznie kafelkuje) zestawy danych - czy może to powodować problemy? Czy mogę podać więcej informacji na temat rozwiązania problemu?

Specyfikacja maszyn jest większa niż minimum ESRI - mamy 16 GB pamięci RAM, Intel Xeon, Windows 7, 64-bitowe, 2 dyski o pojemności 1 TB i więcej niż 1,2 TB na dyskach. Wszystkie pliki użyte w tym procesie znajdują się na dyskach lokalnych.

właśnie znalazłem to wyjaśnienie (2 lipca 2012 r.), które zawiera wiele pomocnych wskazówek dotyczących rozwiązywania problemów.

http://blogs.esri.com/esri/arcgis/2010/07/23/dicing-godzillas-features-with-too-many-vertices/

— GeorgeC
źródło

Limit rozmiaru pliku dla systemu operacyjnego Windows wynosi 2 GB. (3 GB z / 3 GB na XP). Wypróbuj narzędzie SPILLED w ArcGIS z dużymi zestawami danych „Tiling” resources.esri.com/help/9.3/arcgisdesktop/com/gp_toolref/…

— Mapperz

Ważna informacja z linku wysłanego przez Mapperza: „

— RyanKDalton

Czy masz rastry o nachyleniu i proporcjach? Jeśli tak, czy masz analityka przestrzennego?

— Kirk Kuykendall

@Mapperz, to zależy od systemu plików. FAT jest ograniczony do 2 GB, FAT32 ma 4 GB, a NTFS jest nieograniczony zgodnie z: microsoft.com/resources/documentation/windows/xp/all/proddocs/…

— blah238 24.10.11

Do obliczeń rastrowych, George, możesz albo przeskalować ponownie do wspólnego rozmiaru komórki (np. 1m) lub przetworzyć różne łatki osobno. Warto się nad tym zastanowić, ponieważ nachylenie lub aspekt obliczony przy rozdzielczości 30m nie jest dokładnie porównywalny z nachyleniem obliczonym przy rozdzielczości 1m. Trudno udzielać ogólnych porad w przypadku braku informacji o celu tego obliczenia.

— whuber

Odpowiedzi:

Bardzo niewiele sąsiadujących komórek w szczegółowym DEM będzie miało identyczne wartości zarówno nachylenia, jak i aspektu. Dlatego jeśli cechy wejściowe reprezentują przylegające obszary wspólnego nachylenia i wspólnego aspektu, powinniśmy oczekiwać, że wynik tej procedury przecięcia będzie miał średnio prawie jedną cechę na komórkę.

Pierwotnie w DEM było 65 000 * 1000 ^ 2 = 6,5 komórek E10. Reprezentacja każdego z nich wymaga co najmniej czterech uporządkowanych par 4-bajtowej liczby całkowitej lub 8-bajtowej pływającej współrzędnej lub 32-64 bajtów. Jest to wymóg 1,3 E12 - 2,6 E12 bajta (1,3 - 2,5 TB). Nie zaczęliśmy nawet uwzględniać narzutu pliku (funkcja jest przechowywana jako coś więcej niż tylko jej współrzędne), indeksów lub wartości atrybutów, które same mogą potrzebować 0,6 TB (jeśli są przechowywane z podwójną precyzją) lub więcej (jeśli są przechowywane jako tekst) oraz miejsce na identyfikatory. O tak - ArcGIS lubi przechowywać dwie kopie każdego skrzyżowania, podwajając w ten sposób wszystko. Może być potrzebne 7-8 TB tylko do przechowywania danych wyjściowych.

Nawet jeśli potrzebowałeś potrzebnej pamięci, (a) możesz użyć dwa razy więcej (lub więcej), jeśli ArcGIS buforuje pliki pośrednie i (b) wątpliwe jest, aby operacja zakończyła się w dowolnym rozsądnym czasie.

Rozwiązaniem jest wykonywanie operacji siatki przy użyciu struktur danych siatki, a nie struktur danych wektorowych. Jeśli absolutnie potrzebne jest wyjście wektorowe, wykonaj wektoryzację po zakończeniu wszystkich operacji siatki.

— Whuber
źródło

Przyjęty ze smutkiem. Zamiast łączyć zestawy danych 30m, 10m i 1m, zamiast tego uruchamiam przecięcia / ocenianie asp + slp + veg dla każdego zestawu danych osobno, a następnie łącząc je.

— GeorgeC

Zastosowanie strategii podziału przestrzennego pozwoliło nam na ukończenie projektu. Zestaw danych, którego przetworzenie zajęło 7 godzin (i czasem się zawiesił), przetworzony w około 100 minut po podzieleniu na 6 części, a następnie scalenie go zajęło 10 minut. Do tego dodaj około 40 minut, aby zmodyfikować modele w celu wydajnego przetwarzania wielu części przy minimalnym nakładzie (dla każdej iteracji) i zasadniczo jest to oszczędność o połowę krótszego czasu przetwarzania (przynajmniej). Tak więc proces, który w przeciwnym razie

— zająłby prawie 200

Moje doświadczenie z użyciem podzielonego narzędzia i naprawy geomtry. Działa dla mnie, ponieważ ten, nad którym pracowałem, używał warstwy wektorowej, którą wykonałem konwersję z rastra na wektor. Najpierw próbowałem podzielić narzędzie i podałem błąd. Musiałem więc użyć geomety naprawczej i to zależy od tego, jak długo będzie działać. Zrobiłem to dwa razy, ponieważ za każdym razem, gdy wprowadzasz jakieś zmiany lub edytujesz, nadal musisz ponownie uruchomić naprawę geomtry przed dokonaniem podziału. zadziałało dla mnie.

Nawiasem mówiąc, wykonałem naprawę geomtry na obu warstwach: plik kształtów i geobaza plików. Sugeruję, abyś przeprowadził naprawę geomtry na noc.

— PROBERT
źródło

Jeszcze jedna rzecz, o której zapomniałem. Czy mogę zasugerować, czy za każdym razem, gdy robisz coś takiego, polecam spróbować otworzyć nową ArcMap i uruchomić te narzędzia? Aby wyczyścić pliki tymczasowe, które już otworzyłeś, zamknąłeś i otwórz ArcMap. Czyści temp. To jest mój jeden cent sugeruje.

— PROBERT

Dzięki. Wykonałem naprawę geom 3-4 razy, a teraz zestawy danych nie zgłaszają żadnych błędów. Zwykle to działa, ale myślę, że zestawy danych są po prostu zbyt duże, jak na wyjaśnienie

— Whubera

George, cieszę się, że to działa dla ciebie. Tak, czytałem wyjaśnienie Whubera, ale moje pytanie do ciebie łączyło nachylenie i aspekt? Jeśli tak, to kiedy użyjesz narzędzia podziału, jakiej warstwy obiektów użyłeś do podzielenia tych warstw, z którymi się scaliłeś? Na przykład musiałem użyć 24 quadów (około 24 z nich, które nie są tak duże), aby rozdzielić warstwę scaloną mojego nachylenia i elewacji. Może mógłbyś zawęzić się do mniejszej warstwy, którą można podzielić ze scaloną warstwą?

— PROBERT,

Połączyłem nachylenie i aspekt i zadziałało, ale nie był to właściwy proces ... musieliśmy się przecinać i to nie działa. Do podziału dostałem kopię krajowej 100-krotnej mapy topo i użyłem jej osobno na boleniu i zboczu. Strefa jest objęta 30 arkuszami map.

— GeorgeC

Czy uruchomiłeś siatkę map topo 100 tys., Aby oczyścić geomtry? Ponieważ zapytałem, mój wykrył pewne błędy i musiałem wykonać czystą naprawę. Więc zadziałało na moim. Jeśli nadal masz więcej problemów, czy możesz spróbować podzielić krajowe 100 000 na mniejsze? Jak podzielić je na trzy?

— PROBERT