Ok, więc myślę, że tego rodzaju nieformalne zapytanie / ankieta na temat tego, jak duży zestaw danych używasz w swoich światach ESRI ...
Buduję i utrzymuję zestaw danych w całym stanie, w którym muszę przetwarzać dane na poziomie poszczególnych domów, a nie poziom paczki, ale wiele adresów pocztowych na paczkę dla naszych systemów. W wielu miejscach używam adresów teoretycznych obliczonych z sieci ulicznej lub danych USPS AMS / AIS. Tak więc moja lista adresów ma około 13,5 miliona adresów i rośnie miesięcznie lub kwartalnie.
Czy ktoś obecnie utrzymuje żywy system informacji o adresie / wyszukiwaniu, który jest tak duży w ciągłym zbiorze danych?
Bardzo chciałbym współpracować lub mówić więcej o tym, jak inni obsługują tak duży zestaw danych. Widzę problemy, gdy oprogramowanie ESRI wydaje się wysadzać, gdy próbuję wykonywać zadania, takie jak przecięcia lub łączenia przestrzenne. ESRI mówi, że nie widzą tego rodzaju problemów, ale miałem takie problemy od czasu powrotu do 9.3.1, więc nie mogę być pierwszą / jedyną osobą, która to robi, ponieważ mogę odtworzyć je na wielu komputerach.
Moja platforma to teraz ESRI ArcGIS 10 na pulpicie, rozmawiający z ArcSDE 9.3.1-sp1 na backendie SQL2008 za pomocą obiektu przestrzennego GEOMETRIA. Więc nie robię nic naprawdę egzotycznego; ale nadal wydaje mi się, że w niektórych obszarach może przesuwam kopertę.
[Dalej]
Interesuje mnie to, co robią inni ludzie, aby zoptymalizować tam procesy radzenia sobie z tymi zestawami danych. Zamierzam dodawać słowa miliona rekordów miesięcznie w przyszłości, a chociaż Geokodowanie itp. Nie stanowi problemu, gdy zaczynasz uruchamiać inne procesy i łączyć dane w celu dalszej analizy, zaczynasz radzić sobie ze złożonymi złączeniami. Cóż, wyprowadzasz dane z przecięć / nakładek / tożsamości za pomocą Only_FID i dostajesz cienką środkową tabelę do przyłączenia; ale kiedy zaczynasz próbować dzielić i podbijać tworzenie tej tabeli, zaczynasz napotykać problemy, w których musisz podzielić dane źródłowe na obszary robocze, ale potem powtarzasz IDS, którego nie możesz scalić; więc pozostały Ci mniejsze bloki danych, których nie możesz łatwo z powrotem połączyć.
Zastanawiając się nad opcjami dzielącymi dane do skali według hrabstwa, a następnie używając widoków przestrzennych, aby połączyć je z powrotem itp. Ciekawe, czy inni użytkownicy patrzą na takie same problemy na tak dużą skalę, ale na małą skalę ślady stóp.