Geoserver z wiadrem Amazon s3

Mam Apache z uruchomioną Geoserver na mojej wirtualnej instancji i zastanawiam się, czy katalog danych Geoserver może wskazywać na segment Amazon S3. czy to możliwe? Jak to wpływa na wydajność?

Jeśli S3 jest kiepską konfiguracją katalogu danych Geoserver, czy są jakieś sugestie dotyczące dodawania dużych ilości danych do mojego katalogu danych Geoserver? Katalog danych może sięgać nawet 100 GB, być może nawet więcej. Czy powinienem po prostu dostać serwer z dużym dyskiem twardym, czy połączyć się z bardziej skalowalnym rozwiązaniem, takim jak wiadro Amazon S3?

geoserver amazon-s3

— modulitos
źródło

Jakie są dane? Sądzę, że zdjęcia, ale kafelki? Może jakaś baza danych wygranych rastrowych :-)

— BradHards

Jeśli dane są rastrowe i będą odczytywane i przetwarzane dla interaktywnego WMS, S3 może być bardzo powolny. Wskazówki z poprzednich doświadczeń, możesz spojrzeć na glusterfs + EBS.

— simogeo

Interesuje mnie wykorzystanie S3 jako współdzielonego zasobnika danych dla elastycznie skalowalnej floty GeoServers. Obecnie badam użycie S3Fuse do zamontowania systemu plików w tym celu. Byłoby wspaniale usłyszeć o innych sukcesach / porażkach w tej dziedzinie.

— 8bitjunkie

Jakieś doświadczenia w tym temacie?

— geogeek

Odpowiedzi:

Wskazanie „bezpośrednio” do segmentu S3 (np. Przy użyciu s3fs) jest „prawdopodobnie” złym pomysłem. np. /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS jest prawie na pewno właściwym miejscem do przechowywania danych w celu uzyskania dostępu przez GeoServer.

100 GB jest bardzo łatwe do zarządzania według standardów EBS. (Maksymalny rozmiar woluminu to 16 terabajtów!)

Mogę zasugerować, aby zapisać oryginalne dane w S3, a następnie replikować je w razie potrzeby za pomocą narzędzi interfejsu AWS CLI do synchronizacji zawartości folderu S3 z lokalną instancją za pomocą jednego polecenia. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 jest prawdopodobnie redundantny, ale uważam, że zapewnia elastyczność i wygodę.

Uwaga dodatkowa: Jeśli mimo wszystko planujesz używać dużych instancji wielordzeniowych ORAZ wiesz, że wolumen danych prawdopodobnie nie wzrośnie nieoczekiwanie ORAZ jesteś w stanie automatycznie budować swoje instancje, możesz rozważyć użycie magazynu instancji („magazyn efemeryczny” ), ponieważ Twoje oryginalne dane będą bezpieczne w S3, możesz zaoszczędzić na opłatach EBS, a przechowywanie instancji może być nieco szybsze niż EBS w niektórych przypadkach.

— python1981
źródło

To wyczerpująca odpowiedź. Bezgraniczni mają tutaj trochę informacji: boundlessgeo.com/2013/04/…

— Alex Leith

Czego używasz do uruchamiania poleceń AWS z pyQGIS? Processing.call? boto3 nie działa. Działa w powłoce Osgeo z python2, ale nie 3 ...

— Leo

Czy jest to możliwe: Można to łatwo osiągnąć dla danych, które są dostosowane do formatu GeoTIFF za pomocą modułu Geoserver s3 for Geotiff Community - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

Jak to wpływa na wydajność? Trudno jest na to odpowiedzieć, jednak znalazłem wydajność mniej więcej równoważną pamięci EBS / EFS za ułamek ceny.

— nstillwell
źródło