Pytania otagowane jako directed-acyclic-graphs

1
próba utworzenia dynamicznych subdagów z nadrzędnego dag na podstawie tablicy nazw plików
Próbuję przenieść pliki s3 z „nieusuwalnego” segmentu (co oznacza, że ​​nie mogę usunąć plików) do GCS przy użyciu przepływu powietrza. Nie mogę zagwarantować, że nowe pliki będą tam codziennie, ale muszę codziennie sprawdzać, czy są nowe. moim problemem jest dynamiczne tworzenie subdagów. Jeśli istnieją pliki, potrzebuję podrzędnych tagów. Jeśli NIE …
1
Jak uruchomić zadanie przepływu powietrza tylko wtedy, gdy nowa partycja / dane są dostępne w tabeli AWS athena przy użyciu DAG w pythonie?
Mam scenerię jak poniżej: Naciśnij Task 1iTask 2 tylko wtedy, gdy nowe dane są dla nich dostępne w tabeli źródłowej (Athena). Wyzwalacz dla Zadania 1 i Zadania 2 powinien się zdarzyć, gdy nowa parowanie danych nastąpi w ciągu jednego dnia. Wyzwalacz Task 3 tylko po zakończeniu Task 1iTask 2 Uruchom …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.