Pytania otagowane jako airflow

9
Właściwy sposób tworzenia dynamicznych przepływów pracy w Airflow
Problem Czy istnieje sposób w Airflow, aby utworzyć przepływ pracy, w którym liczba zadań B. * jest nieznana do zakończenia zadania A? Przyjrzałem się subdagom, ale wygląda na to, że może działać tylko ze statycznym zestawem zadań, które należy określić podczas tworzenia Dag. Czy wyzwalacze sztyletowe zadziałają? A jeśli tak, …
2
Nie można uruchomić przepływu powietrza Apache po nowej instalacji, błąd importu Pythona
po nowej instalacji za pomocą pip install apache-airflow, wszelkie próby uruchomienia przepływu powietrza kończą się błędem importu pytona: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> …
2
Uruchamianie serwera internetowego Airflow kończy się niepowodzeniem z sqlalchemy.exc.NoInspection Niedostępne: Brak dostępnego systemu inspekcji
Instalacja wykonana poprawnie. db poprawnie zainicjowany i próba uruchomienia serwera pokazuje następujący błąd. Przeinstalowałem wszystko, ale nadal nie działa. Docenię, jeśli ktoś mi pomoże. Dane wyjściowe konsoli: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ __ /_ __ \_ …
16 airflow 
1
Program planujący przepływ powietrza nie uruchamia się z executorem kubernetes
Korzystam z https://github.com/helm/charts/tree/master/stable/airflow wykresu steru i buduję puckle/docker-airflowobraz v1.10.8 z zainstalowanymi na nim kubernetes i używam tego obrazu z wykresu sterów, ale ciągle otrzymuję File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line …
1
Wystąpił błąd podczas instalowania przepływu powietrza Apache [zamknięte]
Zamknięte. To pytanie nie jest powtarzalne lub zostało spowodowane literówkami . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 3 miesiące temu . Dostaję się powyżej błędu, gdy próbuję odwrócić przepływ powietrza i zainicjować przepływ powietrza File "/home/ravi/sandbox/bin/airflow", line 26, in …
12 python  airflow 
1
próba utworzenia dynamicznych subdagów z nadrzędnego dag na podstawie tablicy nazw plików
Próbuję przenieść pliki s3 z „nieusuwalnego” segmentu (co oznacza, że ​​nie mogę usunąć plików) do GCS przy użyciu przepływu powietrza. Nie mogę zagwarantować, że nowe pliki będą tam codziennie, ale muszę codziennie sprawdzać, czy są nowe. moim problemem jest dynamiczne tworzenie subdagów. Jeśli istnieją pliki, potrzebuję podrzędnych tagów. Jeśli NIE …
1
Jak uruchomić zadanie przepływu powietrza tylko wtedy, gdy nowa partycja / dane są dostępne w tabeli AWS athena przy użyciu DAG w pythonie?
Mam scenerię jak poniżej: Naciśnij Task 1iTask 2 tylko wtedy, gdy nowe dane są dla nich dostępne w tabeli źródłowej (Athena). Wyzwalacz dla Zadania 1 i Zadania 2 powinien się zdarzyć, gdy nowa parowanie danych nastąpi w ciągu jednego dnia. Wyzwalacz Task 3 tylko po zakończeniu Task 1iTask 2 Uruchom …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.