Jak sprawdzić, czy Spark Dataframe jest pusty?

W tej chwili muszę użyć, df.count > 0aby sprawdzić, czy DataFramejest pusty, czy nie. Ale jest to trochę nieefektywne. Czy jest lepszy sposób, aby to zrobić?

Dzięki.

PS: Chcę sprawdzić, czy jest pusty, aby zapisać tylko DataFramewtedy, gdy nie jest pusty

W przypadku Spark 2.1.0 moja sugestia byłaby taka, aby użyć head(n: Int)lub take(n: Int)z isEmpty, w zależności od tego, który ma dla ciebie najwyraźniejszy zamiar.

df.head(1).isEmpty
df.take(1).isEmpty

z odpowiednikiem w Pythonie:

len(df.head(1)) == 0  # or bool(df.head(1))
len(df.take(1)) == 0  # or bool(df.take(1))

Użycie df.first()i df.head()zwróci, java.util.NoSuchElementExceptionjeśli DataFrame jest pusta. first()dzwoni head()bezpośrednio, co woła head(1).head.

def first(): T = head()
def head(): T = head(1).head

head(1)zwraca Array, więc przyjęcie headtego Array powoduje java.util.NoSuchElementException, że DataFrame jest pusta.

def head(n: Int): Array[T] = withAction("head", limit(n).queryExecution)(collectFromPlan)

Więc zamiast wywoływać head(), użyj head(1)bezpośrednio, aby uzyskać tablicę, a następnie możesz użyć isEmpty.

take(n)jest również równoważne z head(n)...

def take(n: Int): Array[T] = head(n)

I limit(1).collect()jest równoważne head(1)(zauważ limit(n).queryExecutionw head(n: Int)metodzie), więc wszystkie poniższe są równoważne, przynajmniej z tego, co mogę powiedzieć, i nie będziesz musiał łapać java.util.NoSuchElementExceptionwyjątku, gdy DataFrame jest pusta.

df.head(1).isEmpty
df.take(1).isEmpty
df.limit(1).collect().isEmpty

Wiem, że jest to starsze pytanie, więc mam nadzieję, że pomoże to komuś korzystającemu z nowszej wersji Sparka.

Powiedziałbym, żeby po prostu złapać podstawę RDD. W Scali:

df.rdd.isEmpty

w Pythonie:

df.rdd.isEmpty()

Biorąc to pod uwagę, wszystko, co to robi, to wezwanie take(1).length, więc zrobi to samo, co odpowiedział Rohan ... tylko może trochę bardziej jednoznacznie?

Możesz skorzystać z funkcji head()(lub first()), aby sprawdzić, czy DataFramema jeden wiersz. Jeśli tak, to nie jest pusty.

Jeśli tak df.count > 0. Bierze zliczenia wszystkich partycji we wszystkich wykonawcach i dodaje je do sterownika. Trwa to chwilę, gdy masz do czynienia z milionami wierszy.

Najlepszym sposobem, aby to zrobić, jest wykonanie df.take(1)i sprawdzenie, czy jego wartość jest zerowa. To wróci, java.util.NoSuchElementExceptionwięc lepiej spróbować df.take(1).

Dataframe zwraca błąd po zakończeniu take(1)zamiast pustego wiersza. Podkreśliłem konkretne wiersze kodu, w których zgłasza błąd.

Od Spark 2.4.0 jest Dataset.isEmpty.

Jego implementacja to:

def isEmpty: Boolean = 
  withAction("isEmpty", limit(1).groupBy().count().queryExecution) { plan =>
    plan.executeCollect().head.getLong(0) == 0
}

Zauważ, że a DataFramenie jest już klasą w Scali, to tylko alias typu (prawdopodobnie zmieniony w Spark 2.0):

type DataFrame = Dataset[Row]

W przypadku użytkowników języka Java możesz użyć tego w zestawie danych:

public boolean isDatasetEmpty(Dataset<Row> ds) {
        boolean isEmpty;
        try {
            isEmpty = ((Row[]) ds.head(1)).length == 0;
        } catch (Exception e) {
            return true;
        }
        return isEmpty;
}

To sprawdź wszystkie możliwe scenariusze (puste, null).

W Scali możesz użyć implicits, aby dodać metody isEmpty()i nonEmpty()do API DataFrame, co sprawi, że kod będzie nieco przyjemniejszy do czytania.

object DataFrameExtensions {
  implicit def extendedDataFrame(dataFrame: DataFrame): ExtendedDataFrame = 
    new ExtendedDataFrame(dataFrame: DataFrame)

  class ExtendedDataFrame(dataFrame: DataFrame) {
    def isEmpty(): Boolean = dataFrame.head(1).isEmpty // Any implementation can be used
    def nonEmpty(): Boolean = !isEmpty
  }
}

Tutaj można również dodać inne metody. Aby użyć niejawnej konwersji, użyj import DataFrameExtensions._w pliku, którego chcesz użyć rozszerzonej funkcjonalności. Następnie metody można zastosować bezpośrednio, tak jak:

val df: DataFrame = ...
if (df.isEmpty) {
  // Do something
}

Miałem to samo pytanie i przetestowałem 3 główne rozwiązania:

1. df! = null df.count> 0
2. df.head (1) .isEmpty () zgodnie z sugestią @ hulin003
3. df.rdd.isEmpty zgodnie z sugestią @Justin Pihony

i oczywiście te 3 prace, jednak pod względem wydajności, oto co znalazłem podczas wykonywania tych metod na tym samym DF w mojej maszynie, pod względem czasu wykonania:

1. zajmuje to ~ 9366 ms
2. zajmuje to ~ 5607 ms
3. trwa ~ 1921 ms
   

dlatego uważam, że najlepszym rozwiązaniem jest df.rdd.isEmpty, jak sugeruje @Justin Pihony

Zauważyłem, że w niektórych przypadkach:

>>>print(type(df))
<class 'pyspark.sql.dataframe.DataFrame'>

>>>df.take(1).isEmpty
'list' object has no attribute 'isEmpty'

to samo dotyczy „length” lub zamień take () na head ()

[Rozwiązanie] dla problemu, którego możemy użyć.

>>>df.limit(2).count() > 1
False

Jeśli korzystasz z Pypsark, możesz również:

len(df.head(1)) > 0

Na PySpark, można również użyć tego bool(df.head(1))do uzyskania Trueod Falsewartości

Zwraca, Falsejeśli dataframe nie zawiera wierszy

df1.take(1).length>0

takeSposób powraca tablicę rzędach, tak, że rozmiar tablicy jest równa zero, nie ma rekordy df.

dataframe.limit(1).count > 0

To również uruchamia pracę, ale ponieważ wybieramy pojedynczy rekord, nawet w przypadku miliardowych rekordów w skali zużycie czasu może być znacznie niższe.

Od: https://medium.com/checking-emptiness-in-distributed-objects/count-vs-isempty-surprised-to-see-the-impact-fa70c0246ee0

Możesz to zrobić tak:

val df = sqlContext.emptyDataFrame
if( df.eq(sqlContext.emptyDataFrame) )
    println("empty df ")
else 
    println("normal df")