Zaktualizuj ramkę danych w pandach podczas iteracji rząd po rzędzie

Mam ramkę danych pand, która wygląda tak (jest to dość duża)

           date      exer exp     ifor         mat  
1092  2014-03-17  American   M  528.205  2014-04-19 
1093  2014-03-17  American   M  528.205  2014-04-19 
1094  2014-03-17  American   M  528.205  2014-04-19 
1095  2014-03-17  American   M  528.205  2014-04-19    
1096  2014-03-17  American   M  528.205  2014-05-17 

teraz chciałbym iterować wiersz po wierszu, a gdy przechodzę przez każdy wiersz, wartość ifor w każdym wierszu może się zmieniać w zależności od niektórych warunków i muszę wyszukać inną ramkę danych.

Jak mogę to zaktualizować podczas iteracji? Próbowałem kilku rzeczy, ale żadna z nich nie działała.

for i, row in df.iterrows():
    if <something>:
        row['ifor'] = x
    else:
        row['ifor'] = y

    df.ix[i]['ifor'] = x

Żadne z tych podejść nie działa. Nie widzę wartości zaktualizowanych w ramce danych.

Możesz przypisać wartości w pętli za pomocą df.set_value:

for i, row in df.iterrows():
    ifor_val = something
    if <condition>:
        ifor_val = something_else
    df.set_value(i,'ifor',ifor_val)

Jeśli nie potrzebujesz wartości wierszy, możesz po prostu iterować po indeksach df, ale zachowałem oryginalną pętlę for na wypadek, gdybyś potrzebował wartości wiersza dla czegoś, czego tutaj nie pokazano.

aktualizacja

Funkcja df.set_value () została uznana za przestarzałą od wersji 0.21.0. Zamiast tego można użyć funkcji df.at ():

for i, row in df.iterrows():
    ifor_val = something
    if <condition>:
        ifor_val = something_else
    df.at[i,'ifor'] = ifor_val

Obiekt Pandas DataFrame należy traktować jako serię serii. Innymi słowy, powinieneś pomyśleć o tym w kategoriach kolumn. Powodem, dla którego jest to ważne, jest to, że podczas używania pd.DataFrame.iterrowsiterujesz wiersze jako Serie. Ale nie są to Serie, które przechowuje ramka danych, więc są to nowe Serie, które są tworzone dla ciebie podczas iteracji. Oznacza to, że gdy spróbujesz je przypisać, te zmiany nie zostaną odzwierciedlone w oryginalnej ramce danych.

Ok, teraz to już nie przeszkadza: co robimy?

Sugestie poprzedzające ten post obejmują:

1. pd.DataFrame.set_valuejest przestarzałe od wersji Pandy 0.21
2. pd.DataFrame.ixjest przestarzałe
3. pd.DataFrame.locjest w porządku, ale może działać na indeksatorach tablic i możesz zrobić to lepiej

Moja rekomendacja
Użyjpd.DataFrame.at

for i in df.index:
    if <something>:
        df.at[i, 'ifor'] = x
    else:
        df.at[i, 'ifor'] = y

Możesz nawet zmienić to na:

for i in df.index:
    df.at[i, 'ifor'] = x if <something> else y

Odpowiedź na komentarz

a co jeśli będę musiał użyć wartości z poprzedniego wiersza dla warunku if?

for i in range(1, len(df) + 1):
    j = df.columns.get_loc('ifor')
    if <something>:
        df.iat[i - 1, j] = x
    else:
        df.iat[i - 1, j] = y

Metodą, której można użyć itertuples(), jest iteracja wierszy DataFrame jako nazwanych świątyń, z wartością indeksu jako pierwszym elementem krotki. I jest o wiele szybszy w porównaniu z iterrows(). Na itertuples()każdy rowzawiera jego Indexw DataFrame, i można użyć loc, aby ustawić wartość.

for row in df.itertuples():
    if <something>:
        df.at[row.Index, 'ifor'] = x
    else:
        df.at[row.Index, 'ifor'] = x

    df.loc[row.Index, 'ifor'] = x

W większości przypadków itertuples()jest szybszy niż iatlub at.

Dzięki @SantiStSupery, korzystanie .atjest znacznie szybsze niżloc .

Powinieneś przypisać wartość przez df.ix[i, 'exp']=Xlub df.loc[i, 'exp']=Xzamiast df.ix[i]['ifor'] = x.

W przeciwnym razie pracujesz nad widokiem i powinieneś uzyskać ocieplenie:

-c:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_index,col_indexer] = value instead

Ale z pewnością pętla prawdopodobnie powinna zostać zastąpiona algorytmem wektorowym, aby w pełni wykorzystać, DataFramejak sugeruje @Phillip Cloud.

Cóż, jeśli mimo wszystko zamierzasz iterować, dlaczego nie zastosować najprostszej ze wszystkich metod, df['Column'].values[i]

df['Column'] = ''

for i in range(len(df)):
    df['Column'].values[i] = something/update/new_value

Lub jeśli chcesz porównać nowe wartości ze starymi lub czymś podobnym, dlaczego nie zapisać go na liście, a następnie dołączyć na końcu.

mylist, df['Column'] = [], ''

for <condition>:
    mylist.append(something/update/new_value)

df['Column'] = mylist

for i, row in df.iterrows():
    if <something>:
        df.at[i, 'ifor'] = x
    else:
        df.at[i, 'ifor'] = y

Lepiej jest używać lambdafunkcji za pomocą df.apply()-

df["ifor"] = df.apply(lambda x: {value} if {condition} else x["ifor"], axis=1)

Zwiększ liczbę MAX z kolumny. Na przykład :

df1 = [sort_ID, Column1,Column2]
print(df1)

Moja produkcja:

Sort_ID Column1 Column2
12         a    e
45         b    f
65         c    g
78         d    h

MAX = df1['Sort_ID'].max() #This returns my Max Number 

Teraz muszę utworzyć kolumnę w df2 i wypełnić wartości kolumny, które zwiększają wartość MAX.

Sort_ID Column1 Column2
79      a1       e1
80      b1       f1
81      c1       g1
82      d1       h1

_{Uwaga: df2 początkowo będzie zawierał tylko Kolumnę1 i Kolumnę2. potrzebujemy utworzyć kolumnę Sortid i przyrostową wartość MAX z df1.}