Pytania otagowane jako dataframe

Wydaje się, że proste zadanie dodania wiersza do pandas.DataFrameobiektu jest trudne. Istnieją 3 pytania związane z przepełnieniem stosu, z których żadne nie daje roboczej odpowiedzi. Oto, co próbuję zrobić. Mam DataFrame, której kształt już znam, a także nazwy wierszy i kolumn. >>> df = pandas.DataFrame(columns=['a','b','c','d'], index=['x','y','z']) >>> df a b …

138 python  dataframe  row  pandas 

Zrobiłem ramkę data.frame w R, która nie jest zbyt duża, ale jej zbudowanie zajmuje trochę czasu. Chciałbym zapisać go jako plik, który mogę potem ponownie otworzyć w R?

137 r  dataframe 

Chcę dodać kolumnę DataFramez dowolną wartością (taką samą dla każdego wiersza). Pojawia się błąd, gdy używam withColumnw następujący sposób: dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc in withColumn(self, colName, col) 1166 [Row(age=2, …

137 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Pracuję z dużym plikiem csv, a obok ostatniej kolumny znajduje się ciąg tekstu, który chcę podzielić za pomocą określonego separatora. Zastanawiałem się, czy można to zrobić w prosty sposób za pomocą pand lub Pythona? CustNum CustomerName ItemQty Item Seatblocks ItemExt 32363 McCartney, Paul 3 F04 2:218:10:4,6 60 31316 Lennon, John …

135 python  pandas  dataframe 

Mam prostą ramkę DataFrame, taką jak poniżej: Chcę wybrać wszystkie wartości z kolumny „Pierwszy sezon” i zastąpić te, które są powyżej 1990 r., 1. W tym przykładzie tylko Baltimore Ravens zastąpiłoby rok 1996 wartością 1 (pozostawiając resztę danych w stanie nienaruszonym). Użyłem następujących: df.loc[(df['First Season'] > 1990)] = 1 Ale …

132 python  pandas  dataframe 

Jaki jest najlepszy sposób przypisywania do wielu kolumn przy użyciu data.table? Na przykład: f <- function(x) {c("hi", "hello")} x <- data.table(id = 1:10) Chciałbym zrobić coś takiego (oczywiście ta składnia jest niepoprawna): x[ , (col1, col2) := f(), by = "id"] Aby to rozszerzyć, mogę mieć wiele kolumn z nazwami …

130 r  dataframe  data.table  variable-assignment  colon-equals 

Mam Spark DataFrame (przy użyciu PySpark 1.5.1) i chciałbym dodać nową kolumnę. Próbowałem następujących bez powodzenia: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col = sqlContext.createDataFrame(new_col) my_df_spark.withColumn("hours", spark_new_col["new_col"]) Wystąpił również błąd podczas używania tego: my_df_spark.withColumn("hours", sc.parallelize(randomed_hours)) Jak więc dodać nową kolumnę …

130 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Szukam skutecznego sposobu na usunięcie niechcianych części z ciągów w kolumnie DataFrame. Dane wyglądają następująco: time result 1 09:00 +52A 2 10:00 +62B 3 11:00 +44a 4 12:00 +30b 5 13:00 -110a Muszę przyciąć te dane do: time result 1 09:00 52 2 10:00 62 3 11:00 44 4 12:00 …

129 python  string  pandas  dataframe 

Biorąc pod uwagę dwie ramki danych ai b: > a a b c 1 -0.2246894 -1.48167912 -1.65099363 2 0.5559320 -0.87898575 -0.15634590 3 1.8469466 -0.01487524 -0.53098215 4 -0.6875051 0.23880967 0.01824621 5 -0.6735163 0.75485292 0.44154092 > b a c 1 0.4287284 -0.3295925 2 0.5201492 0.3341251 3 -2.6355570 1.7916780 4 -1.3645337 1.3642276 5 …

129 r  dataframe  concatenation 

W R, jak dodać nowy wiersz do ramki danych, gdy ramka danych została już zainicjowana? Jak dotąd mam to: df <- data.frame("hi", "bye") names(df) <- c("hello", "goodbye") #I am trying to add "hola" and "ciao" as a new row de <- data.frame("hola", "ciao") merge(df, de) # Adds to the same …

129 r  dataframe 

Czy istnieje wbudowany sposób pandy do zastosowania dwóch różnych funkcji agregujących f1, f2do tej samej kolumny df["returns"]bez konieczności agg()wielokrotnego wywoływania ? Przykładowa ramka danych: import pandas as pd import datetime as dt pd.np.random.seed(0) df = pd.DataFrame({ "date" : [dt.date(2012, x, 1) for x in range(1, 11)], "returns" : 0.05 * …

129 python  pandas  dataframe  aggregate  pandas-groupby 

Moje dane mogą mieć wiele wydarzeń w określonym dniu lub ŻADNYCH wydarzeń w danym dniu. Biorę te wydarzenia, liczę według daty i wykreślam je. Jednak kiedy je wykreślam, moje dwie serie nie zawsze pasują. idx = pd.date_range(df['simpleDate'].min(), df['simpleDate'].max()) s = df.groupby(['simpleDate']).size() W powyższym kodzie idx staje się zakresem powiedzmy 30 …

129 python  date  plot  pandas  dataframe 

Mam listę ramek danych Pandas, które chciałbym połączyć w jedną ramkę danych Pandas. Używam Pythona 2.7.10 i Pandas 0.16.2 Utworzyłem listę ramek danych z: import pandas as pd dfs = [] sqlall = "select * from mytable" for chunk in pd.read_sql_query(sqlall , cnxn, chunksize=10000): dfs.append(chunk) Zwraca listę ramek danych type(dfs[0]) …

129 python  pandas  dataframe  concat 

Zacząłem używać Spark SQL i DataFrames w Spark 1.4.0. Chcę zdefiniować niestandardowy partycjoner w DataFrames w Scali, ale nie widzę, jak to zrobić. Jedna z tabel danych, z którymi pracuję, zawiera listę transakcji według konta, jak w poniższym przykładzie. Account Date Type Amount 1001 2014-04-01 Purchase 100.00 1001 2014-04-01 Purchase …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Mam ramkę danych, która składa się z setek kolumn i muszę zobaczyć wszystkie nazwy kolumn. Co ja zrobiłem: In[37]: data_all2.columns Wynik to: Out[37]: Index(['customer_id', 'incoming', 'outgoing', 'awan', 'bank', 'family', 'food', 'government', 'internet', 'isipulsa', ... 'overdue_3months_feature78', 'overdue_3months_feature79', 'overdue_3months_feature80', 'overdue_3months_feature81', 'overdue_3months_feature82', 'overdue_3months_feature83', 'overdue_3months_feature84', 'overdue_3months_feature85', 'overdue_3months_feature86', 'loan_overdue_3months_total_y'], dtype='object', length=102) Jak wyświetlić wszystkie kolumny …

128 python  pandas  dataframe  show