Konwertuj czas uniksowy na czytelną datę w ramce danych pandy

110

Mam ramkę danych z czasami i cenami uniksowymi. Chcę przekonwertować kolumnę indeksu, aby była wyświetlana w postaci czytelnej dla człowieka.

Na przykład mam datejak 1349633705w kolumnie indeksu, ale chciałbym, aby był wyświetlany jako 10/07/2012(lub przynajmniej 10/07/2012 18:15).

Dla niektórych kontekstów, oto kod, z którym pracuję i to, co już próbowałem:

import json
import urllib2
from datetime import datetime
response = urllib2.urlopen('http://blockchain.info/charts/market-price?&format=json')
data = json.load(response)   
df = DataFrame(data['values'])
df.columns = ["date","price"]
#convert dates 
df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))
df.index = df.date

Jak widać, używam df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))tutaj, co nie działa, ponieważ pracuję z liczbami całkowitymi, a nie łańcuchami. Myślę, że muszę użyć, datetime.date.fromtimestampale nie jestem do końca pewien, jak zastosować to do całości df.date.

Dzięki.

— WA Carnegie
źródło

221

Wydają się być sekundami od epoki.

In [20]: df = DataFrame(data['values'])

In [21]: df.columns = ["date","price"]

In [22]: df
Out[22]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 358 entries, 0 to 357
Data columns (total 2 columns):
date     358  non-null values
price    358  non-null values
dtypes: float64(1), int64(1)

In [23]: df.head()
Out[23]: 
         date  price
0  1349720105  12.08
1  1349806505  12.35
2  1349892905  12.15
3  1349979305  12.19
4  1350065705  12.15
In [25]: df['date'] = pd.to_datetime(df['date'],unit='s')

In [26]: df.head()
Out[26]: 
                 date  price
0 2012-10-08 18:15:05  12.08
1 2012-10-09 18:15:05  12.35
2 2012-10-10 18:15:05  12.15
3 2012-10-11 18:15:05  12.19
4 2012-10-12 18:15:05  12.15

In [27]: df.dtypes
Out[27]: 
date     datetime64[ns]
price           float64
dtype: object

— Jeff
źródło

1

aw wersji 0.13 będziesz mógł używać date_unit, kiedy read_json: D

— Andy Hayden

Wspaniały! Twoje rozwiązanie ma sens. Pandy: Konwersja na znaczniki czasu przebiega całkiem nieźle, również teraz wiem o to_datetime.

— WA Carnegie

Jeszcze inny punkt. To nie zadziałało w 0.11, ale dobrze w 0.12+

— WA Carnegie

1

To rozwiązanie daje mi OverflowError: Python int too large to convert to C long.

— jeśli __name__ to None,

2

Nieważne, miał milisekundowy znacznik czasu, po prostu musiałem lambda x: x/1000.0lub unit='ms'.

— jeśli __name__ to None,

48

Jeśli spróbujesz użyć:

df[DATE_FIELD]=(pd.to_datetime(df[DATE_FIELD],***unit='s'***))

i otrzymam błąd:

"pandas.tslib.OutOfBoundsDatetime: nie można konwertować danych wejściowych na jednostki 's'"

Oznacza to, że DATE_FIELDnie jest określony w sekundach.

W moim przypadku były to miliony sekund - EPOCH time.

Konwersja działała przy użyciu poniższych:

df[DATE_FIELD]=(pd.to_datetime(df[DATE_FIELD],unit='ms'))

— Sandesh
źródło

16

Zakładając, że zaimportowaliśmy pandas as pdi dfjest naszą ramką danych

pd.to_datetime(df['date'], unit='s')

pracuje dla mnie.

— fahim reza
źródło

0

Alternatywnie, zmieniając wiersz powyższego kodu:

# df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))
df.date = df.date.apply(lambda d: datetime.datetime.fromtimestamp(int(d)).strftime('%Y-%m-%d'))

Powinien też działać.

— ipramusinto
źródło