Chciałbym odczytać kilka plików csv z katalogu do pand i połączyć je w jedną dużą ramkę danych. Nie byłem jednak w stanie tego rozgryźć. Oto co mam do tej pory:

import glob
import pandas as pd

# get data file names
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename))

# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)

Chyba potrzebuję pomocy w pętli for ???

Jeśli masz te same kolumny we wszystkich swoich csvplikach, możesz wypróbować poniższy kod. Dodałem header=0, aby po przeczytaniu csvpierwszego wiersza można było przypisać nazwy kolumn.

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

Alternatywa dla odpowiedzi darindaCoder :

path = r'C:\DRO\DCL_rawdata_files'                     # use your path
all_files = glob.glob(os.path.join(path, "*.csv"))     # advisable to use os.path.join as this makes concatenation OS independent

df_from_each_file = (pd.read_csv(f) for f in all_files)
concatenated_df   = pd.concat(df_from_each_file, ignore_index=True)
# doesn't create a list, nor does it append to one

import glob, os    
df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('', "my_files*.csv"))))

Biblioteka Dask może odczytać ramkę danych z wielu plików:

>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')

(Źródło: http://dask.pydata.org/en/latest/examples/dataframe-csv.html )

Ramki danych Dask implementują podzbiór interfejsu API ramki danych Pandas. Jeśli wszystkie dane mieszczą się w pamięci, możesz wywołaćdf.compute() konwersję ramki danych w ramkę danych Pandas.

Prawie wszystkie odpowiedzi tutaj są albo niepotrzebnie złożone (dopasowanie wzorca globalnego), albo polegają na dodatkowych bibliotekach stron trzecich. Możesz to zrobić w 2 liniach, używając wszystkiego, co Pandas i python (wszystkie wersje) już mają.

Dla kilku plików - 1 wkładka:

df = pd.concat(map(pd.read_csv, ['data/d1.csv', 'data/d2.csv','data/d3.csv']))

W przypadku wielu plików:

from os import listdir

filepaths = [f for f in listdir("./data") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths))

Ta linia pand, która ustawia df, wykorzystuje 3 rzeczy:

1. Mapa Pythona (funkcja, iterowalna) wysyła do funkcji ( pd.read_csv() iterowalnej) (nasza lista), która jest każdym elementem csv w ścieżkach plików).
2. Panda's read_csv () odczytuje normalnie każdy plik CSV.
3. Concat () Pandy umieszcza je pod jedną zmienną df.

Edycja: przeszedłem do Google na https://stackoverflow.com/a/21232849/186078 . Jednak ostatnio uważam, że szybsze jest wykonywanie jakichkolwiek operacji przy użyciu numpy, a następnie przypisywanie go raz do ramki danych zamiast manipulowania samą ramką danych w sposób iteracyjny i wydaje się, że działa również w tym rozwiązaniu.

Szczerze chcę, aby ktokolwiek odwiedzający tę stronę rozważał to podejście, ale nie chcę dołączać tego ogromnego fragmentu kodu jako komentarza i uczynić go mniej czytelnym.

Możesz użyć numpy, aby naprawdę przyspieszyć konkatenację ramki danych.

import os
import glob
import pandas as pd
import numpy as np

path = "my_dir_full_path"
allFiles = glob.glob(os.path.join(path,"*.csv"))


np_array_list = []
for file_ in allFiles:
    df = pd.read_csv(file_,index_col=None, header=0)
    np_array_list.append(df.as_matrix())

comb_np_array = np.vstack(np_array_list)
big_frame = pd.DataFrame(comb_np_array)

big_frame.columns = ["col1","col2"....]

Statystyki czasu:

total files :192
avg lines per file :8492
--approach 1 without numpy -- 8.248656988143921 seconds ---
total records old :1630571
--approach 2 with numpy -- 2.289292573928833 seconds ---

Jeśli chcesz wyszukiwać rekurencyjnie ( Python 3.5 lub nowszy ), możesz wykonać następujące czynności:

from glob import iglob
import pandas as pd

path = r'C:\user\your\path\**\*.csv'

all_rec = iglob(path, recursive=True)     
dataframes = (pd.read_csv(f) for f in all_rec)
big_dataframe = pd.concat(dataframes, ignore_index=True)

Zauważ, że trzy ostatnie linie mogą być wyrażone w jednym pojedynczym wierszu :

df = pd.concat((pd.read_csv(f) for f in iglob(path, recursive=True)), ignore_index=True)

Dokumentację można znaleźć ** tutaj . Ponadto użyłem iglobzamiast glob, ponieważ zwraca iterator zamiast listy.

EDYCJA: Wieloplatformowa funkcja rekurencyjna:

Możesz zawinąć powyższe w funkcję wieloplatformową (Linux, Windows, Mac), dzięki czemu możesz:

df = read_df_rec('C:\user\your\path', *.csv)

Oto funkcja:

from glob import iglob
from os.path import join
import pandas as pd

def read_df_rec(path, fn_regex=r'*.csv'):
    return pd.concat((pd.read_csv(f) for f in iglob(
        join(path, '**', fn_regex), recursive=True)), ignore_index=True)

Łatwo i szybko

Zaimportuj dwa lub więcej csvbez konieczności tworzenia listy nazwisk.

import glob

df = pd.concat(map(pd.read_csv, glob.glob('data/*.csv')))

używasz jednego linera map, ale jeśli chcesz podać dodatkowe argumenty, możesz:

import pandas as pd
import glob
import functools

df = pd.concat(map(functools.partial(pd.read_csv, sep='|', compression=None), 
                    glob.glob("data/*.csv")))

Uwaga: mapsamo w sobie nie pozwala na dostarczenie dodatkowych argumentów.

Jeśli wiele plików csv jest skompresowanych, możesz użyć pliku zip do odczytu wszystkich i połączenia w następujący sposób:

import zipfile
import numpy as np
import pandas as pd

ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')

train=[]

for f in range(0,len(ziptrain.namelist())):
    if (f == 0):
        train = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
    else:
        my_df = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
        train = (pd.DataFrame(np.concatenate((train,my_df),axis=0), 
                          columns=list(my_df.columns.values)))

Kolejny on-lineer ze zrozumieniem listy, który pozwala na użycie argumentów z read_csv.

df = pd.concat([pd.read_csv(f'dir/{f}') for f in os.listdir('dir') if f.endswith('.csv')])

Na podstawie dobrej odpowiedzi @ Sid.

Przed konkatenacją możesz załadować pliki csv do słownika pośredniego, który daje dostęp do każdego zestawu danych na podstawie nazwy pliku (w formularzu dict_of_df['filename.csv']). Taki słownik może pomóc zidentyfikować problemy z heterogenicznymi formatami danych, gdy na przykład nazwy kolumn nie są wyrównane.

Zaimportuj moduły i zlokalizuj ścieżki plików:

import os
import glob
import pandas
from collections import OrderedDict
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

Uwaga: OrderedDictnie jest konieczne, ale zachowa kolejność plików, które mogą być przydatne do analizy.

Załaduj pliki csv do słownika. Następnie połącz:

dict_of_df = OrderedDict((f, pandas.read_csv(f)) for f in filenames)
pandas.concat(dict_of_df, sort=True)

Klucze to nazwy plików, fa wartości to zawartość ramki danych plików csv. Zamiast używać fjako klucza słownika, możesz także użyć os.path.basename(f)lub innych metod os.path , aby zmniejszyć rozmiar klucza w słowniku tylko do odpowiedniej, mniejszej części.

Alternatywne użycie pathlibbiblioteki (często preferowane os.path).

Ta metoda pozwala uniknąć iteracyjnego używania pand concat()/ apped().

Z dokumentacji pand:
Warto zauważyć, że concat () (a zatem append ()) tworzy pełną kopię danych, a ciągłe ponowne użycie tej funkcji może spowodować znaczny spadek wydajności. Jeśli chcesz użyć operacji na kilku zestawach danych, skorzystaj ze zrozumienia listy.

import pandas as pd
from pathlib import Path

dir = Path("../relevant_directory")

df = (pd.read_csv(f) for f in dir.glob("*.csv"))
df = pd.concat(df)

W ten sposób możesz zrobić, używając Colab na Dysku Google

import pandas as pd
import glob

path = r'/content/drive/My Drive/data/actual/comments_only' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True,sort=True)
frame.to_csv('/content/drive/onefile.csv')

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
file_path_list = glob.glob(path + "/*.csv")

file_iter = iter(file_path_list)

list_df_csv = []
list_df_csv.append(pd.read_csv(next(file_iter)))

for file in file_iter:
    lsit_df_csv.append(pd.read_csv(file, header=0))
df = pd.concat(lsit_df_csv, ignore_index=True)