Do odczytu pliku CSV używam języka Python (Django Framework). Jak widzisz, wyciągam tylko 2 linie z tego pliku CSV. To, co próbowałem zrobić, to przechowywać w zmiennej całkowitą liczbę wierszy również w pliku CSV.

Jak mogę uzyskać całkowitą liczbę wierszy?

file = object.myfilePath
fileObject = csv.reader(file)
for i in range(2):
    data.append(fileObject.next()) 

Próbowałem:

len(fileObject)
fileObject.length

Musisz policzyć liczbę wierszy:

row_count = sum(1 for row in fileObject)  # fileObject is your csv.reader

Użycie sum()z wyrażeniem generatora zapewnia efektywny licznik, unikając przechowywania całego pliku w pamięci.

Jeśli na początku przeczytałeś już 2 wiersze, musisz dodać te 2 wiersze do sumy; wiersze, które zostały już odczytane, nie są liczone.

2018-10-29 EDYCJA

Dziękuję za komentarze.

Przetestowałem kilka rodzajów kodu, aby uzyskać liczbę wierszy w pliku csv pod względem szybkości. Najlepsza metoda jest poniżej.

with open(filename) as f:
    sum(1 for line in f)

Oto testowany kod.

import timeit
import csv
import pandas as pd

filename = './sample_submission.csv'

def talktime(filename, funcname, func):
    print(f"# {funcname}")
    t = timeit.timeit(f'{funcname}("{filename}")', setup=f'from __main__ import {funcname}', number = 100) / 100
    print('Elapsed time : ', t)
    print('n = ', func(filename))
    print('\n')

def sum1forline(filename):
    with open(filename) as f:
        return sum(1 for line in f)
talktime(filename, 'sum1forline', sum1forline)

def lenopenreadlines(filename):
    with open(filename) as f:
        return len(f.readlines())
talktime(filename, 'lenopenreadlines', lenopenreadlines)

def lenpd(filename):
    return len(pd.read_csv(filename)) + 1
talktime(filename, 'lenpd', lenpd)

def csvreaderfor(filename):
    cnt = 0
    with open(filename) as f:
        cr = csv.reader(f)
        for row in cr:
            cnt += 1
    return cnt
talktime(filename, 'csvreaderfor', csvreaderfor)

def openenum(filename):
    cnt = 0
    with open(filename) as f:
        for i, line in enumerate(f,1):
            cnt += 1
    return cnt
talktime(filename, 'openenum', openenum)

Wynik był poniżej.

# sum1forline
Elapsed time :  0.6327946722068599
n =  2528244


# lenopenreadlines
Elapsed time :  0.655304473598555
n =  2528244


# lenpd
Elapsed time :  0.7561274056295324
n =  2528244


# csvreaderfor
Elapsed time :  1.5571560935772661
n =  2528244


# openenum
Elapsed time :  0.773000013928679
n =  2528244

Podsumowując, sum(1 for line in f)jest najszybszy. Ale może nie być znaczącej różnicy w stosunku do len(f.readlines()).

sample_submission.csv ma 30,2 MB i 31 milionów znaków.

Aby to zrobić, potrzebujesz trochę kodu, takiego jak mój przykład tutaj:

file = open("Task1.csv")
numline = len(file.readlines())
print (numline)

Mam nadzieję, że to pomoże wszystkim.

Kilka z powyższych sugestii liczy liczbę LINII w pliku csv. Ale niektóre pliki CSV będą zawierać cytowane ciągi, które same zawierają znaki nowej linii. Pliki MS CSV zwykle oddzielają rekordy znakiem \ r \ n, ale używają samego \ n w obrębie cudzysłowów.

W przypadku takiego pliku zliczanie wierszy tekstu (rozdzielonych znakiem nowej linii) w pliku da zbyt duży wynik. Aby uzyskać dokładne zliczanie, musisz użyć csv.reader do odczytania rekordów.

Najpierw musisz otworzyć plik za pomocą open

input_file = open("nameOfFile.csv","r+")

Następnie użyj csv.reader, aby otworzyć plik csv

reader_file = csv.reader(input_file)

Na koniec możesz wziąć numer wiersza z instrukcją „len”

value = len(list(reader_file))

Całkowity kod jest następujący:

input_file = open("nameOfFile.csv","r+")
reader_file = csv.reader(input_file)
value = len(list(reader_file))

Pamiętaj, że jeśli chcesz ponownie użyć pliku csv, musisz utworzyć plik input_file.fseek (0), ponieważ gdy używasz listy dla reader_file, czyta cały plik, a wskaźnik w pliku zmienia swoją pozycję

row_count = sum(1 for line in open(filename)) pracował dla mnie.

Uwaga: sum(1 for line in csv.reader(filename))wydaje się, że oblicza długość pierwszej linii

numline = len(file_read.readlines())

kiedy tworzysz instancję obiektu csv.reader i wykonujesz iterację całego pliku, możesz uzyskać dostęp do zmiennej instancji o nazwie line_num, podając liczbę wierszy:

import csv
with open('csv_path_file') as f:
    csv_reader = csv.reader(f)
    for row in csv_reader:
        pass
    print(csv_reader.line_num)

import csv
count = 0
with open('filename.csv', 'rb') as count_file:
    csv_reader = csv.reader(count_file)
    for row in csv_reader:
        count += 1

print count

Użyj „listy”, aby dopasować bardziej działający obiekt.

Możesz wtedy liczyć, przeskakiwać, mutować do woli:

list(fileObject) #list values

len(list(fileObject)) # get length of file lines

list(fileObject)[10:] # skip first 10 lines

Działa to dla csv i wszystkich plików zawierających ciągi znaków w systemach operacyjnych opartych na Uniksie:

import os

numOfLines = int(os.popen('wc -l < file.csv').read()[:-1])

W przypadku, gdy plik csv zawiera wiersz pól, możesz odjąć jeden z numOfLinespowyższych:

numOfLines = numOfLines - 1

Możesz także użyć klasycznej pętli for:

import pandas as pd
df = pd.read_csv('your_file.csv')

count = 0
for i in df['a_column']:
    count = count + 1

print(count)

może chcieć wypróbować coś tak prostego, jak poniżej w wierszu poleceń:

sed -n '$=' filename lub wc -l filename

Myślę, że możemy trochę poprawić najlepszą odpowiedź, używam:

len = sum(1 for _ in reader)

Co więcej, nie powinniśmy zapominać, że kod Pythona nie zawsze ma najlepszą wydajność w projekcie. Na przykład: Jeśli możemy wykonać więcej operacji w tym samym czasie w tym samym zbiorze danych, lepiej zrobić wszystko w tym samym jądrze, zamiast tego zrobić dwie lub więcej pythonowych kostek.

import pandas as pd
data = pd.read_csv('data.csv') 
totalInstances=len(data)

próbować

data = pd.read_csv("data.csv")
data.shape

a na wyjściu można zobaczyć coś takiego jak (aa, bb), gdzie aa to liczba wierszy