Używam języka Python 3.4 z IPythonem i mam następujący kod. Nie mogę odczytać pliku CSV z podanego adresu URL:

import pandas as pd
import requests

url="https://github.com/cs109/2014_data/blob/master/countries.csv"
s=requests.get(url).content
c=pd.read_csv(s)

Mam następujący błąd

„Oczekiwana nazwa ścieżki do pliku lub obiekt podobny do pliku, pobrano typ”

Jak mogę to naprawić?

Aktualizacja

Z pand 0.19.2możesz teraz bezpośrednio przekazać adres URL .

Tak jak sugeruje błąd, pandas.read_csvjako pierwszy argument potrzebny jest obiekt podobny do pliku.

Jeśli chcesz odczytać plik csv z łańcucha, możesz użyć io.StringIO(Python 3.x) lub StringIO.StringIO(Python 2.x) .

Również w przypadku adresu URL - https://github.com/cs109/2014_data/blob/master/countries.csv - otrzymujesz htmlodpowiedź zwrotną, a nie surowy csv, powinieneś użyć adresu URL podanego w Rawlinku na stronie github dla uzyskiwanie nieprzetworzonej odpowiedzi csv, czyli - https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv

Przykład -

import pandas as pd
import io
import requests
url="https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"
s=requests.get(url).content
c=pd.read_csv(io.StringIO(s.decode('utf-8')))

W najnowszej wersji pandas ( 0.19.2) możesz bezpośrednio podać adres URL

import pandas as pd

url="https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"
c=pd.read_csv(url)

Jak skomentowałem, musisz użyć obiektu StringIO i zdekodować, tj. c=pd.read_csv(io.StringIO(s.decode("utf-8")))Jeśli używasz żądań, musisz zdekodować, ponieważ .content zwraca bajty, jeśli użyłeś .text, po prostu musisz przekazać s tak, jak jest s = requests.get(url).textc = pd.read_csv(StringIO(s)).

Prostszym podejściem jest przekazanie prawidłowego adresu URL surowych danych bezpośrednio do read_csv, nie musisz przekazywać pliku takiego jak obiekt, możesz przekazać adres URL, aby w ogóle nie potrzebować żądań:

c = pd.read_csv("https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv")

print(c)

Wynik:

                              Country         Region
0                             Algeria         AFRICA
1                              Angola         AFRICA
2                               Benin         AFRICA
3                            Botswana         AFRICA
4                             Burkina         AFRICA
5                             Burundi         AFRICA
6                            Cameroon         AFRICA
..................................

Z dokumentów :

filepath_or_buffer :

ciąg lub uchwyt pliku / StringIO Ciąg może być adresem URL. Prawidłowe schematy adresów URL obejmują http, ftp, s3 i file. W przypadku adresów URL plików oczekiwany jest host. Na przykład lokalny plik może mieć postać file: //localhost/path/to/table.csv

Problem polega na tym, że wynik, który otrzymujesz do zmiennej 's', nie jest plikiem csv, ale plikiem html. Aby uzyskać nieprzetworzony plik csv, musisz zmodyfikować adres URL na:

„ https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv ”

Drugim problemem jest to, że read_csv oczekuje nazwy pliku, możemy to rozwiązać za pomocą StringIO z modułu io. Trzeci problem polega na tym, że request.get (url) .content dostarcza strumień bajtów, możemy to rozwiązać za pomocą request.get (url) .text.

Wynik końcowy to ten kod:

from io import StringIO

import pandas as pd
import requests
url='https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv'
s=requests.get(url).text

c=pd.read_csv(StringIO(s))

wynik:

>>> c.head()
    Country  Region
0   Algeria  AFRICA
1    Angola  AFRICA
2     Benin  AFRICA
3  Botswana  AFRICA
4   Burkina  AFRICA

url = "https://github.com/cs109/2014_data/blob/master/countries.csv"
c = pd.read_csv(url, sep = "\t")

Aby zaimportować dane przez adres URL w pandach, po prostu zastosuj prosty poniższy kod, który działa lepiej.

import pandas as pd
train = pd.read_table("https://urlandfile.com/dataset.csv")
train.head()

Jeśli masz problemy z nieprzetworzonymi danymi, po prostu wstaw „r” przed adresem URL

import pandas as pd
train = pd.read_table(r"https://urlandfile.com/dataset.csv")
train.head()