Jaki jest najszybszy sposób na eksport tabeli do pliku tekstowego

Będę miał bazę danych SQL Server 2012 i tabelę z 3 milionami wierszy i może 50 kolumnami. Jaki będzie najszybszy sposób dla bezobsługowego procesu .net w tle (być może wydaje polecenie SQL lub Powershell) w celu wyeksportowania go do pliku tekstowego, jeden wiersz dla każdego wiersza danych? Proces .net powinien wiedzieć, kiedy eksport został zakończony lub czy wystąpił błąd. Typem danych będzie cały intlub nvarchar.

Zakładam, że czysty kod C # przy użyciu select *polecenia ado.net do wykonania polecenia i zapętlania się w centrum danych i zapisywania do pliku dla każdego rekordu będzie powolny i nie ma możliwości, żebym mógł to zrównoleglić.

Najlepiej byłoby, gdyby eksport był do zdalnego udostępnionego folderu sieciowego, a nie lokalnego folderu na komputerze z programem SQL Server. SQL Server będzie klastrem HA. Czy SSIS lepiej nadaje się do tego, czy nie jest wymagana transformacja danych?

Proces .Net działałby na komputerze A, SQL Server na komputerze B, a docelowym miejscem docelowym plików był udział sieciowy. Jedną z opcji jest SQL Server zapisuje plik bezpośrednio do udziału sieciowego. Inną opcją jest zapis programu SQL Server na komputerze A, a następnie podczas zapisywania pliku proces .net kopiuje go do udziału sieciowego. Nie mam formalnej umowy SLA, ale oczekuję 30 minut - 1 godzina na zapis pliku.

Pętlowanie wszystkich tych artykułów jest opcją, jeśli chcesz się zestarzeć oglądając, jak się wykonuje.

Niektóre różne opcje, które powinieneś wypróbować:

• narzędzie bcp (wspomniano wyżej, też, że jest to narzędzie linii poleceń do importu i eksportu danych do / z SQL Server);
• Instrukcja BULK INSERT - cukier języka T-SQL do pracy z importem danych ze skryptów;
• Klasa SqlBulkCopy z .NET - jeśli chcesz pracować z poziomu aplikacji. Ładny przykład można zobaczyć tutaj: Wpływ Linchi Shea na wydajność: najbardziej optymalny skrypt wstawiania nie może pokonać pakietu zbiorczego .

Możesz wypróbować wszystkie te opcje podczas zapętlania w innej sesji, dla zabawy :-).

Chciałbym po prostu użyć Kreatora importu eksportu. Na koniec masz opcję zapisania zadania, które możesz następnie zaplanować za pomocą SQL Server Agent. Dodaj siebie jako operatora i skonfiguruj DB Mail na serwerze, który może wysłać Ci wiadomość e-mail, gdy zadanie zakończy się lub zakończy się niepowodzeniem.

Poważnie, po co wymyślać koło ponownie?

http://msdn.microsoft.com/en-us/library/ms140052.aspx

Inni stwierdzili, że bcp powinien być najszybszym sposobem, ale nie widzę żadnej przewagi nad rozwiązaniem CLR. W przypadku wstawek do tabel bazy danych różne implementacje kopiowania zbiorczego zawsze wygrywają. Wynika to przede wszystkim ze sposobu, w jaki minimalizują rejestrowanie i umożliwiają wielowątkowe zapisy. Nie masz tych ograniczeń podczas zapisywania do płaskiego pliku.

W mojej pracy używamy CLR, aby zrzucić dane wyjściowe zapytania do pliku. Mamy również włączenie Ionic.Zip.dll tak, że plik może być automatycznie spakowane po stworzeniu.

Oto przykład, który operacja twierdzi, że jest dwa razy szybszy niż bcp na obiektach blob: /programming/10325338/fastest-way-to-export-blobs-from-table-into-indidual-files

Możesz utworzyć prosty pakiet SSIS:

Oto ogólny poziom:

1. Utwórz połączenie OLEDB z bazą danych w menedżerze połączeń
2. Przeciągnij transformację przepływu danych do przepływu sterowania, a następnie kliknij go, aby przejść do przepływu danych.
3. Przeciągnij źródło OLEDB z przybornika do przepływu danych i edytuj je, aby łączyło się z wybraną tabelą za pomocą połączenia utworzonego w kroku 1
4. Przeciągnij płaskie miejsce docelowe pliku z przybornika do przepływu danych i podłącz do niego źródło OLEDB.
5. Wybierz „Nowy” w Płaskim miejscu docelowym pliku, a utworzy nowy płaski plik o tej samej strukturze kolumn, i możesz użyć żądanego separatora, a może stałej z plikiem, jeśli chcesz.
6. Uruchom.

Każdy Noob powinien być w stanie to zrozumieć. Osoba z interfejsem GUI nie polubiłaby tego rozwiązania, więc zapisz uwagi na ten temat, jest to po prostu alternatywa dla mniej doświadczonych osób, które mają problemy z używaniem BCP ...

Masz nieco większą elastyczność w formatowaniu pliku danych. Możesz to zrobić w BCP i tak dalej, ale to eliminuje złożoność. Istnieje jednak niewielka zaleta, ponieważ można umieścić niestandardowy nagłówek pliku i utworzyć „Nazwę kolumny” jako pierwszy wiersz, co sprawia, że ​​płaski plik jest bardziej użyteczny dla człowieka.

Nie zapomnij go zapisać, jeśli utworzyłeś go raz, prawdopodobnie zostaniesz o to ponownie zapytany! Mam nadzieję że to pomoże..

Myślę, że bcp.exe z wiersza poleceń powinien być najszybszym sposobem.

http://msdn.microsoft.com/en-us/library/ms162802.aspx