Czy pliki są zapisywane na dysku sekwencyjnie?

Jak zrozumiałem, „rzadki plik” oznacza, że ​​plik może mieć „luki”, więc rzeczywiste użyte dane mogą być mniejsze niż rozmiar pliku logicznego.

Jak systemy plików Linux zapisują pliki na dysku? Interesuje mnie głównie ext4. Ale:

1. Czy plik nie może być zapisywany sekwencyjnie na dysku? Rozumiem przez to, że część pliku znajduje się pod adresem fizycznym X, a następna część pod adresem fizycznym Y, który nie jest zbliżony do przesunięcia X +).
2. Czy mogę w jakiś sposób kontrolować sekwencję plików?
   Chcę przydzielić plik 10 GB. Chcę, aby była sekwencyjna na dysku i nie była podzielona między różne przesunięcia.
3. Czy działa inaczej w różnych typach?

Czy plik nie może być zapisywany sekwencyjnie na dysku? Mam na myśli, że część pliku znajduje się pod fizycznym adresem X, a druga część pod fizycznym adresem Y, który nie jest zbliżony do przesunięcia X +).

Tak; jest to znane jako fragmentacja plików i nie jest rzadkie, szczególnie w przypadku większych plików. Większość systemów plików przydziela miejsce w miarę potrzeb, mniej więcej sekwencyjnie, ale nie mogą odgadnąć przyszłego zachowania - więc jeśli napiszesz 200 MB do pliku, a następnie dodasz kolejne 100 MB, istnieje niezerowa szansa, że ​​oba zestawy danych być przechowywane w różnych obszarach dysku (w zasadzie każdy inny zapis wymagający więcej miejsca na dysku, pojawiający się po pierwszym zapisie i przed drugim, może znajdować się między nimi). Jeśli system plików jest prawie pełny, sytuacja zwykle jest gorsza: może nie istnieć ciągły obszar wolnego miejsca wystarczająco duży, aby pomieścić nowy plik, więc będzie musiał zostać pofragmentowany.

Czy mogę w jakiś sposób kontrolować sekwencję plików? Chcę przydzielić duży plik 10 GB. Chcę, aby była sekwencyjna na dysku i nie była podzielona na różne przesunięcia.

Możesz powiedzieć systemowi plików o docelowym rozmiarze pliku podczas jego tworzenia; pomoże to systemowi plików optymalnie go przechowywać. Wiele współczesnych systemów plików wykorzystuje technikę zwaną opóźnioną alokacją, w której układ nowego pliku na dysku obliczany jest tak późno, jak to możliwe, aby zmaksymalizować informacje dostępne podczas wykonywania obliczeń. Możesz pomóc w tym procesie, korzystając z posix_fallocate(3)funkcji informującej system plików, ile miejsca na dysku powinno zostać w sumie przydzielone. Nowoczesne systemy plików będą próbowały wykonać tę alokację sekwencyjnie.

Czy działa inaczej w różnych typach?

Różne systemy plików zachowują się inaczej, tak. Systemy plików oparte na logach, takie jak NILFS2, nie przydzielają pamięci w taki sam sposób, jak systemy plików oparte na rozciągłości, takie jak Ext4, a to tylko jeden przykład zmiany.

Polecenie filefragpowie ci, jak fizycznie plik jest przechowywany na twoim urządzeniu:

# filefrag -v /var/log/messages.1 
Filesystem type is: ef53
File size of /var/log/messages.1 is 41733 (11 blocks, blocksize 4096)
 ext logical physical expected length flags
   0       0  2130567               1 
   1       1 15907576  2130568      1 
   2       2 15910400 15907577      1 
   3       3 15902720 15910401      7 
   4      10  2838546 15902727      1 eof
/var/log/messages.1: 5 extents found

Jeśli zapiszesz plik w jednym przebiegu, domyślam się, że plik nie zostanie podzielony.

Strona podręcznika fallocate(1) jest dość przejrzysta:

fallocate służy do wstępnego przydzielania bloków do pliku. W przypadku systemów plików, które obsługują fallocatewywołanie systemowe, odbywa się to szybko, przydzielając bloki i oznaczając je jako niezainicjowane, nie wymagając we / wy bloków danych. Jest to o wiele szybsze niż tworzenie pliku przez wypełnienie go zerami.

Począwszy od jądra Linux v2.6.31, fallocatewywołanie systemowe jest obsługiwane przez systemy plików btrfs, ext4, ocfs2 i xfs.

Czy to jest sekwencyjne? System najpierw spróbuje alokować bloki sekwencyjnie. Jeśli nie, nie ostrzeże Cię.

Wspominasz o rzadkich plikach i żadna z pozostałych odpowiedzi o nich nie wspomniała.

Większość plików nie jest rzadka. Najczęstszym sposobem utworzenia pliku jest zapisanie go za jednym razem, od początku do końca. Brak dziur.

Możesz jednak powiedzieć „przejdź do pozycji 1 000 000 000 000 i wpisz tam bajt”. Spowoduje to utworzenie pliku, który wygląda jak duży etabajt, ale w rzeczywistości używa (prawdopodobnie) 4k na dysku. To jest rzadki plik.

Możesz to zrobić wiele razy dla tego samego pliku, pozostawiając niewielkie ilości danych rozrzuconych po ogromnej pustce.

Chociaż może to być przydatne, istnieją dwie wady.

Po pierwsze, plik zostanie pofragmentowany, o co się martwisz.

Po drugie, nie wszystkie programy dobrze radzą sobie z tymi plikami. Np. Niektóre oprogramowanie do tworzenia kopii zapasowych spróbuje wykonać kopię zapasową pustki, tworząc w ten sposób kopię zapasową znacznie większą niż to konieczne, być może zbyt dużą dla nośnika kopii zapasowej.

Czy mogę w jakiś sposób kontrolować sekwencję plików? Chcę przydzielić plik 10 GB. Chcę, aby była sekwencyjna na dysku i nie była podzielona między różne przesunięcia.

Istnieje co najmniej kilka sposobów na osiągnięcie tego.

1. Użyj systemu plików z dużą ilością wolnego miejsca i wstępnie przydziel miejsce (np. Użyj specyficznego dla aplikacji znacznika końca danych i dołącz losowe dane, aż rozmiar pliku osiągnie 10 GB). Nie gwarantuje się, że spowoduje to niefragmentowane dane.

2. Użyj surowego (niegotowanego) systemu plików zamiast ext4 itp. DBMS czasami robią to ze względu na wydajność. Kompromis polega na tym, że w razie potrzeby musisz wykonać własne buforowanie / dziennikowanie / odzyskiwanie itp.

Przypadki, w których wiele zyskujesz na tym, są stosunkowo rzadkie - najpierw szukałem gdzie indziej, aby zoptymalizować wydajność.

Zobacz też

Czy to prawda, że ​​systemy zarządzania bazami danych zwykle omijają systemy plików?

Jeśli jest to jednorazowa sprawa i nie ma znaczenia, jak plik jest pierwotnie przechowywany, liczy się tylko wynik, możesz po prostu zapisać plik normalnie, a następnie uruchomić defragmentator systemu operacyjnego. Następnie możesz sprawdzić za pomocą tej odpowiedzi, czy plik jest w jednym kawałku, jeśli nie, powtórz. Jest to najłatwiejszy sposób na zrobienie tego bez użycia poleceń ani programów zewnętrznych, ale z pewnością nie jest to najszybsza metoda, ponieważ defragmentuje cały dysk.