Mam serwer kopii zapasowych Ubuntu 16.04 z dyskiem twardym 8x10 TB za pośrednictwem płyty montażowej SATA 3.0. 8 dysków twardych jest połączonych z RAID6, używany jest system plików EXT4. Ten system plików przechowuje ogromną liczbę małych plików z bardzo wieloma operacjami SEEK, ale niską przepustowością operacji we / wy. W rzeczywistości istnieje wiele małych plików z różnych serwerów, które są snappshotowane przez rsnapshot każdego dnia (wiele INODES bezpośrednio do tych samych plików. Mam bardzo słabą wydajność, ponieważ system plików (60 TB netto) przekroczył 50% wykorzystania. W tej chwili zużycie wynosi 75%, a
du -sch /backup-root/
zajmuje kilka dni (!). Maszyna ma 8 rdzeni i 16 GB pamięci RAM. Pamięć RAM jest całkowicie wykorzystywana przez pamięć podręczną systemu plików OS, 7 z 8 rdzeni jest zawsze bezczynnych z powodu IOWAIT.
Filesystem volume name: <none>
Last mounted on: /
Filesystem UUID: 5af205b0-d622-41dd-990e-b4d660c12bd9
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr dir_index filetype needs_recovery extent 64bit flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags: signed_directory_hash
Default mount options: user_xattr acl
Filesystem state: clean
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 912203776
Block count: 14595257856
Reserved block count: 0
Free blocks: 4916228709
Free inodes: 793935052
First block: 0
Block size: 4096
Fragment size: 4096
Group descriptor size: 64
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 2048
Inode blocks per group: 128
RAID stride: 128
RAID stripe width: 768
Flex block group size: 16
Filesystem created: Wed May 31 21:47:22 2017
Last mount time: Sat Apr 14 18:48:25 2018
Last write time: Sat Apr 14 18:48:18 2018
Mount count: 9
Maximum mount count: -1
Last checked: Wed May 31 21:47:22 2017
Check interval: 0 (<none>)
Lifetime writes: 152 TB
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 256
Required extra isize: 28
Desired extra isize: 28
Journal inode: 8
First orphan inode: 513933330
Default directory hash: half_md4
Directory Hash Seed: 5e822939-cb86-40b2-85bf-bf5844f82922
Journal backup: inode blocks
Journal features: journal_incompat_revoke journal_64bit
Journal size: 128M
Journal length: 32768
Journal sequence: 0x00c0b9d5
Journal start: 30179
Brakuje mi doświadczenia z tego rodzaju użytkowaniem systemu plików. Jakie opcje muszę to dostroić. Jaki system plików działałby lepiej w tym scenariuszu? Czy są jakieś opcje angażowania pamięci RAM dla innych opcji buforowania niż wbudowane w system operacyjny?
Jak radzisz sobie z bardzo dużymi ilościami małych plików w dużych zestawach RAID?
Dzięki, Sebastian