Jak porównać pliki binarne w systemie Linux?

Muszę porównać dwa pliki binarne i uzyskać wynik w postaci:

<fileoffset-hex> <file1-byte-hex> <file2-byte-hex>

dla każdego innego bajtu. Więc jeśli file1.binjest

  00 90 00 11

w formie binarnej i file2.binjest

  00 91 00 10

Chcę dostać coś takiego

  00000001 90 91
  00000003 11 10

Czy jest na to sposób w Linuksie? Wiem o tym, cmp -lale używa systemu dziesiętnego dla przesunięć i ósemkowego dla bajtów, których chciałbym uniknąć.

Spowoduje to wydrukowanie przesunięcia i bajtów w postaci szesnastkowej:

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1, strtonum(0$2), strtonum(0$3)}'

Lub zrób, $1-1aby pierwsze drukowane przesunięcie zaczynało się od 0.

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1-1, strtonum(0$2), strtonum(0$3)}'

Niestety, strtonum()jest specyficzny dla GAWK, więc w innych wersjach awk - np. Mawk - będziesz musiał użyć funkcji konwersji ósemkowej na dziesiętną. Na przykład,

cmp -l file1.bin file2.bin | mawk 'function oct2dec(oct,     dec) {for (i = 1; i <= length(oct); i++) {dec *= 8; dec += substr(oct, i, 1)}; return dec} {printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)}'

Podział na czytelność:

cmp -l file1.bin file2.bin |
    mawk 'function oct2dec(oct,    dec) {
              for (i = 1; i <= length(oct); i++) {
                  dec *= 8;
                  dec += substr(oct, i, 1)
              };
              return dec
          }
          {
              printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)
          }'

Jak wskazał ~ kwak :

 % xxd b1 > b1.hex
 % xxd b2 > b2.hex

I wtedy

 % diff b1.hex b2.hex

lub

 % vimdiff b1.hex b2.hex

diff + xxd

Wypróbuj diffnastępującą kombinację podstawienia procesu zsh / bash:

diff -y <(xxd foo1.bin) <(xxd foo2.bin)

Gdzie:

• -y pokazuje różnice obok siebie (opcjonalnie).
• xxd jest narzędziem CLI do tworzenia pliku zrzutu heksadecymalnego pliku binarnego.
• Dodaj -W200do, aby diffuzyskać szerszy wynik (200 znaków w wierszu).
• W przypadku kolorów użyj colordiffjak pokazano poniżej.

colordiff + xxd

Jeśli masz colordiff, może pokolorować diffdane wyjściowe, np .:

colordiff -y <(xxd foo1.bin) <(xxd foo2.bin)

^{Inaczej zainstalować poprzez: sudo apt-get install colordiff.}

Przykładowe dane wyjściowe:

vimdiff + xxd

Możesz także użyć vimdiffnp

vimdiff <(xxd foo1.bin) <(xxd foo2.bin)

Poradnik:

• jeśli pliki są zbyt duże, dodaj limit (np. -l1000) dla każdegoxxd

Istnieje narzędzie o nazwie DHEX, które może wykonać tę pracę, oraz inne narzędzie o nazwie VBinDiff .

Aby uzyskać podejście oparte wyłącznie na wierszu poleceń, wypróbuj jojodiff .

Metoda, która działa w przypadku dodawania / usuwania bajtów

diff <(od -An -tx1 -w1 -v file1) \
     <(od -An -tx1 -w1 -v file2)

Wygeneruj przypadek testowy z pojedynczym usunięciem bajtu 64:

for i in `seq 128`; do printf "%02x" "$i"; done | xxd -r -p > file1
for i in `seq 128`; do if [ "$i" -ne 64 ]; then printf "%02x" $i; fi; done | xxd -r -p > file2

Wynik:

64d63
<  40

Jeśli chcesz również zobaczyć wersję ASCII znaku:

bdiff() (
  f() (
    od -An -tx1c -w1 -v "$1" | paste -d '' - -
  )
  diff <(f "$1") <(f "$2")
)

bdiff file1 file2

Wynik:

64d63
<   40   @

Testowane na Ubuntu 16.04.

Wolę odsię xxd, ponieważ:

• to jest POSIX , xxdnie jest (pochodzi z Vimem)
• musi -Anusunąć kolumnę adresu bez awk.

Wyjaśnienie polecenia:

• -Anusuwa kolumnę adresu. Jest to ważne, w przeciwnym razie wszystkie wiersze będą się różnić po dodaniu / usunięciu bajtu.
• -w1wstawia jeden bajt na linię, aby diff mógł go wykorzystać. Ważne jest, aby mieć jeden bajt na linię, w przeciwnym razie każda linia po usunięciu stanie się poza fazą i będzie inna. Niestety nie jest to POSIX, ale występuje w GNU.
• -tx1 to reprezentacja, którą chcesz, zmień na dowolną możliwą wartość, o ile zachowasz 1 bajt na linię.
• -vzapobiega skrótowi powtórzeń gwiazdki, *który może zakłócać różnicę
• paste -d '' - -łączy się co dwie linie. Potrzebujemy go, ponieważ hex i ASCII przechodzą w oddzielne sąsiednie linie. Zaczerpnięte z: https://stackoverflow.com/questions/8987257/concatenating-every-other-line-with-the-next
• używamy nawiasów, ()aby zdefiniować bdiffzamiast {}ograniczać zakres funkcji wewnętrznej f, patrz również: https://stackoverflow.com/questions/8426077/how-to-define-a-function-inside-another-function-in-bash

Zobacz też:

• https://unix.stackexchange.com/questions/59849/diff-binary-files-of-different-sizes
• https://stackoverflow.com/questions/8385618/using-cmp-to-compare-two-binaries

Krótka odpowiedź

vimdiff <(xxd -c1 -p first.bin) <(xxd -c1 -p second.bin)

Kiedy używasz zrzutów szesnastkowych i różnic tekstowych do porównywania plików binarnych, zwłaszcza xxddodawanie i usuwanie bajtów zmienia się w adresowaniu, co może utrudnić ich dostrzeżenie. Ta metoda każe xxd nie wysyłać adresów i wypisywać tylko jeden bajt na linię, co z kolei pokazuje dokładnie, które bajty zostały zmienione, dodane lub usunięte. Adresy można znaleźć później, wyszukując interesujące sekwencje bajtów w bardziej „normalnym” zrzutie szesnastkowym (wynik xxd first.bin).

Polecam hexdump do zrzucania plików binarnych do formatu tekstowego i kdiff3 do przeglądania różnic.

hexdump myfile1.bin > myfile1.hex
hexdump myfile2.bin > myfile2.hex
kdiff3 myfile1.hex myfile2.hex

hexdiffTo program przeznaczony do zrobić dokładnie to, czego szukasz.

Stosowanie:

hexdiff file1 file2

Wyświetla szesnastkowy (i 7-bitowy ASCII) dwóch plików jeden nad drugim, z zaznaczonymi różnicami. Poszukaj man hexdiffpoleceń do poruszania się w pliku, a proste qzostanie zamknięte.

Może nie ściśle odpowiada na pytanie, ale używam tego do różnicowania plików binarnych:

gvim -d <(xxd -c 1 ~/file1.bin | awk '{print $2, $3}') <(xxd -c 1 ~/file2.bin | awk '{print $2, $3}')

Drukuje oba pliki jako wartości szesnastkowe i ASCII , jeden bajt na linię, a następnie używa funkcji różnicowania Vima do renderowania ich wizualnie.

dhex http://www.dettus.net/dhex/

DHEX to coś więcej niż kolejny edytor szesnastkowy: zawiera tryb różnicowy, za pomocą którego można łatwo i wygodnie porównywać dwa pliki binarne. Ponieważ jest oparty na ncurses i jest tematyczny, może działać na dowolnej liczbie systemów i scenariuszy. Dzięki wykorzystaniu dzienników wyszukiwania możliwe jest łatwe śledzenie zmian w różnych iteracjach plików.

Możesz użyć narzędzia gvimdiff , które jest zawarte w pakiecie vim-gui-common

sudo apt-get update

sudo apt-get install vim-gui-common

Następnie możesz porównać 2 pliki szesnastkowe za pomocą następujących poleceń:

ubuntu> gvimdiff <hex-file1> <hex-file2>

To wszystko. Mam nadzieję, że pomoże!

Narzędzie do analizy oprogramowania układowego binwalkma tę funkcję również za pomocą opcji -W/ --hexdumpwiersza poleceń, która oferuje opcje takie jak wyświetlanie tylko różnych bajtów:

    -W, --hexdump                Perform a hexdump / diff of a file or files
    -G, --green                  Only show lines containing bytes that are the same among all files
    -i, --red                    Only show lines containing bytes that are different among all files
    -U, --blue                   Only show lines containing bytes that are different among some files
    -w, --terse                  Diff all files, but only display a hex dump of the first file

W przykładzie OP podczas wykonywania binwalk -W file1.bin file2.bin:

https://security.googleblog.com/2016/03/bindiff-now-available-for-free.html

BinDiff to świetne narzędzie interfejsu użytkownika do porównywania plików binarnych, które zostały ostatnio otwarte.

Przejście do produktu open source w Linuksie (i wszystkim innym) to Radare, który zapewnia to radiff2wyraźnie. Głosowałem za jej zamknięciem, ponieważ ja i inni mamy to samo pytanie w pytaniu, które zadajesz

dla każdego innego bajtu

To szalone. Ponieważ, zgodnie z pytaniem, jeśli wstawisz jeden bajt na pierwszym bajcie w pliku, przekonasz się, że każdy kolejny bajt był inny, więc diff powtórzyłby cały plik, z faktyczną różnicą jednego bajta.

Nieco bardziej praktyczny jest radiff -O. Jest -Oto dla „Wykonuj różnicę kodu wszystkimi bajtami zamiast tylko ustalonymi bajtami opcode” ”

0x000000a4 0c01 => 3802 0x000000a4
0x000000a8 1401 => 3802 0x000000a8
0x000000ac 06 => 05 0x000000ac
0x000000b4 02 => 01 0x000000b4
0x000000b8 4c05 => 0020 0x000000b8
0x000000bc 4c95 => 00a0 0x000000bc
0x000000c0 4c95 => 00a0 0x000000c0

Podobnie jak IDA Pro, Radare jest narzędziem podstawowym do analizy binarnej, możesz także pokazywać różnicowanie delty za pomocą -dlub wyświetlać zdemontowane bajty zamiast szesnastkowego za pomocą -D.

Jeśli jednak zadajesz tego rodzaju pytania, sprawdź

• Przepełnienie stosu w przypadku pytań dotyczących oprogramowania,
• Wymiana stosu inżynierii odwrotnej
• Radare radiff2dla binarnego różnicowania