Robots.txt to plik tekstowy używany przez właścicieli witryn do przekazywania instrukcji dotyczących ich witryny robotom internetowym. Zasadniczo informuje roboty, które części witryny są otwarte, a które zamknięte. Nazywa się to protokołem wykluczania robotów.