Minix jest doskonałym wyborem i został opisany w jednej z pozostałych odpowiedzi.
Xinu
Weź również pod uwagę XINU - XINU nie jest Uniksem.
Jest także UNIX pisane wstecz.
Jest książka Douglasa Comera, która moim zdaniem była dobrze napisana, dobrze zilustrowana i dobrze zakrojona.
Istnieje Embedded Xinu i strona internetowa o nauczaniu w Xinu.
http://xinu.mscs.mu.edu/Teaching_With_Xinu
FreeRTOS
Innym niewielkim systemem operacyjnym, który cieszy się obecnie dużą popularnością, jest FreeRTOS. Działa na prawie wszystkim. Jeśli pochodzisz z Marsa i masz procesor lub płytę ewaluacyjną, na której nie działa, możesz przeczytać około 10 stron dokumentacji, zmodyfikować około pięciu plików związanych z przerwaniami, licznikami czasu i UARTami i będziesz działał.
http://www.freertos.org/
Twierdzą, że obsługuje 31 architektur i 18 łańcuchów narzędzi. Moje doświadczenie pod koniec 2009 roku było dobre i słyszę, że od tego czasu znacznie się poprawiło.
Inne linki
Podobne pytania na ten temat mogą być przydatne dla Ciebie:
/programming/254149/how-do-you-write-a-basic-operating-system
Na Linuksa i wiele innych projektów systemów operacyjnych ma wpływ UNIX, więc ten film, w którym oryginalni projektanci (Kernigan, Richie i Thompson i inni) mają charakter informacyjny i czerpią pomysły projektowe bezpośrednio ze źródła.
http://techchannel.att.com/play-video.cfm/2012/2/22/AT&T-Archives-The-UNIX-System
Istnieje klasyczny, ale często zmieniany podręcznik systemu operacyjnego:
Silberschatz, Galvin, Gagne: Koncepcje systemu operacyjnego, wydanie siódme
Mogą być też nowsze wersje. Rzadko link do książki za pośrednictwem sprzedawcy książek, ale podgląd jest bardzo obszerny, więc aby dowiedzieć się więcej o systemach operacyjnych, sprawdź:
http://www.amazon.com/Operating-System-Concepts-Abraham-Silberschatz/dp/0470128720