W jaki sposób pasmo boczne IPMI współdzieli port Ethernet z hostem?

Posiadamy wiele maszyn Supermicro z funkcjami IPMI / BMC. Niektóre z tych maszyn używają wbudowanego BMC, podczas gdy inne używają dodatkowej karty .

Zastanawiamy się nad wykorzystaniem opaski bocznej ze względu na jej niższe koszty i wymagania dotyczące okablowania. Jednak niektóre szczegóły paska bocznego nie mają sensu.

Pasek boczny wymaga jednego kabla Ethernet, który jest podłączony do portu Ethernet na płycie głównej. Ten port sieciowy jest następnie współużytkowany przez system IPMI i system operacyjny. Z tego, co przeczytałem w tej instrukcji Supermicro , „Użyj tego samego adresu MAC, którego używasz dla LAN1 dla karty SIMSO IPMI”. Jednak IPMI musi mieć inny adres IP niż system operacyjny.

Jak można mieć dwa urządzenia (system operacyjny i IPMI), które mogą nasłuchiwać i transmitować na tym samym fizycznym porcie sieciowym? Kiedy pakiet dociera do interfejsu, w jaki sposób system określa, czy jest on przeznaczony dla systemu operacyjnego, czy dla systemu IPMI?

Czy te pakiety są w ogóle obsługiwane przez procesor przy użyciu przerwań procesora? Czy system operacyjny może wyświetlać pakiety interfejsu IPMI?

Zarządzam wieloma serwerami SuperMicro za pomocą wbudowanego IPMI. Mam związek miłości / nienawiści ze wspólnym (aka sideband) ethernetem. Ogólnie rzecz biorąc, te rzeczy działają w ten sposób, że LAN1 wydaje się mieć 2 (różne) adresy MAC - jeden dla interfejsu IPMI, drugi dla standardowej karty sieciowej Broadcom. Ruch do interfejsu IPMI (warstwa 2, oparta na adresie MAC) jest magicznie przechwytywany poniżej poziomu systemu operacyjnego i nigdy nie widzi go żaden działający system operacyjny.

Już osiągnąłeś dla nich jedną zaletę: mniej okablowania. Teraz omówię niektóre wady:

• Szczególnie trudno jest bezpiecznie podzielić interfejs IPMI na osobną podsieć. Ponieważ cały ruch odbywa się przez ten sam kabel, zawsze musisz (prawie) mieć interfejs IPMI i interfejs LAN1 w tej samej podsieci IP. Na najnowszych płytach głównych karty IPMI obsługują teraz przypisywanie sieci VLAN do karty sieciowej IPMI, dzięki czemu można uzyskać pozory separacji - ale podstawowy system operacyjny zawsze może wąchać ruch dla tej sieci VLAN. Starsze kontrolery BMC w ogóle nie pozwalają na zmianę sieci VLAN, chociaż narzędzia takie jak ipmitool lub ipmicfg pozornie pozwalają ci to zmienić, to po prostu nie działa.
• Centralizujesz punkty awarii w systemie. Robisz konfigurację na przełączniku i jakoś się odciąć? Gratulacje, odciąłeś podstawowe połączenie sieciowe z serwerem ORAZ tworzenie kopii zapasowych przez IPMI. Awaria sprzętu karty sieciowej? Gratulacje, ten sam problem.
• Wczesne BMC SuperMicro IPMI były znane z robienia dziwnych rzeczy z interfejsem sieciowym. To, czy użyć wbudowanego, czy dedykowanego portu IPMI, było często określane przy włączaniu (nie restartowaniu) i nie przełączało się stamtąd. Jeśli wystąpiła przerwa w dostawie prądu, a przełącznik nie zapewniał wystarczającego zasilania wystarczająco szybko, może dojść do awarii IPMI, ponieważ automatycznie wykrył nieprawidłowe ustawienie.
• Osobiście miałem wiele dziwnych, niewytłumaczalnych problemów z łącznością, dzięki którym IPMI zespołu bocznego działało niezawodnie. Czasami po prostu nie mogłem pingować adresu IP interfejsu przez kilka minut. Czasami dostaję burzę pakietów na przypisanej sieci VLAN, ale ruch wydaje się być zmniejszony.

Chociaż nie ma to nic wspólnego z dedykowanym pasmem bocznym, zauważę również, że narzędzia dostępu do systemów hosta są bardzo słabo napisane. Starsze karty IPMI nie obsługują niczego poza uwierzytelnianiem lokalnym, co sprawia, że ​​rotacja haseł jest uciążliwa. Jeśli korzystasz z funkcji KVM-over-IP, utkniesz przy użyciu niepoprawnie podpisanego, wygasłego apletu Java lub dziwnej aplikacji komputerowej Java, która działa tylko w systemie Windows i wymaga podniesienia poziomu kontroli konta użytkownika. Zauważyłem, że wpis na klawiaturze jest co najwyżej wypryskany, czasami dostaję „zablokowane klawisze”, tak że nie można wpisać hasła, aby się zalogować bez próby 10 razy.

W końcu udało mi się uzyskać ponad 40 systemów pracujących z tym układem. Mam głównie nowsze systemy. Mogę VLAN interfejsy IPMI w osobnej podsieci i używam głównie konsoli szeregowej za pośrednictwem ipmitool, który działa bardzo dobrze. W przypadku serwerów nowej generacji patrzę na technologię Intel AMT z obsługą KVM ; ponieważ powoduje to przejście do przestrzeni serwera, widzę zastąpienie tego IPMI.

Nie korzystałem wcześniej z tych konkretnych kart, te, których użyłem, albo mają inny MAC dla ruchu IPMI, albo port jest przeznaczony tylko dla ruchu IPMI. Możliwe jednak, że IPMI współdzieli NIC, w tym MAC.

IPMI będzie miał inny adres IP niż system operacyjny, więc pakiety będą na nim poprawnie kierowane. Ruch IPMI nigdy nie uderza w procesor, wszystko jest obsługiwane w układach zarządzania pasmem bocznym.

Chciałem dodać do ogólnej porady, że korzystanie z pasma bocznego oznacza, że ​​nie możesz rozmawiać z serwera na BMC. Ruch wydaje się być odfiltrowany. Próbowałem tego na zestawie IBM / Dell / HP.

Zrobię kopię zapasową ostatniego punktu natacados w jego początkowej odpowiedzi, twoje sesje IPMI będą losowo przekraczać limit czasu (używam IPMIView z supermicro, aby spojrzeć na konsolę na moich urządzeniach). Rzeczy takie jak aktualizacje oprogramowania i motocykle wydają się niewytłumaczalnie i losowo zawieść.

Świetna odpowiedź natacado, niezwykle dokładna.