UCS 주요 구성 컴포넌트 소개 #5 - UCS IO Adapter

UCS를 소개하면서 자주 듣는 반문은, "x86 다~ 거기서 거기 아닌가요? , 똑같은 Intel CPU에 똑같은 삼성 메모리, 일반적인 디스크..., 뭐가 다를게 있겠어요?'

사실 틀린말은 아니다.
하지만 이슈의 핵심은 여기서 부터 오히려 출발한다.
몇 십년이 넘도록, x86은 개방형 아키텍쳐로 시작했으면서 바뀐게 없을까?
정말 전혀 바꿀게 없을까?
시스코 UCS는 몇가지 큰틀을 바꾸었지만, 뭐니 뭐니해도 가장 큰 혁명 중 하나는 바로 IO Card이다.

이 혁명적인 IO Card가 바로 Cisco Virtual Interface Card 이다.

[그림 - Cisco M81KR VIC Card]

외관상으로는 일반적인 블레이드 서버에 내장되는 Mezzanine Card와 차이가 없어 보인다.
평범한 카드로 보인다. 하지만 이 녀석은 정말 대단한 녀석이며, 좀 더 까놓고 보면 시스코의 넥서스 스위치의 모태 기술이 포함되어 있다고 해도 과언이 아니다.
넥서스 스위치에서 사용되는 FCoE(Fiber Channel Over Ethernet) 기술과 802.1Qbh (VN-Tag) 기술을 사용할 수 있으며, 하드웨어 기반의 VN-Link 기술도 적용이 되어 있다.
이 복잡한 말들이 무슨말이냐구? 곧 설명들어간다....

[그림 - Cisco M81KR VIC 내부 구조]

실제 아키텍쳐의 논리적인 모습이다.
물리적으로는 일반적인 10GE LAN Card로 보이나, 내부적으로는 128개의 IO Card를 내장하고 있다.
간단하게 말하면, 시스코의 VIC(Virtual Interface Card)는 Window 2008과 Redhat과 같은 OS를 설치하고 나면, IO를 OS가 볼 수 있는 만큼 볼 수 있다는 이야기 이다.
아래 그림이 더욱 이해하기 쉬울 것 같다.

[그림 - 전통적 IO Card 구조]

[그림 - Cisco VIC Card 구조]

그림에서 처럼 전통적인 IO Card의 경우에는 대부분 1GE Card의 경우에는 2 ~ 4개의 물리적 포트를 제공하므로, OS에서는 Ethernet Controller가 2~4개가 보이게 된다.
또한 HBA의 경우에는 2/4/8G FC 물리적 포트를 2개 정도 제공하게 되므로, OS에서는 SCSI Controller 2개가  보이게 된다.
이러한 구성의 경우 대부분의 서비스에서는 서버 관리용 포트 1개, 서비스 네트워크 용 2개, Back end 단의 네트워크용 2개, HBA Storage 연결용 2개등 총 물리적인 포트는7개 이상이 필요하다.
이렇게 되면 IO 구조도 복잡하고, Cabling 구조도 매우 복잡해 진다.
하지만 Cisco의 VIC 구조는 PCI 표준을 따르면서 카드 내부에서 ASIC 기반으로 최대 58개의 IO Card를 제공한다.
즉 OS에서는 여러개의 Ethernet, SCSI Controller가 보이게 된다는 것이다.
이렇게 되면 FCoE 기반으로 물리적 포트는 10GE가 2개 이고, IO Controller는 내부적으로 수십개 이상이 제공되므로 IO 최적화 및 Cabling 까지 최적화를 이뤄 낼 수가 있다.

실제 고객사에 도입된 사례들을 보면, 이러한 IO 아키텍쳐를 가장 좋아하는 경우를 필자는 많이 보았다.
Cisco의 VIC 카드는 이러한 아키텍쳐를 기반으로 H.W 기반의 가상화 서비스를 구현할 수 있다.

이밖에도 시스코 UCS는 범용성과 다양성을 수용하기 위해, Intel , Broadcom, Qlogic, Emulex 등의 IO Card를 제공한다.
Intel의 카드 경우에는 10GE Only로 제공되며, Broadcom Card의 경우에는 H.W 기반의 TOE(TCP Offload Engine)이 내장되어 제공된다.
최근 발표된 Cisco UCS 2.0 의 경우에는 iSCSI Booting 도 제공되므로 이러한 BroadCom Card의 경우 유용하게 사용될 수 있다.

[그림 - Intel/Broadcom 기반의 UCS M51KR/61KR IO Card]

뿐만 아니라 FCoE 를 지원하는 3rd 제품의 CNA(Converged Network Adapter : FCoE IO Card로 생각하면 쉽다.)를 지원한다. 바로 HBA의 양대 산맥 Qlogic,Emulex IO Card 이다.

[그림 - Qlogic/Emulex M71KR/M72KR]

[Tip] Cisco VIC Card의 실제 IO Card 제공 숫자

UCS 2100 물리적 링크	서버 가상 NIC/HBA
1	13
2	28
4	58

[표 – UCS VIC 가상 인터페이스]

구성 공식 : (15x UCS 2100 물리적링크수)-2 = Total Interface

앞서 설명한 UCS 2100 FEX 모듈과 UCS 6100  연결 링크 수에 따라 제공할 수 있는 IO Card 숫자가 다르므로 유의해서 구성해야 한다. 하지만 링크가 하나만 연결되더라도 무려 13개의 IO Card를 NIC/HBA에 상관없지 지원하므로 충분한 숫자라고 할 수 있다.
이렇게 물리적인 제약이 있는 이유는 바로 802.1Qbh, 최근 802.1BR로 확장된 표준기술에 그 이유를 찾을 수 있는데, VN-Tag의 숫자에 제약이 있기 때문이다.
이 부분은 향후 다른 토픽을 통해 자세히 설명하도록 하겠다.
매우 재밌고 흥미롭기 때문에 지면이 길어지므로 생략한다.