IPoIB

IPoIB는 IP over Infiniband의 약자로, Infiniband 네트워크를 TCP, HTTP같이 Internet Protocol (IP)를 부여하여 사용하고자 함이다.

이는 기존 IP를 이용하여 구성된 프로그램이나 앱을 infiniband 네트워크에서 실행시키기 위함이라 할 수 있으나,

RDMA같이 infiniband를 이용하여 직접 네트워킹을 하는경우 IPoIB를 쓰면 오히려 네트워크 오버헤드를 증가시켜 통신속도가 저하될 수 있다.

그러나, infiniband 세팅시 접속 속도 체크등을 하기 위해서는 사용되는 프로그램들이 IpoIB를 쓰므로, 기본적으로 사용방법을 익혀두면 인생에 도움이 되지 않을까 한다.

 

우분투에서 네트워크 관련 세팅은 아래의 디렉토리를 참조한다.

:/etc/netplan$ ls
50-cloud-init.yaml

:/etc/netplan$ sudo cat 50-cloud-init.yaml
network:
  version: 2
  renderer: networkd

  ethernets:
    eno1:
      dhcp4: true

 

우선, 우분투 설치시 기본적으로 설치되는 50-cloud-init.yaml은 기본 네트워크 카드의 세팅이다.

여기에 infiniband세팅을 추가하기 위해서는 아래와 같이 별도의 파일을 추가한다.

 

/etc/netplan/90-ipoib.yaml:


network:
  version: 2
  ethernets:
    ibs2f0:
      addresses:
        - 192.168.100.1/24
      mtu: 4092
      dhcp4: no
      
      
sudo chmod 600 /etc/netplan/90-ipoib.yaml
sudo netplan apply

 

반대쪽 컴퓨터는 192.168.100.2/24

 

 

여기서, ibs2f0는 ib_ipoib 커널로 생성되는 리눅스의 네트워크 인터페이스로, infiniband 포트를 네트워크 카드로 포장시키는 기능을 한다.

 

ibs2f0 = “IB + slot 2 + function 0” (naming derived from PCIe bus address 02:00.0)

:/etc/netplan$ ip -br -d link | egrep -i 'ib|ibp'
ibs2f0           DOWN           00:00:07:8b:fe:80:00:00:00:00:00:00:0c:42:a1:03:00:17:3a:e0 <BROADCAST,MULTICAST>
ibs2f1           DOWN           00:00:06:c5:fe:80:00:00:00:00:00:00:0c:42:a1:03:00:17:3a:e1 <BROADCAST,MULTICAST>