태그 보관물: pci-express

pci-express

PCIe 장치 NUMA 노드 결정 가정하면 장치가 연결된 PCIe

상당히 최근의 Linux OS를 가정하면 장치가 연결된 PCIe 슬롯이 어느 NUMA 노드에 속하는지 쉽게 결정할 수 있습니까?

답변

예를 들어 eth0다음 과 같이 해당 PCIe 슬롯의 디렉토리로 이동해야합니다 .

 cd /sys/class/net/eth0/device

어디 발견 할 것이다 numa_node, local_cpus그리고 local_cpulist당신에게 관심의 세 개의 파일을. 당신은 그저 cat원하는 데이터를 볼 수 있습니다 .

답변

장치 ID를 알고 있으면 hwloc ( http://www.open-mpi.de/projects/hwloc/ )을 사용할 수도 있습니다 . 그러나 동일한 장치가 2 개인 경우 (예 : GPU) 물리적 슬롯이 연결된 NUMA 노드를 알 수있는 유일한 방법은 마더 보드 매뉴얼을 확인하는 것입니다.

Asus Z9PE-D8 ( http://dlcdnet.asus.com/pub/ASUS/mb/LGA2011/Z9PE-D8-WS/Manual/e8726_z9pe-d8_ws.pdf )의 경우 223 페이지에 있습니다.

답변

허용 된 답변은 내가 찾은 한 네트워크 카드에서만 작동합니다. GuillermoMA의 답변에 따르면, hwloc은 읽기 쉽지 않은 경우에도 실제 거래를 제공합니다. lstopohwloc 패키지 (적어도 RHEL 7에서)에 있습니다.

# lstopo
Machine (256GB)
  NUMANode L#0 (P#0 128GB)
    Socket L#0 + L3 L#0 (20MB)
      L2 L#0 (256KB) + L1d L#0 (32KB) + L1i L#0 (32KB) + Core L#0 + PU L#0 (P#0)
      L2 L#1 (256KB) + L1d L#1 (32KB) + L1i L#1 (32KB) + Core L#1 + PU L#1 (P#2)
      L2 L#2 (256KB) + L1d L#2 (32KB) + L1i L#2 (32KB) + Core L#2 + PU L#2 (P#4)
      L2 L#3 (256KB) + L1d L#3 (32KB) + L1i L#3 (32KB) + Core L#3 + PU L#3 (P#6)
      L2 L#4 (256KB) + L1d L#4 (32KB) + L1i L#4 (32KB) + Core L#4 + PU L#4 (P#8)
      L2 L#5 (256KB) + L1d L#5 (32KB) + L1i L#5 (32KB) + Core L#5 + PU L#5 (P#10)
      L2 L#6 (256KB) + L1d L#6 (32KB) + L1i L#6 (32KB) + Core L#6 + PU L#6 (P#12)
      L2 L#7 (256KB) + L1d L#7 (32KB) + L1i L#7 (32KB) + Core L#7 + PU L#7 (P#14)
    HostBridge L#0
      PCIBridge
        PCI 1000:005d
          Block L#0 "sda"
      PCIBridge
        PCI 14e4:16a1
          Net L#1 "eth0"
        PCI 14e4:16a1
          Net L#2 "eth1"
        PCI 14e4:16a1
          Net L#3 "eth2"
        PCI 14e4:16a1
          Net L#4 "eth3"
      PCI 8086:8d62
      PCIBridge
        PCIBridge
          PCIBridge
            PCIBridge
              PCI 102b:0534
      PCI 8086:8d02
        Block L#5 "sr0"
  NUMANode L#1 (P#1 128GB)
    Socket L#1 + L3 L#1 (20MB)
      L2 L#8 (256KB) + L1d L#8 (32KB) + L1i L#8 (32KB) + Core L#8 + PU L#8 (P#1)
      L2 L#9 (256KB) + L1d L#9 (32KB) + L1i L#9 (32KB) + Core L#9 + PU L#9 (P#3)
      L2 L#10 (256KB) + L1d L#10 (32KB) + L1i L#10 (32KB) + Core L#10 + PU L#10 (P#5)
      L2 L#11 (256KB) + L1d L#11 (32KB) + L1i L#11 (32KB) + Core L#11 + PU L#11 (P#7)
      L2 L#12 (256KB) + L1d L#12 (32KB) + L1i L#12 (32KB) + Core L#12 + PU L#12 (P#9)
      L2 L#13 (256KB) + L1d L#13 (32KB) + L1i L#13 (32KB) + Core L#13 + PU L#13 (P#11)
      L2 L#14 (256KB) + L1d L#14 (32KB) + L1i L#14 (32KB) + Core L#14 + PU L#14 (P#13)
      L2 L#15 (256KB) + L1d L#15 (32KB) + L1i L#15 (32KB) + Core L#15 + PU L#15 (P#15)
    HostBridge L#7
      PCIBridge
        PCI 15b3:1003
          Net L#6 "eth4"
          Net L#7 "eth5"

NUMANode L # 0은 물론 CPU0이고 NUMANode L # 1은 CPU1입니다. 그런 다음 위에서 선호하는 PCI 번호 (예 : 14e4 : 16a1)를 가져 와서 그 이름을 확인하고 추가 분석을 위해 PCI 주소를 찾을 수 있습니다 lspci.

# lspci -nn | grep 14e4:16a1
01:00.0 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.1 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.2 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.3 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)

내 컴퓨터 중 하나에서 Emulex 파이버 채널 카드가 lstopo출력 에 나타나지 않았습니다 . lstopo --whole-io역방향 조회 프로세스를 수행하여을 사용하여 발견 했습니다 (필요한 경우 오른쪽으로 스크롤하여 grep하는 10df 16 진수를 확인하십시오).

# lspci -nn | grep -i emulex
03:00.0 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03)
03:00.1 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03)
# lstopo --whole-io | grep 10df
        PCI 10df:f100
        PCI 10df:f100

위의 파이프 grep 명령을 제거하고 출력을 반 수동으로 찾아서 전체 lstopo --whole-io디스플레이 에서 장치를 찾으십시오 (리더의 연습으로 남음).

답변

하나를 사용할 수 있습니다 : # cat /sys/bus/pci/devices/<PCI device>/numa_node

를 사용하여 PCI 장치 주소 가져 오기 # lspci -nn

답변