基础信息
CPU与CPU之间通过QPI总线进行通信，类似CPU与PCI-E设备通过PCIE总线进行通信。
The Intel QuickPath Interconnect (QPI)：快速通道互联，快路径内部互联总线。是Inter-connect，内部互联的。是英特尔开发的一种高速点对点处理器间连接技术。比如核间通信。他的Quick是对比上一代FSB（front side buf）总线。
本质是高速串行链路。替代FSB的并行。更快。
他是点对点，不如FSB的共享总线。
QPI分物理层、链路层、路由层和传输层以及协议层。其中协议层负责各种flit包传输，并实现缓存一致性。
在服务器上电bios启动之前，便会进行QPI link的初始化。在chipset Initialization之后进行QPI link Initialization。比如HPE的 DL580 g8的QPI是8G 。
下图可见QPI的C2C：
他的下一代是UPI（ultra path interconnect）。
他的上一代FSB
side是某一边，Front side就是对外部的这一边。
FSB的结构参考：相当于有一个bus interface。看得出它是X共享总线。
比如访存的时候需要通过北桥芯片之间使用FSB：
其他总线的一些信息
FSB总线( Front Side Bus )前端总线,用来连接CPU和内存控制中枢(北桥芯片)。
QPI总线( Quick Path Interconnec )快速通道互联,是CPU和CPU之间以及CPU和IOH芯片之间的一种高速点对点互联总线。
DMI总线( Direct Media Interface )直接媒体接口,是北桥芯片( MCH )和南桥芯片(ICH )以及CPU和PCH芯片之间的点对点互联总线。
PCI总线( Peripheral Component Interconnect )外围组件互联,是一个用于将设备附加到主板上的计算机总线。
关于速率：
QPI的8GT/s的单向带宽：8GT/s*16bit/8=16GB/s
PCIe Gen3 X16的单向带宽：8GT/s/lan 约（8gt * 16lan / 8bit/B) 16GB/s (100Gbps级别）
PCIe Gen4 X16的单向带宽：16GT/s/lan 约 32GB/s (200Gbps级别）
PCIe Gen5 X16的单向带宽：32GT/s 约 64GB/s (400Gbps级别）
CXL X16的32GT/s的单向带宽：类似pcie gen5（基于pcie gen5）
NVLink 1.0的4条Link，每个Link有8个Lan，单向带宽是：20GT/s/lan * 8Lan * 4Link/8=80GB/s
NVLink 2.0有6条Link，每个Link有8个Lan，单向带宽是：25GT/s6Link8Lan/8=150GB/s
相比于PCIe，NVlink多了个Link的维度，每个link是8lan，并且每个lan的带宽1.0是20GT，在PCIe gen4和gen5之间。所以NVlink之所以能x倍于PCIe就是多个link早就。假设8个link，就是8倍于PCIe，假设PCIe5.0的x16是32GT，那么NVlink就是256GT。NVlink要点就在link上。并且支持c2c直接互联。
落到本质上，互联总线千奇百怪，很多走向了串行+提高频率的技术路线上提高性能。然后提供多个业务层的并行，通过另外一种形式的并行（串行单lan+并行link 或者多lan）方式不断演进。如此来看NVlink就不神秘了（比如NVlink2.0简单看就是一个高一维度支持link的PCIe5.0)。
其他推测：为何NVlink要采用多一个link的方式来提高带宽，而PCIe不用。其实还是业务驱动，NVlink给GPU之间提速，GPU中CUDA核心需要并行，我就可以多接一点，好比接入不同的cuda里面让他用）
参考：
http://www.pcserver.cn/h-nd-84.html
https://www.cnblogs.com/kongchung/p/11826678.html
https://dramexchange.com/WeeklyResearch/PrinterFriendly/2/150.html
https://techslang.com/definition/what-is-the-front-side-bus/
https://www.basitali.com/difference-between-fsb-and-dmi/
https://www.pearsonitcertification.com/articles/article.aspx?p=29924&seqNum=4