我们可以使用 x86_64 CPU atomics 在 PCI Express 上生成复合原子操作吗？答案

【问题标题】：Can we use x86_64 CPU atomics to generate on PCI Express the compound atomic operations?我们可以使用 x86_64 CPU atomics 在 PCI Express 上生成复合原子操作吗？
【发布时间】：2017-10-30 04:09:32
【问题描述】：

如您所知，从 2.0 版开始，PCI Express 支持复合原子操作：FetchAdd、Swap、CAS：https://pcisig.com/sites/default/files/specification_documents/ECN_Atomic_Ops_080417.pdf
还知道，x86_64 CPU 具有汇编程序复合原子操作：lock add、[lock] xchg、lock cmpxchg：https://godbolt.org/g/MmqMRw

这可以通过使用volatile atomic_int-operations 的C 编译器生成：

int expceted_cas = 0;
volatile atomic_int a;

atomic_fetch_add( &a, 1 );
atomic_exchange( &a, 1 );
atomic_compare_exchange_weak( &a, &expceted_cas, 1 );

我想通过使用复合原子操作访问通过 PCI Express 连接到 PC-x86_64 的设备上的缓冲内存（以太网、GPU...） >。 IE。我们已经知道硬件总线的工作原理（PCIe 支持原子 FetchAdd/Swap/CAS），但我们想知道需要哪些汇编源代码才能使用此 PCIe 功能。

我们能否使用 x86_64 CPU 复合原子操作：lock add、[lock] xchg、lock cmpxchg 在 PCI Express 上生成复合原子操作：FetchAdd、Swap、CAS？

或者我们应该在 x86_64 CPU 上使用什么 asm 代码在 PCI Express 2.0/3.0 上执行原子操作 FetchAdd、Swap、CAS？

【问题讨论】：

这更多是关于 x86/64 架构的硬件而非软件问题。
你在问 XY 问题。 CPU 命令与 BUS 的工作方式是正交的。

标签： multithreading driver linux-device-driver x86-64 pci-e

【解决方案1】：

我可以从互联网上收集到，撰写本文时最新一代的 Intel CPU ^[1]^[2]^[3] 仅支持 PCIe AtomicOps 作为完成者。

集成到 uncore 中的 PCIe 设备可以完成 AtomicOp 但无法请求，PCIe 端口可以请求 AtomicOp 但可能仅用于转发设备发起的请求。

似乎 PCI 根联合体无法请求 AtomicOps。
启用 AtomicOps 需要处理器和根复合体之间的紧密耦合：不仅处理器必须传输它正在执行的操作类型 - 从而实现 x86 指令和 PCIe AtomicOps 之间的映射 - 而且它的操作数也必须传输。
此外，根复合体必须能够在所有可能的目标中识别出写入目标的时间是启用 AtomicOps 的设备 - 因此需要一组软件可配置的地址范围。
最后，AtomicOps 需要由 QPI Quiesce Master 专门处理 - 因为目标设备已经在处理原子性，所以可以避免全局 QPI 锁定。
当然，所有这些都假设目标内存不可缓存（或者会发生缓存锁定）。

我不认为这些是不可克服的障碍，而是我相信 AtomicOps 的发明主要是为了缩短 IO->HostMem 原子写入或 IO->IO 写入的延迟。
Looking at what Intel wrote:

如今，基于消息的事务用于 PCIe 设备，这些设备使用的中断可能会经历较长的延迟，这与 CPU 更新使用原子事务的主内存不同。

似乎主要关注的是使用中断来通知设备驱动程序必须代表其托管设备执行原子写入。

Host->IO AtomicOps 是允许的，但似乎它们不能像今天那样生成，肯定不是单独使用 lock 前缀。
我还相信，从处理器向设备发出 AtomicOps 只会对执行相对于其他 PCIe 设备的原子写入有用，因为处理器通常会与锁同步。

【讨论】：