稀疏矩阵与密集矩阵乘法 C++ Tensorflow答案

【问题标题】：Sparse Matrix Vs Dense Matrix Multiplication C++ Tensorflow稀疏矩阵与密集矩阵乘法 C++ Tensorflow
【发布时间】：2020-07-28 05:32:16
【问题描述】：

我想用 C++ Tensorflow 写稀疏矩阵密集向量（SPMv）乘法：y = Ax

稀疏矩阵 A 以 CSR 格式存储。 A 的通常稀疏度在 50-90% 之间。目标是达到比密集矩阵密集向量 (DMv) 乘法更好或相似的时间。

请注意，我已经查看了以下帖子：Q1 Q2 Q3。但是，我仍然想知道以下几点：

【问题讨论】：

50% 的稀疏度不值得使用任何稀疏矩阵格式。为了让它变得有价值，它需要远低于 1%。
@HossamAmer 稀疏格式要求至少存储每个条目以及条目的列或行索引。因此，假设 32 位索引和值是存储的因子 > 2。并且缓存中的数据不那么规则且更难（而且您可能会丢失矢量化）。
@Joe 谢谢！我编辑了我的问题，让我们只关注时间......我希望我的执行时间比 DMv 更好我已经看到以下 link 解释了 CSR 乘法 - 即使其中有这个算法，时间会更糟？我认为内存访问是连续的和缓存友好的 + 更少的（加法和乘法）操作 - 不是吗？
欢迎来到 SO；关于您的第三个问题，请花点时间阅读What topics can I ask about here?，并注意要求我们推荐或查找书籍、工具、软件库、教程或其他非现场资源的问题已关闭-SO 的主题。
好的，谢谢！ :)

【解决方案1】：

回答编辑后的问题：

除非矩阵非常稀疏（在 CPU 上至少翻了一番（列或行索引 + 值），内存访问是不规则的（您可以通过右索引间接访问 -手边），矢量化（或在 GPU 上实现合并）变得更加困难，如果您进行并行化，您必须处理行长度不同的事实，因此静态调度可能不是最佳的。李>
除了以上几点，是的，存储表示很重要。例如，COO 矩阵存储两个索引和值，而 CSR/CSC 只存储一个但需要一个额外的偏移数组，这使得它们在运行中构建起来更加复杂。特别是在 GPU 上，如果您想至少实现一些合并，存储格式很重要。本文研究了存储格式如何影响 GPU 的性能：https://onlinelibrary.wiley.com/doi/full/10.1111/cgf.13957
对于通用的尝试Eigen 或cuSparse 在 GPU 上。对于特定用例，还有很多其他的表现更好，但这部分问题并没有明确的答案。

除了矩阵格式本身之外，甚至矩阵中条目的顺序也会对性能产生巨大影响，这就是为什么经常使用 Cuthill-McKee 算法来减少矩阵带宽（从而提高缓存性能）的原因。

【讨论】：

我的 A 中 NZE 的数量在 10-50% 之间。
好的，您对这个问题的第二条评论听起来像是您拥有 50-90% 的 NZE。对于那些接近 10% 的人，您可能从稀疏矩阵中受益，但对于那些接近 50% 的人，您肯定不会。两者都没有。性能或内存使用。
我的 A 中 NZE 的数量在 10-50% 之间。A 的大小比较大。 CPU case => 有了这个link 中大约50-90% 的稀疏性和CSR 乘积算法，你认为DMv 还会更好吗？你能指出不规则的内存访问吗？为什么矢量化很难？ GPU 机箱 => 是的！会有不同长度的行 - 它会比 DMv 更糟吗？时间上能接近吗？我正在尝试重现这篇论文的结果link?
d[Col[k]] 会导致内存访问不规则，这也是矢量化困难的部分原因。另一部分是变化的循环边界k = RowPtr[i]; k < RowPtr[i+1]。特别是在 GPU 上，我怀疑你会从 SpMV 中看到任何好处，但如果有疑问：测量。
谢谢，乔 - 我该如何测量？他们推荐使用 C++ 进行测量的方法吗？