为什么 M1 Max 上的原生 Python 比旧 Intel i5 上的 Python 慢得多？

Question

我刚拿到带有 M1 Max 芯片的新 MacBook Pro，并且正在设置 Python。我已经尝试了几种组合设置来测试速度 - 现在我很困惑。先把我的问题放在这里：

• 为什么在 M1 Max 上原生运行 python 比在我的配备 Intel i5 的旧 MacBook Pro 2016 上慢很多（~100%）？
• 在 M1 Max 上，为什么原生运行（通过 miniforge）和通过 Rosetta 运行（通过 anaconda）之间没有显着的速度差异 - 应该慢约 20%？
• 在 M1 Max 和原生运行中，为什么 conda 安装的 Numpy 和 TensorFlow 安装的 Numpy 之间没有显着的速度差异 - 应该更快？
• 在 M1 Max 上，为什么在 PyCharm IDE 中运行总是比从终端运行慢约 20%，这在我的旧 Intel Mac 上不会发生。

支持我的问题的证据如下：

---

这是我尝试过的设置：

1.由

安装的Python

• Miniforge-arm64，因此 python 在 M1 Max 芯片上原生运行。 （从活动监视器检查，python 进程的Kind 是Apple）。
• Anaconda。然后通过Rosseta运行python。 （从活动监视器检查，python 进程的Kind 是Intel）。

2。由

安装的 Numpy

• conda install numpy: numpy 来自原 conda-forge 频道，或预装了 anaconda。
• Apple-TensorFlow：用miniforge安装的python，我直接安装tensorflow，numpy也会安装。据说这样安装的numpy是针对苹果M1优化的，速度会更快。以下是安装命令：

conda install -c apple tensorflow-deps
python -m pip install tensorflow-macos
python -m pip install tensorflow-metal

3.从

运行

• 终端。
• PyCharm (Apple Silicon version)。

---

这里是测试代码：

import time
import numpy as np
np.random.seed(42)
a = np.random.uniform(size=(300, 300))
runtimes = 10

timecosts = []
for _ in range(runtimes):
    s_time = time.time()
    for i in range(100):
        a += 1
        np.linalg.svd(a)
    timecosts.append(time.time() - s_time)

print(f'mean of {runtimes} runs: {np.mean(timecosts):.5f}s')

结果如下：

+-----------------------------------+-----------------------+--------------------+
|   Python installed by (run on)→   | Miniforge (native M1) | Anaconda (Rosseta) |
+----------------------+------------+------------+----------+----------+---------+
| Numpy installed by ↓ | Run from → |  Terminal  |  PyCharm | Terminal | PyCharm |
+----------------------+------------+------------+----------+----------+---------+
|          Apple Tensorflow         |   4.19151  |  4.86248 |     /    |    /    |
+-----------------------------------+------------+----------+----------+---------+
|        conda install numpy        |   4.29386  |  4.98370 |  4.10029 | 4.99271 |
+-----------------------------------+------------+----------+----------+---------+

这很慢。为了比较，

• 在我的带有 i5 芯片的旧 MacBook Pro 2016 上运行相同的代码 - 花费 2.39917s。
• 另一个 post (but not in English) 报告使用 M1 芯片（不是 Pro 或 Max）运行，miniforge+conda_installed_numpy 是 2.53214s，miniforge+apple_tensorflow_numpy 是 1.00613s .
• 您也可以自己试一试。

这里是CPU信息详情：

• 我的旧 i5：

$ sysctl -a | grep -e brand_string -e cpu.core_count
machdep.cpu.brand_string: Intel(R) Core(TM) i5-6360U CPU @ 2.00GHz
machdep.cpu.core_count: 2

• 我的新 M1 Max：

% sysctl -a | grep -e brand_string -e cpu.core_count
machdep.cpu.brand_string: Apple M1 Max
machdep.cpu.core_count: 10

---

我严格按照教程中的说明进行操作 - 但为什么会发生所有这些情况？是因为我的安装缺陷，还是因为M1 Max芯片？由于我的工作严重依赖本地跑步，本地速度对我来说非常重要。对可能的解决方案的任何建议，或您自己设备上的任何数据点将不胜感激:)

Answer 1

如何在 M1 Max 上安装 numpy，加速性能最高（苹果的 vecLib）？这是截至 2021 年 12 月 6 日的答案。

---

步骤

我。安装 miniforge

这样您的 Python 就可以在 arm64 上本地运行，而不是通过 Rosseta 进行翻译。

1. 下载Miniforge3-MacOSX-arm64.sh，然后
2. 运行脚本，然后打开另一个 shell

$ bash Miniforge3-MacOSX-arm64.sh

1. 创建环境（这里我使用名称np_veclib）

$ conda create -n np_veclib python=3.9
$ conda activate np_veclib

二。使用指定为 vecLib 的 BLAS 接口安装 Numpy

1. 要编译numpy，首先需要安装cython和pybind11：

$ conda install cython pybind11

1. 编译numpy（感谢@Marijn 的answer） - 不要使用conda install！

$ pip install --no-binary :all: --no-use-pep517 numpy

1. 2. 的替代方法是从源代码构建

$ git clone https://github.com/numpy/numpy
$ cd numpy
$ cp site.cfg.example site.cfg
$ nano site.cfg

编辑复制的site.cfg：添加以下行：

[accelerate]
libraries = Accelerate, vecLib

然后构建并安装：

$ NPY_LAPACK_ORDER=accelerate python setup.py build
$ python setup.py install

4. 在 2 或 3 之后，现在测试 numpy 是否在使用 vecLib：

>>> import numpy
>>> numpy.show_config()

然后，应该打印像/System/Library/Frameworks/vecLib.framework/Headers 这样的信息。

三。使用 conda 进一步安装其他软件包

让 conda 识别 pip 安装的包

conda config --set pip_interop_enabled true

必须这样做，否则如果例如conda install pandas，然后numpy 将在The following packages will be installed 列表中并再次安装。但是新装的是conda-forge频道，速度慢。

---

与其他安装的比较：

1。竞争对手：

除了上面那个最优的，我还尝试了其他几种安装方式

• A. np_default: conda create -n np_default python=3.9 numpy
• 乙。 np_openblas: conda create -n np_openblas python=3.9 numpy blas=*=*openblas*
• C. np_netlib: conda create -n np_netlib python=3.9 numpy blas=*=*netlib*

以上 ABC 选项直接从 conda-forge 频道安装。 numpy.show_config() 将显示相同的结果。要查看差异，请通过conda list 检查 - 例如openblas 包安装在 B 中。注意，mkl 或 blis 在 arm64 上不受支持。

• D. np_openblas_source：首先通过brew install openblas 安装openblas。然后将 [openblas] 路径 /opt/homebrew/opt/openblas 添加到 site.cfg 并从源代码构建 Numpy。
• M1 和 i9–9880H 在这个 post 中。
• 我在 MacBook Pro 2016 13 英寸上的旧 i5-6360U 2cores。

2。基准：

这里我使用了两个基准：

1. mysvd.py: 我的 SVD 分解

import time
import numpy as np
np.random.seed(42)
a = np.random.uniform(size=(300, 300))
runtimes = 10

timecosts = []
for _ in range(runtimes):
    s_time = time.time()
    for i in range(100):
        a += 1
        np.linalg.svd(a)
    timecosts.append(time.time() - s_time)

print(f'mean of {runtimes} runs: {np.mean(timecosts):.5f}s')

1. dario.py：Dario Radečić 在上面的帖子中的基准脚本。

3。结果：

+-------+-----------+------------+-------------+-----------+--------------------+----+----------+----------+
|  sec  | np_veclib | np_default | np_openblas | np_netlib | np_openblas_source | M1 | i9–9880H | i5-6360U |
+-------+-----------+------------+-------------+-----------+--------------------+----+----------+----------+
| mysvd |  1.02300  |   4.29386  |   4.13854   |  4.75812  |      12.57879      |  / |     /    |  2.39917 |
+-------+-----------+------------+-------------+-----------+--------------------+----+----------+----------+
| dario |     21    |     41     |      39     |    323    |         40         | 33 |    23    |    78    |
+-------+-----------+------------+-------------+-----------+--------------------+----+----------+----------+

Answer 2

可能原因：不同的 BLAS 库

由于基准测试运行的是线性代数例程，因此这里可能测试的是 BLAS 实现。 osx-64 平台的默认 Anaconda 发行版将与 Intel 的 MKL 实现一起提供； osx-arm64 平台只有通用的 Netlib BLAS 和 OpenBLAS 实现选项。

对于我（MacOS w/ Intel i9），我得到以下基准测试结果：

BLAS Implmentation	Mean Timing (s)
mkl	0.95932
blis	1.72059
openblas	2.17023
netlib	5.72782

所以，我怀疑旧的 MBP 安装了 MKL，而 M1 系统正在安装 Netlib 或 OpenBLAS。也许尝试弄清楚 Netlib 或 OpenBLAS 在 M1 上是否更快，并保留更快的那个。

---

指定 BLAS 实现

以下是我测试的不同环境：

# MKL
conda create -n np_mkl python=3.9 numpy blas=*=*mkl*

# BLIS
conda create -n np_blis python=3.9 numpy blas=*=*blis*

# OpenBLAS
conda create -n np_openblas python=3.9 numpy blas=*=*openblas*

# Netlib
conda create -n np_netlib python=3.9 numpy blas=*=*netlib*

并使用

运行基准脚本 (so-np-bench.py)

conda run -n np_mkl python so-np-bench.py

# etc.