编译一个容器化的 rust 应用程序以在 raspberry pi 4 (arm64/armv8) 上运行。无法执行“没有这样的文件或目录”

Question

我正在尝试在树莓派（树莓派 4）集群（k3s、docker）上运行 rust 应用程序（服务器）。我可以使用 buildx 成功编译我的 docker 映像，并在针对 arm64 架构时在树莓派上运行它

例如：docker buildx build --load --platform=linux/arm64 -t myrepo/myapp:arm-0.0.1 .

将 dockerfile 命令设置为 CMD ["echo", "hi i'm working!"]，回显“嗨，我正在工作！”正如预期的那样。这很好，因为我知道 buildx 正在工作。

我的问题是在尝试让 Rust 作为容器中的可执行文件工作时出现，以下是我的 dockerfile

FROM rust as builder
ARG APP_NAME="app"
ARG TARGET="x86_64-unknown-linux-musl"
ARG GITHUB_SSH_KEY=""
RUN apt-get update
RUN apt-get install musl-tools gcc-aarch64-linux-gnu gcc-arm-linux-gnueabihf -y
RUN rustup target add $TARGET;
RUN mkdir /usr/src/$APP_NAME
WORKDIR /usr/src/$APP_NAME

ENV CARGO_NET_GIT_FETCH_WITH_CLI=true

COPY Cargo.toml Cargo.lock ./
COPY ./src ./src

RUN mkdir .cargo
RUN if [ "$TARGET" = "armv7-unknown-linux-gnueabihf" ]; then printf '\n\n[target.armv7-unknown-linux-gnueabihf] \nlinker = "arm-linux-gnueabihf-gcc"' >> .cargo/config.toml; fi
RUN if [ "$TARGET" = "aarch64-unknown-linux-gnu" ]; then printf '\n\n[target.aarch64-unknown-linux-gnu] \nlinker = "aarch64-linux-gnu-gcc"' >> .cargo/config.toml; fi

RUN mkdir /root/.ssh/
RUN echo "$GITHUB_SSH_KEY" > /root/.ssh/id_rsa;
RUN chmod 400 /root/.ssh/id_rsa
RUN ssh-keyscan -H github.com >> /etc/ssh/ssh_known_hosts

RUN cargo build --release --target=$TARGET
RUN groupadd -g 10001 -r $APP_NAME
RUN useradd -r -g $APP_NAME -u 10001 $APP_NAME

# ------------------------------------------------------------------------------
# Final Stage
# ------------------------------------------------------------------------------

FROM scratch
ARG APP_NAME="app"
ARG TARGET="x86_64-unknown-linux-musl"
WORKDIR /user/local/bin/
COPY --from=0 /etc/passwd /etc/passwd
COPY --from=builder /usr/src/$APP_NAME/target/$TARGET/release/$APP_NAME ./app
USER $APP_NAME

ENTRYPOINT ["./app"]

如您所见，我可以通过 build args 更改目标，并且出于盲目的绝望尝试了 armv7、aarch64 甚至 x86_64。所有这些都没有错误地构建。在运行时 x86_64 可以预见地失败并出现典型的“执行格式错误”。但是，在 armv7 和 aarch64 中，错误都是“没有这样的文件或目录”。我执行到容器中，可以看到可执行文件在那里，但是，我无法运行它们。当我检查 armv7 容器中的文件时，我得到了以下输出

ELF 32 位 LSB 共享对象，ARM，EABI5 版本 1 (SYSV)，动态链接，解释器 /lib/ld-linux-armhf.so.3，适用于 GNU/Linux 3.2.0，BuildID[sha1]= 211fd9297da768ce435048457849b0ae6b22199a，带 debug_info，未剥离

希望有人能告诉我哪里出了问题，因为到目前为止我无法让应用程序在我的 pi 集群上运行容器化。我没有找到太多有用的文档来说明如何实现我正在尝试的目标，所以我想我会尝试在这里提问。任何帮助或见解将不胜感激！

需要注意的一点是，它在没有交叉编译位的情况下可以正常编译和运行，所以我确信应用程序本身可以正常工作。

同样在这一点上进行测试，我只是想运行一个简单的“你好，世界！”应用程序。

Answer 1

您只在 x86_64 上使用 musl。如果你不使用 musl 并且不禁用标准库，那么 rust 应用程序将动态依赖于系统 libc。该库不存在于临时 docker 容器中。因此，要么使用一个包含 libc 副本的最小容器，如 alpine，从头构建一个包含 libc 及其依赖项的容器，或者在所有架构上使用 musl。

您应该能够通过对容器中的可执行文件运行ldd 工具来查看所需的库。

musl on arm 的目标字符串是：armv7-unknown-linux-musleabihf 和 aarch64-unknown-linux-musl

Answer 2

我意识到，如果我完全删除目标定义并让 arm64 docker 环境构建 rust 应用程序，它会按预期工作。感谢@user1937198，我发现使用"aarch64-unknown-linux-musl" 作为目标允许在容器中静态构建arm rust。工作的 docker 文件在下面

FROM rust as builder
ARG APP_NAME="app"
ARG TARGET="aarch64-unknown-linux-musl"
ARG GITHUB_SSH_KEY=""
RUN apt-get update
RUN rustup target add $TARGET
RUN mkdir /usr/src/$APP_NAME
WORKDIR /usr/src/$APP_NAME

ENV CARGO_NET_GIT_FETCH_WITH_CLI=true

COPY Cargo.toml Cargo.lock ./
COPY ./src ./src

RUN mkdir /root/.ssh/
RUN echo "$GITHUB_SSH_KEY" > /root/.ssh/id_rsa;
RUN chmod 400 /root/.ssh/id_rsa
RUN ssh-keyscan -H github.com >> /etc/ssh/ssh_known_hosts

RUN cargo build --release --target=$TARGET
RUN groupadd -g 10001 -r $APP_NAME
RUN useradd -r -g $APP_NAME -u 10001 $APP_NAME

# ------------------------------------------------------------------------------
# Final Stage
# ------------------------------------------------------------------------------

FROM scratch
ARG APP_NAME="app"
ARG TARGET="aarch64-unknown-linux-musl"
WORKDIR /user/local/bin/
COPY --from=0 /etc/passwd /etc/passwd
COPY --from=builder /usr/src/$APP_NAME/target/$TARGET/release/$APP_NAME ./app
USER $APP_NAME

CMD ["./app"]