减少 Java Lambda 函数部署包中的 jar 文件数量

Question

我正在开发一个带有两个处理程序的 Lambda 函数：一个用于抓取网站，另一个用于基于抓取和组合的内容构建静态网站。

我创建了两个单独的类，其中两个方法同时处理抓取和网站建设。这两个类都使用 AWS Java SDK 来访问 S3 和 DynamoDB 等服务。我也在使用其他库，例如 Apache Free Marker、Gson 等。

我已确保在我的代码中只导入特定的类，并避免使用任何 import .* 类型的表达式。

在我构建和部署我的 Lambda 并检查部署包后，我注意到巨大的大小：123 兆字节！大包大小的原因是 lib 文件夹中包含多达 211 (!) 个 jar 文件。

当我进一步分析包含的 jar 文件时，我注意到 90% 以上的 jar 来自 AWS SDK。

我的问题：在构建与不同 AWS 服务集成的应用程序时，这是 Lambda 部署包的正常文件大小，还是我在这里做错了什么？在我看来，这根本不是一个复杂的应用程序，而且导入的 jar 的数量似乎过多并且炸毁了部署包。

编辑 1：我的 pom.xml 包含在下面：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>helloworld</groupId>
    <artifactId>HelloWorld</artifactId>
    <version>1.0</version>
    <packaging>jar</packaging>
    <name>A sample Hello World created for SAM CLI.</name>
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>

    <dependencyManagement>
        <dependencies>
            <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk-bom -->
            <dependency>
                <groupId>com.amazonaws</groupId>
                <artifactId>aws-java-sdk-bom</artifactId>
                <version>1.11.651</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-lambda-java-core</artifactId>
            <version>1.2.0</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <!-- jsoup HTML parser library @ https://jsoup.org/ -->
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.12.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-lambda-java-events -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-lambda-java-events</artifactId>
            <version>2.2.7</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk</artifactId>
            <version>1.11.659</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/software.amazon.awssdk/sdk-core -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-core</artifactId>
            <!--<version>1.11.651</version>-->
        </dependency>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-dynamodb</artifactId>
            <!--<version>1.11.651</version>-->
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.google.code.gson/gson -->
        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk-s3 -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <!--<version>1.11.651</version>-->
        </dependency>

        <dependency>
            <groupId>org.freemarker</groupId>
            <artifactId>freemarker</artifactId>
            <version>2.3.29</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.6</version>
        </dependency>


    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.1.1</version>
                <configuration>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

编辑 2：在排除“aws-java-sdk”依赖项并重新构建项目后，我能够再次运行“部署无服务器应用程序”命令，并且成功了。部署包大小降至 9.3 兆字节和 21 个 jar - 我检查了包含的 jar，它们实际上是我真正需要的。

Answer 1

这里的问题是你有以下作为你的依赖项之一：

<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk</artifactId>
    <version>1.11.659</version>
</dependency>

这会导致您的项目依赖于整个 AWS Java SDK，而不是单个服务模块。

解决办法是去掉这个依赖，只依赖项目正常运行所需的模块。