关于在 Docker-Compose 中设置 Apache Ignite 的问题

Question

进一步了解我的更新场景...

我正在尝试在我们的 Docker-compose 环境中设置 Apache Ignite，并且对 Ignite 以及如何配置它有一些疑问。

1. 如果我在项目中有 Maven 依赖项，那么下载和运行 Apache Ignite 二进制文件的目的是什么？我是否需要在每个模块中也运行 Ignite，还是仅仅拥有足够的依赖项？

2. Ignite 节点的每个实例是否都需要关联配置，它们之间有何不同？

3. 我有一个 Docker-Compose 文件，其中包含两个服务，一个拉入 Ignite 容器，一个 Java shell 允许我运行/测试我的模块。在我的 shell 中，当我运行 compose 服务时，我的测试似乎发现了 ignite 服务。当我从 IntelliJ 运行测试时，它没有发现其他 Ignite 服务器。

我的撰写服务：

  #Ignite
  ignite:
    image: apacheignite/ignite
    environment:
      - IGNITE_QUITE=false
    #volumes:
    #  - ./project/src/test/resources/ignite.xml:/opt/ignite/apache-ignite-fabric/config/default-config.xml
    ports:
      - 11211:11211
      - 47100:47100
      - 47500:47500
      - 49112:49112

  # Java Shell
  java:
    image: local/java
    build:
      context: .
    command: /bin/bash
    volumes:
      - .:/project
    depends_on:
      - ignite
    ports:
      - 8000:8000
      - 8080:8080
      - 1099:1099

我在测试中使用的 Ignite 配置：

 <bean id="ignite.cfg"
          class="org.apache.ignite.configuration.IgniteConfiguration">

        <property name="discoverySpi">
            <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                <property name="ipFinder">
                    <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">
                        <property name="addresses">
                            <list>
                                <!--
                                Explicitly specifying address of a local node to let it start and
                                operate normally even if there is no more nodes in the cluster.
                                You can also optionally specify an individual port or port range.
                                -->
                                <value>127.0.0.1</value>

                                <!--
                                IP Address and optional port range of a remote node.
                                You can also optionally specify an individual port.
                                -->
                                <value>127.0.0.1:47500..47509</value>
                            </list>
                        </property>
                    </bean>
                </property>
            </bean>
        </property>
    </bean>

我的测试：

@Test
    //@Ignore
    public void should_run_cluster()
    {
        try (Ignite ignite = Ignition.start("ignite2.xml"))
        {
            IgniteCache<Integer, String> cache = ignite.getOrCreateCache("myCacheName");

            // Store keys in cache (values will end up on different cache nodes).
            for (int i = 0; i < 10; i++)
            {
                cache.put(i, Integer.toString(i));
            }

            for (int i = 0; i < 10; i++)
            {
                System.out.println("Got [key=" + i + ", val=" + cache.get(i) + ']');
            }
        }
    }

根据我所做的，当从 IntelliJ 运行它时，我似乎能够与 Ignite 节点对话，但它拒绝节点加入集群。

我尝试过从 Java 服务公开端口（不同的端口号，不只公开内部等），但没有成功。

如果我尝试将我的配置附加到 Ignite 服务，它完全不起作用。

我的最终目标是使用 Docker-Compose 设置环境，我可以在本地加入以进行测试，但最终将其移至 ECS/Fargate。

我确信我的配置搞混了，如果有任何帮助，我们将不胜感激......

----- 更新-----

所以，我已经能够使用 localhost/127.0.0.1 从 IntelliJ 连接到 Ignite，并在容器网络中使用 compose 服务名称“ignite”。

这是正确的方法吗？我看不到如何在不使用令牌替换 (${port}) 的情况下为每个节点使用相同的配置，因为我似乎需要为 DiscoverySpi 和 CommunicationSpi 设置一个唯一的端口值。

此外，当从我的客户端（在本例中为 JUnit）连接时，建立初始连接需要很长时间。

那么，我现在的问题是，这是否是配置 Ignite 的正确方法？

“点燃”服务（在 Compose 中）：

  ignite:
    image: apacheignite/ignite
    environment:
      - IGNITE_QUIET=false
    volumes:
      - ./project/src/test/resources/ignite-main.xml:/opt/ignite/apache-ignite-fabric/config/default-config.xml
    ports:
      - 11211:11211
      - 47100:47100
      - 47500:47500
      - 49112:49112

“Ignite”服务配置（ignite-main.xml）：

<property name="discoverySpi">
            <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                <property name="localPort" value="47500"/>
                <property name="ipFinder">
                    <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">
                        <property name="addresses">
                            <list>
                                <value>localhost</value>
                                <value>localhost:47500</value>
                            </list>
                        </property>
                    </bean>
                </property>
            </bean>
        </property>
        <property name="communicationSpi">
            <bean class="org.apache.ignite.spi.communication.tcp.TcpCommunicationSpi">
                <property name="localPort" value="47100"/>
            </bean>
        </property>

客户端 Ignite 配置 (ignite.xml)：

<property name="discoverySpi">
            <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                <property name="localPort" value="47501"/>
                <property name="ipFinder">
                    <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">
                        <property name="addresses">
                            <list>
                                <value>localhost</value>
                                <value>localhost:47500</value>
                            </list>
                        </property>
                    </bean>
                </property>
            </bean>
        </property>
        <property name="communicationSpi">
            <bean class="org.apache.ignite.spi.communication.tcp.TcpCommunicationSpi">
                <property name="localPort" value="47101"/>
            </bean>
        </property>

客户端点燃测试用例：

私有静态Ignite 点燃；

@BeforeClass
public static void beforeAll()
{
    ignite = Ignition.start("ignite.xml");
}

@AfterClass
public static void afterAll()
{
    ignite.close();
}

@Test
public void should_prep_cluster()
{
    IgniteCache<Integer, String> cache = ignite.getOrCreateCache("myCacheName");

    // Store keys in cache (values will end up on different cache nodes).
    for (int i = 0; i < 10; i++)
    {
        cache.put(i, Integer.toString(i));
    }

    for (int i = 0; i < 10; i++)
    {
        System.out.println("Got [key=" + i + ", val=" + cache.get(i) + ']');
    }
}

Answer 1

1. 这样您就可以使用任何模块集运行独立的 Ignite 节点，例如使用sqlline 对它运行 SQL，或者（在使用对等类加载时）使用连接的 Ignite 客户端执行几乎任何操作。但话又说回来，您可以直接从 Maven 项目运行 Ignite 节点（客户端或服务器），在这种情况下，您根本不需要二进制分发。

2. 是的。除了不需要的节点属性或consistentId 之外，它们可能是相同的。

3. 很难说。可以提供日志吗？我觉得懂容器的人可以不用日志检查，但我不能。

Answer 2

作为@alamar 回答的补充：

由于 Docker Compose 服务在单独的容器中启动，您不能使用 localhost 或 127.0.0.1 来发现服务器节点。您可以链接 ignite 服务以便能够使用 DNS 名称ignite。

编写服务：

# Ignite
ignite:
  image: apacheignite/ignite
  environment:
    - IGNITE_QUIET=false
  # volumes:
  #   - ./project/src/test/resources/ignite.xml:/opt/ignite/apache-ignite-fabric/config/default-config.xml
  # It is not necessary to expose ports outside if they are only used inside docker-compose
  # ports:
  #   - 11211:11211
  #   - 47100:47100
  #   - 47500:47500
  #   - 49112:49112
# Java Shell
java:
  image: local/java
  build:
    context: .
  command: /bin/bash
  volumes:
    - .:/project
  links:
    - ignite
  ports:
    - 8000:8000
    - 8080:8080
    - 1099:1099

客户端点火配置（ignite.xml）：

<property name="discoverySpi">
    <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
        <property name="ipFinder">
            <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">
                <property name="addresses">
                    <list>
                        <value>ignite:47500</value>
                    </list>
                </property>
            </bean>
        </property>
    </bean>
</property>