Terraform 应用时触发循环错误

Question

我正在尝试使用 terraform 构建一个 galera 集群。为此，我需要使用节点 ip 渲染 galera 配置，因此我使用文件模板。

应用时，terraform 会触发错误

Error: Cycle: data.template_file.galera_node_config, hcloud_server.galera_node

申请时似乎有循环引用，因为在使用数据模板之前没有创建服务器。

我该如何规避这个？

谢谢

galera_node.tf

data "template_file" "galera_node_config" {
  template = file("sys/etc/mysql/mariadb.conf/galera.cnf")

  vars = {
    galera_node0 = hcloud_server.galera_node[0].ipv4_address
    galera_node1 = hcloud_server.galera_node[1].ipv4_address
    galera_node2 = hcloud_server.galera_node[2].ipv4_address
    curnode_ip = hcloud_server.galera_node[count.index].ipv4_address
    curnode = hcloud_server.galera_node[count.index].id
    }
}


resource "hcloud_server" "galera_node" {
  count       = var.galera_nodes
  name        = "galera-${count.index}"
  image       = var.os_type
  server_type = var.server_type
  location    = var.location
  ssh_keys    = [hcloud_ssh_key.default.id]

  labels = {
    type = "cluster"
  }

  user_data = file("galera_cluster.sh")

  provisioner "file" {
    content     = data.template_file.galera_node_config.rendered
    destination = "/tmp/galera_cnf"
    connection {
      type        = "ssh"
      user        = "root"
      host = self.ipv4_address
      private_key = file("~/.ssh/id_rsa")
    }

  }



}

Answer 1

这里的问题是，您有多个相互依赖的节点，因此 Terraform 没有有效的创建它们的顺序：必须先创建它们，然后才能创建任何其他节点。

要解决这个问题，需要采用不同的方法。有几个不同的选项，但似乎最接近您已经尝试过的选项是使用特殊资源类型null_resource 将配置分解为一个单独的资源，Terraform 只有在完成所有hcloud_server 实例已准备就绪。

另请注意，template_file 数据源已被弃用，取而代之的是 the templatefile function，因此这是一个通过使用该函数来简化配置的好机会。

这两个变化共同导致了这一点：

resource "hcloud_server" "galera_node" {
  count       = var.galera_nodes
  name        = "galera-${count.index}"
  image       = var.os_type
  server_type = var.server_type
  location    = var.location
  ssh_keys    = [hcloud_ssh_key.default.id]

  labels = {
    type = "cluster"
  }

  user_data = file("galera_cluster.sh")
}

resource "null_resource" "galera_config" {
  count = length(hcloud_server.galera_node)

  triggers = {
    config_file = templatefile("${path.module}/sys/etc/mysql/mariadb.conf/galera.cnf", {
      all_addresses = hcloud_server.galera_node[*].ipv4_address
      this_address  = hcloud_server.galera_node[count.index].ipv4_address
      this_id       = hcloud_server.galera_node[count.index].id
    })
  }

  provisioner "file" {
    content     = self.triggers.config_file
    destination = "/tmp/galera_cnf"
    connection {
      type        = "ssh"
      user        = "root"
      host        = hcloud_server.galera_node[count.index].ipv4_address
      private_key = file("~/.ssh/id_rsa")
    }
  }
}

上面的triggers 参数用于告诉 Terraform，每次配置文件发生任何变化时，它都必须重新运行配置程序，这可能是因为您添加了一个新节点：所有现有节点然后将重新配置以在其配置中包含该附加节点。

Provisioners are considered a last resort 在 Terraform 文档中，但在这种特殊情况下，替代方案可能要复杂得多。一个典型的非供应商回答是使用服务发现系统，每个节点可以在启动时注册自己，然后发现其他节点，例如HashiCorp Consul的服务目录。但是，除非您的基础架构中有许多类似的用例都可以共享 Consul 集群，否则与仅使用配置器相比，必须运行另一个服务可能是不合理的成本。

Answer 2

您确实尝试在您的resource "hcloud_server" "galera_node" 中使用data.template_file.galera_node_config，并在您的data.template_file 中使用hcloud_server.galera_node。

为了避免这个问题：

1. 从您的 hcloud_server.galera_node 中删除配置器“文件”
2. 将此配置器“文件”移动到新的 null_resource，例如像这样：

resource "null_resource" template_upload {
  count = var.galera_nodes
  provisioner "file" {
    content     = data.template_file.galera_node_config.rendered
    destination = "/tmp/galera_cnf"
    connection {
      type        = "ssh"
      user        = "root"
      host = hcloud_server.galera_nodes[count.index].ipv4_address
      private_key = file("~/.ssh/id_rsa")
    }
depends_on = [hcloud_server.galera_node]
}