kubernetes timescaledb statefulset：在 pod 重新创建时丢失的更改答案

【问题标题】：kubernetes timescaledb statefulset: Changes lost on pod recreationkubernetes timescaledb statefulset：在 pod 重新创建时丢失的更改
【发布时间】：2019-11-30 02:00:29
【问题描述】：

我有一个 Timescaledb 服务器在 AKS 中作为 StatefulSet 运行。当我删除并重新创建 timescaledb pod 时，即使 pod 与最初关联的 PV（持久卷）相关联，更改也会丢失。任何帮助表示赞赏。

下面是运行kubectl get statefulset timescaledb -o yaml提取的statefulset的PV、PVC配置

  template:
    metadata:
      creationTimestamp: null
      labels:
        app: timescaledb
    spec:
      containers:
      - args:
        - -c
        - config_file=/etc/postgresql/postgresql.conf
        env:
        - name: POSTGRES_PASSWORD
          valueFrom:
            secretKeyRef:
              key: password
              name: timescaledb-secret
        image: docker.io/timescale/timescaledb:latest-pg9.6
        name: timescaledb-backend
        ports:
        - containerPort: 5432
          name: server
          protocol: TCP
        resources:
          requests:
            cpu: "3"
            memory: 6Gi
        volumeMounts:
        - mountPath: /var/lib/postgresql
          name: timescaledbdata
        - mountPath: /etc/postgresql
          name: timescaledb-config
      volumes:
      - configMap:
          defaultMode: 420
          name: timescaledb-config
        name: timescaledb-config
  volumeClaimTemplates:
  - metadata:
      annotations:
        volume.alpha.kubernetes.io/storage-class: standard
      creationTimestamp: null
      name: timescaledbdata
    spec:
      accessModes:
      - ReadWriteOnce
      dataSource: null
      resources:
        requests:
          storage: 200Gi
    status:
      phase: Pending

下图演示了创建的临时数据库 test_db 在 pod 重新创建后丢失，并且在整个过程中，该 pod 关联到 Azure 上的同一个 PV/磁盘。

root@e70a91715239:~/keys# k get pvc -l app=timescaledb
NAME                            STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
timescaledbdata-timescaledb-0   Bound    pvc-c7eb99cf-6a6b-11e9-b661-be660567cc75   200Gi      RWO            default        83d

root@e70a91715239:~/keys# k exec -ti timescaledb-0 bash
bash-4.4# psql -U postgres;
psql (9.6.13)
Type "help" for help.

postgres=# create database test_db;
CREATE DATABASE
postgres=# \l
                                 List of databases
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges   
-----------+----------+----------+------------+------------+-----------------------
 postgres  | postgres | UTF8     | en_US.utf8 | en_US.utf8 | 
 template0 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
 template1 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +
           |          |          |            |            | postgres=CTc/postgres
 test_db   | postgres | UTF8     | en_US.utf8 | en_US.utf8 | 
(4 rows)


root@e70a91715239:~/keys# k get pods | grep timescale
timescaledb-0                         1/1     Running   0          12m
root@e70a91715239:~/keys# k delete pod/timescaledb-0                            
pod "timescaledb-0" deleted                                                                                                                                         
root@e70a91715239:~/keys# k get pods | grep timescale       
timescaledb-0                         1/1     Running   0          14s   

root@e70a91715239:~/keys# k exec -ti timescaledb-0 bash                                                                                                             
bash-4.4# psql -U postgres
psql (9.6.13)
Type "help" for help.

postgres=# \l
                                 List of databases
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges                                                                                    
-----------+----------+----------+------------+------------+-----------------------                                                                                 
 postgres  | postgres | UTF8     | en_US.utf8 | en_US.utf8 |
 template0 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +                                                                                 
           |          |          |            |            | postgres=CTc/postgres                                                                                  
 template1 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +                                                                                 
           |          |          |            |            | postgres=CTc/postgres                                                                                  
(3 rows)

root@e70a91715239:~/keys# k get pvc -l app=timescaledb
NAME                            STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
timescaledbdata-timescaledb-0   Bound    pvc-c7eb99cf-6a6b-11e9-b661-be660567cc75   200Gi      RWO            default        83d

可能它正在按照提示重新初始化。请参阅logs。关于它为什么会这样做的任何指示。

更新 1：我查看了timescale pod 中的挂载，/var/lib/postgresql 和/var/lib/postgresql/data 似乎有不同的分区。我不明白为什么。

Filesystem                Size      Used Available Use% Mounted on
overlay                  96.9G     22.1G     74.8G  23% /
tmpfs                    64.0M         0     64.0M   0% /dev
tmpfs                     7.8G         0      7.8G   0% /sys/fs/cgroup
/dev/sda1                96.9G     22.1G     74.8G  23% /docker-entrypoint-initdb.d
/dev/sda1                96.9G     22.1G     74.8G  23% /dev/termination-log
shm                      64.0M      4.0K     64.0M   0% /dev/shm
/dev/sda1                96.9G     22.1G     74.8G  23% /etc/resolv.conf
/dev/sda1                96.9G     22.1G     74.8G  23% /etc/hostname
/dev/sda1                96.9G     22.1G     74.8G  23% /etc/hosts
/dev/sdc                196.7G     59.3M    196.7G   0% /var/lib/postgresql
/dev/sda1                96.9G     22.1G     74.8G  23% /var/lib/postgresql/data

不明白上面的安装是如何发生在下面的配置中的

        volumeMounts:
        - mountPath: /var/lib/postgresql
          name: timescaledbdata
        - mountPath: /etc/postgresql
          name: timescaledb-config

【问题讨论】：

你在哪里安装卷以及你在哪里存储数据库的数据？
嗨，Charles，我现在已将大部分 statefulset 配置添加到帖子中。
嗯，显而易见的问题是，数据是否被转储到磁盘？您是否咨询过 timescaledb 文档来验证如何测试它以及如何让它从磁盘中获取数据（如果有）？
从你的输出来看，新创建的 pod 在它需要用于 PGDATA 的目录上做了一个initdb。在没有所有详细信息的情况下，看起来它在启动时遇到了一个空的卷/目录。要解决此问题，您必须查看新启动的 pod 的日志，了解它的作用和原因。
嗨飞克，感谢您的提示。看起来它通过调用所有这些入口点文件重新初始化。您是否发现 timescaledb pod 的启动方式存在问题？我不知道为什么它会重新初始化。

标签： postgresql azure azure-aks persistent-volumes timescaledb

【解决方案1】：

问题是/var/lib/postgresql/data 在postgres:9.6 Dockerfile 中有一个 VOLUME 声明，这导致容器上的额外装载。当我们在/var/lib/postgresql 进行卷挂载时，该挂载是短暂的。但是我们无法将 AKS 卷挂载到 /var/lib/postgresql/data，因为该卷带有 lost+found 子目录，并且 Postgres 需要空目录来存储数据库文件。

修复方法是在 /var/lib/postgresql/data 上挂载卷，并告诉 Postgres 使用 /var/lib/postgresql/data 下的子目录来存储带有 PGDATA 环境变量的文件。

下面是k8s statefulset配置中fix的相关部分

env:
- name: PGDATA
  value: "/var/lib/postgresql/data/dbfiles"        
...
volumeMounts:
- mountPath: /var/lib/postgresql/data
  name: timescaledata

【讨论】：