/run のinodeが枯渇してしまい（docker）

2019年2月15日2020年5月8日オブジェクトストレージdocker,inode,libcontainerd,枯渇

先日設置して放置していたお手軽S3オブジェクトストレージ、s3minioですが、、

久々にそのサーバーを覗いてみたら、なにやらsyslog吐けませんとのメッセージが大量に。

調べてみると、/run（/var/run）のinodeが枯渇しておりまして

[root@ip-XXX-XXX-XXX-XXX ~]# df -i
ファイルシス Iノード I使用 I残り I使用% マウント位置
/dev/xvda1 10485184 157950 10327234 2% /
devtmpfs 120440 278 120162 1% /dev
tmpfs 126733 1 126732 1% /dev/shm
tmpfs 126733 126733 0 100% /run
tmpfs 126733 16 126717 1% /sys/fs/cgroup
/dev/xvdf 32768000 103304 32664696 1% /data
overlay 10485184 157950 10327234 2% /var/lib/docker/overlay2/2976a3a0ef4ea8b9ae2ed9b85270be0dfe22064e4717520f3a9f357250643c5a/merged
shm 126733 1 126732 1% /var/lib/docker/containers/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e/shm

何じゃコリャという訳で色々調べてみると、なんかdockerのディレクトリで謎のファイルが大量に。

/run/docker
/run/docker/swarm
/run/docker/netns
/run/docker/netns/4736ef7a7293
/run/docker/libnetwork
/run/docker/libnetwork/b05fa3d4283154694fcf2b06adc18cc512b5a427bd58335bd1cd1a53595702dc.sock
/run/docker/plugins
/run/docker/libcontainerd
/run/docker/libcontainerd/docker-containerd.sock
/run/docker/libcontainerd/event.ts
/run/docker/libcontainerd/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e
/run/docker/libcontainerd/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e/9260dd077f6e2b47396908dca5ba91545ee950340dc39577a7245e047b82ba2e-stderr
/run/docker/libcontainerd/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e/9260dd077f6e2b47396908dca5ba91545ee950340dc39577a7245e047b82ba2e-stdout
/run/docker/libcontainerd/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e/9260dd077f6e2b47396908dca5ba91545ee950340dc39577a7245e047b82ba2e-stdin
/run/docker/libcontainerd/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e/67078bce1c0f343ab9a5b23e923f351ded1b7075590f0b6b7360bbee88cbf529-stderr
/run/docker/libcontainerd/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e/67078bce1c0f343ab9a5b23e923f351ded1b7075590f0b6b7360bbee88cbf529-stdout
/run/docker/libcontainerd/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e/67078bce1c0f343ab9a5b23e923f351ded1b7075590f0b6b7360bbee88cbf529-stdin
/run/docker/libcontainerd/eb16e48abfea2002078febcf87a8313e62a6a4b931f3c71f279a5a0f38bc834e/77ee30760e772a3be07fbdd20276b57e8d38a76c703a4042459481a23eeb0d14-stderr
：
：　以下大量に
：

うん、、なんか標準出力のI/Oパイプっぽい。

同じ様な症例が無いか調べてみると、極僅かにありました。

1615597 – Undercloud runs out of inodes as docker takes up all

1656070 – really huge number of files in /run/docker/libcontainerd/ 30% in

でもコメント無いッスね・・・

もう少し調べてみると、似たようなものが。

Running out of inodes on /run · Issue #22095 · moby/moby · GitHub

この例はminioではないけれど、コンテナ作ると出来るfifoパイプっスって事らしい。

で、プロセスが終了した時に標準出入力のパイプが残ってしまうのを修正してる。

この例はminioではないけれど。（2度目）

試しにdockerごと再起動をかけてみると、綺麗に消えてくれました。

[root@ip-XXX-XXX-XXX-XXX ~]# systemctl restart docker

[root@ip-XXX-XXX-XXX-XXX ~]# df -i
ファイルシス Iノード I使用 I残り I使用% マウント位置
/dev/xvda1 10485184 132244 10352940 2% /
devtmpfs 120272 278 119994 1% /dev
tmpfs 126649 1 126648 1% /dev/shm
tmpfs 126649 456 126193 1% /run
tmpfs 126649 16 126633 1% /sys/fs/cgroup
/dev/xvdf 32768000 103316 32664684 1% /data
tmpfs 126649 1 126648 1% /run/user/1000
overlay 10485184 132244 10352940 2% /var/lib/docker/overlay2/a0b17436d3266181227655d7693a85031b76202906529dfd731d5556a29570e2/merged
shm 126649 1 126648 1% /var/lib/docker/containers/1c798c14557f3c07d8ea12eaa60639646c68c2b3a971a66442d5f341f5976301/shm

気持ち悪いっスね・・・

なんかとりあえずアップデートしてしまえという事で、dockerとminioをアップデート

docker-1.13.1-75.git8633870.el7.centos.x86_64
↓
docker-1.13.1-91.git07f3374.el7.centos.x86_64

何とminioは元のイメージがどのバージョンだったか控え忘れ・・・

新しいのは minio/minio:RELEASE.2019-02-14T00-21-45Z

念のためサーバーごと再起動をかけ、様子を見る事に。

今のところまだこのfifoパイプは増殖していない様子。

うん、気持ち悪いっス

日数をおいてまたチェックしてみます。

オブジェクトストレージdocker,inode,libcontainerd,枯渇

Posted by 工兵. PV2