Mac mini 디스크 고갈로 밤새 prod 출렁임, 재시작 후엔 쌓인 빈 컨테이너 460개가 복구를 막다
Timeline
사고 개요
2026-10-27 새벽부터 오전까지, prod 쿠버네티스가 올라간 Mac mini(192.168.32.55)의 디스크가 차서 prod가 6시간 넘게 출렁였다. 03:34부터 09:54까지 공개 도메인 18개 중 응답하는 것이 2개에서 16개 사이를 오갔다.
한 번 회복된 뒤 11:20에는 Docker 엔진이 멈췄다. 워치독이 OrbStack을 강제로 재시작했지만, 재시작 후에도 컨테이너가 하나도 뜨지 않았다. 밤새 실패한 생성 시도가 남긴 빈 컨테이너 460개가 엔진을 붙잡고 있었기 때문이다. 이것을 지우자 2분 만에 전부 돌아왔다.
이틀 전(10-25 밤)에도 같은 원인으로 prod가 18분 멈췄다. 그때는 캐시를 지워 복구하고 넘어갔다.
영향 범위
| 항목 | 내용 |
|---|---|
| 영향 서비스 | prod 전체 (공개 도메인 18개), Cloudflare Tunnel |
| 부분 장애 | 약 6시간 20분 (03:34 ~ 09:54 KST) — 퇴출과 재스케줄이 반복되며 일부 도메인만 응답 |
| 전면 장애 | 약 25분 (11:29 ~ 11:54 KST) — 공개 도메인 대부분 530 |
| 영향받은 사용자 | 전체 (새벽 시간대 부분 장애, 오전 전면 장애) |
| 데이터 손실 | 없음 |
근본 원인
직접 원인
OrbStack VM의 디스크 여유 공간은 Mac의 여유 공간에 묶여 있다. VM 안 파일시스템은 117GB로 잡혀 있지만, 실제로 쓸 수 있는 양은 Mac 데이터 볼륨에 남은 만큼이다.
| 시각 | Mac 사용률 (여유) | VM 노드 디스크 사용률 |
|---|---|---|
| 10-26 21:44 | 93.5% (30GB) | 76% |
| 10-27 03:44 | 96.0% (18GB) | 91.5% |
| 10-27 06:14 | 96.4% (17GB) | 94.1% |
| 10-27 12:14 (정리 후) | 82.7% (80GB) | 44.6% |
노드 디스크가 90%를 넘자 kubelet이 디스크 압박으로 파드를 퇴출하기 시작했다. 퇴출된 파드가 다시 스케줄되면 또 디스크를 쓰고, 또 퇴출된다. 03:34부터 6시간 동안 이 반복이 공개 도메인을 출렁이게 만들었다.
반복을 키운 이미지 하나
registry 로그를 보니 이 밤에 prod가 사설 registry에서 받아 간 이미지가 약 30GB였다. 그중 절반 가까이가 한 이미지였다.
| 이미지 | 요청 | 받은 양 | 디스크에 풀린 크기 |
|---|---|---|---|
piston-baked (kongbu 코드 실행 엔진) | 126회 | 13.4GB | 8.9GB |
kongbu는 javascript 하나만 실행하는데, 이 이미지에는 gcc·rust·python·go·java·typescript까지 일곱 언어(5.4GB)가 구워져 있었다. 디스크 압박이 오면 kubelet은 쓰이지 않는 이미지부터 지운다. piston이 퇴출되면 8.9GB짜리 이미지가 지워지고, 다시 스케줄되면 다시 받아 8.9GB를 푼다. 그 사이 디스크는 다시 찬다. 퇴출 → 이미지 삭제 → 재다운로드 → 다시 퇴출이 밤새 일곱 번쯤 돌았다.
Mac 디스크를 채운 것은 prod가 아니었다. 같은 Mac에서 돌던 다른 작업들의 산출물이었다.
| 항목 | 크기 | 성격 |
|---|---|---|
/tmp 아래 다른 세션들의 작업 산출물 | 26GB | 하루 넘게 손대지 않은 결과물·빌드 사본 |
| iOS 앱 작업 디렉터리의 빌드 캐시·압축본 | 16.4GB | 다시 만들 수 있는 산출물 |
| 영상 파이프라인의 모델 캐시·브라우저 캐시·테스트 렌더 | 6.7GB | 다시 만들 수 있는 산출물 |
| 게임 평가용 앱 사본 | 4.7GB | 평가 종료 후 남은 사본 |
재시작이 복구를 못 한 이유
11:20에 Docker가 응답하지 않자 워치독이 OrbStack을 SIGKILL로 내리고 다시 띄웠다. 그런데 재시작 후 모든 컨테이너 생성이 operation timeout: context deadline exceeded로 실패했다.
측정해 보니 컨테이너 하나를 만드는 데 36초가 걸렸다. Docker에는 한 번도 시작되지 않은 created 상태 컨테이너가 497개(전체 735개) 쌓여 있었다.
kubelet이 컨테이너 생성을 요청했다가 타임아웃이 나면, 만들어지다 만 컨테이너가 created 상태로 남는다. kubelet은 그것을 지우지 않고 새로 하나를 더 만든다. 밤새 퇴출과 재시도가 반복되며 이 잔해가 수백 개 쌓였고, 엔진이 느려질수록 타임아웃은 더 잦아졌다. 11:20의 Docker 무응답도 이 누적의 결과일 가능성이 높다.
재시작해도 이 잔해는 사라지지 않는다. 컨테이너 메타데이터는 디스크에 남기 때문이다. 재시작 직후 60개가 넘는 파드가 한꺼번에 생성을 시도했고, 전부 타임아웃이 나면서 잔해가 다시 쌓이는 악순환에 빠졌다.
created 컨테이너 460개를 지우는 데 11초가 걸렸다. 생성 시간은 1초로 돌아왔고, 2분 뒤 파드 56개가 Running이었다.
조치 내역
즉시 조치
- 퇴출되어 Completed로 남은 파드 504개 삭제. kubelet 부담은 줄였지만 복구에는 효과가 없었다.
- 한 번도 시작되지 않은
created컨테이너 460개 삭제. 복구의 결정적 조치였다. - 이름 해석 실패를 보인 크론잡이 있어 macOS DNS 캐시를 비웠다. 이전 장애에서 겪은 음성 캐시 문제와 같은 증상이다.
- Mac 디스크 정리:
/tmp의 하루 넘은 산출물 26GB, iOS 빌드 캐시 16.4GB, 영상 파이프라인 캐시 6.7GB, 게임 평가 사본 4.7GB. 96%(여유 19GB)에서 73%(여유 116GB)로.
후속 조치
- 각 작업 세션에 산출물 정리를 요청해, 보존할 것과 지울 것을 작업 주체가 직접 판단하게 했다.
-
piston-baked를 javascript(node 20.11.1)만 담도록 다시 만들었다. 압축 1.92GB → 0.36GB, 디스크 8.9GB → 1.6GB. dev와 prod에서 실행(console.log(6*7)→42)까지 확인했다. - 워치독이 OrbStack을 재시작한 뒤
created컨테이너가 수십 개를 넘으면 자동으로 정리하게 한다. - Mac 디스크 경보 임계치를 낮춘다. 이번에 HostDiskLow는 00:15에 울렸지만 퇴출이 시작된 03:34까지 아무 조치가 없었다.
-
/tmp와 작업 디렉터리 산출물에 보존 기한을 정하고 자동 정리한다. - 노드 디스크를 무엇이 채웠는지 파드 단위로 볼 수 있게 한다. 지금은 파드별 디스크 사용량 지표가 어디에도 수집되지 않아, 이번에도 VM 안쪽 증가분은 추정밖에 할 수 없었다.
재발 방지
1. prod 호스트 디스크를 공용 작업 공간으로 쓰지 않는다
prod 쿠버네티스는 Mac의 여유 공간을 빌려 쓴다. 같은 Mac에서 빌드, 렌더, 평가를 돌리면 그 산출물이 prod의 디스크를 갉아먹는다. 무거운 작업은 다른 머신으로 옮기고, 남아야 하는 것은 정리 기한을 둔다.
2. 재시작을 복구로 착각하지 않는다
워치독은 “응답 없음 → 재시작”까지만 한다. 이번처럼 원인이 디스크에 남아 있는 상태라면 재시작은 같은 상태로 돌아갈 뿐이다. 재시작 뒤 컨테이너 생성 시간과 잔해 개수를 확인하는 단계를 워치독에 넣는다.
교훈
-
전조를 또 흘려보냈다. 이틀 전 같은 원인으로 18분 멈췄을 때 캐시를 지우고 끝냈다. 디스크를 채우는 구조는 그대로였고, 그 사이 산출물은 다시 쌓였다. 9월 장애 때 쓴 교훈(“저절로 나았다는 것은 원인이 사라졌다는 뜻이 아니다”)을 그대로 되풀이했다.
-
알림이 울려도 받을 사람이 없으면 소용없다. 9월 장애 이후 알람을 살아남는 호스트로 옮겼고, 이번에는 03:40에 경보가 정확히 발생했다. 하지만 새벽이었다. 사람이 볼 수 없는 시간에 울리는 경보라면 자동 조치가 뒤따라야 한다. 디스크가 차면 정리 가능한 캐시부터 비우는 것처럼.
-
쓰지 않는 것을 이미지에 굽지 마라. 콜드 스타트를 빠르게 하려고 일곱 언어를 이미지에 넣었지만, 실제로 쓰는 것은 하나였다. 큰 이미지는 평소엔 디스크를 잡아먹고, 디스크가 부족할 땐 지워졌다가 다시 받아지며 압박을 증폭한다.
-
눈에 보이는 상태와 실제 원인이 다르다. 처음엔 파드 504개가 Completed로 남은 게 문제처럼 보였다. 지웠지만 아무것도 바뀌지 않았다. 원인은 kubectl에 보이지 않는 계층, Docker의
created컨테이너였다. 측정(컨테이너 생성에 36초)이 방향을 바꿨다. -
잔해는 재시작으로 사라지지 않는다. 메모리에 있는 문제는 재시작이 해결한다. 디스크에 남는 상태는 재시작 후에도 그대로 있다. 2026-06 containerd 장애에서 이미 배운 것인데, 이번엔 다른 모양으로 다시 나타났다.