Timeline

12:50 investigating

전조. Mac 데이터 볼륨 97%에서 k8s 노드 디스크 여유가 1.1GB로 떨어져 pod 340개가 퇴출, cloudflared가 스케줄되지 못해 prod 전체 530. 캐시와 빌드 산출물을 지워 18분 만에 복구하고 넘어갔다.

15:15 investigating

Mac 디스크 경보(HostDiskLow) 발생. 여유 30GB에서 밤사이 계속 줄어드는 중.

18:34 investigating

Mac 여유 공간 18GB. OrbStack VM 안의 노드 디스크가 91%를 넘으며 kubelet이 pod를 퇴출하기 시작. 공개 사이트 18개 중 2~6개만 응답. 03:40 ProdClusterUnreachable·TargetDown 경보가 발생했지만 새벽이라 아무도 대응하지 못했다.

21:14 investigating

노드 디스크 94%, Mac 여유 17GB. 퇴출과 재스케줄이 반복되며 공개 사이트가 2개와 16개 사이를 오갔다.

00:54 monitoring

09:47 DiskPressure 해제, 09:54 공개 사이트 18개 전부 응답. 겉으로는 복구된 것처럼 보였다.

02:20 investigating

Docker 엔진이 헬스체크에 응답하지 않음. 5분 간격 두 번 연속 실패하자 워치독이 11:25 OrbStack 재시작을 요청, 정상 종료가 안 되어 11:26 SIGKILL로 내렸다.

02:29 investigating

OrbStack은 돌아왔지만 공개 사이트 18개 중 2개만 응답. Running 파드는 1개, CreateContainerError 32개, Error 26개. 모든 컨테이너 생성이 'operation timeout: context deadline exceeded'로 실패.

02:45 identified

밤새 퇴출된 Completed 파드 504개를 정리했지만 변화 없음. 컨테이너 생성 하나에 36초가 걸리는 것을 측정했고, Docker에 한 번도 시작되지 않은 created 상태 컨테이너가 497개(전체 735개) 쌓여 있는 것을 발견.

02:52 monitoring

created 컨테이너 460개를 삭제(11초). 컨테이너 생성 시간이 36초에서 1초로 줄었고, 2분 만에 Running 파드가 1개에서 56개로 늘었다.

02:54 resolved

공개 사이트 18개 전부 200. 이후 Mac 디스크를 96%에서 73%(여유 116GB)까지 정리했다.

사고 개요

2026-10-27 새벽부터 오전까지, prod 쿠버네티스가 올라간 Mac mini(192.168.32.55)의 디스크가 차서 prod가 6시간 넘게 출렁였다. 03:34부터 09:54까지 공개 도메인 18개 중 응답하는 것이 2개에서 16개 사이를 오갔다.

한 번 회복된 뒤 11:20에는 Docker 엔진이 멈췄다. 워치독이 OrbStack을 강제로 재시작했지만, 재시작 후에도 컨테이너가 하나도 뜨지 않았다. 밤새 실패한 생성 시도가 남긴 빈 컨테이너 460개가 엔진을 붙잡고 있었기 때문이다. 이것을 지우자 2분 만에 전부 돌아왔다.

이틀 전(10-25 밤)에도 같은 원인으로 prod가 18분 멈췄다. 그때는 캐시를 지워 복구하고 넘어갔다.

영향 범위

항목내용
영향 서비스prod 전체 (공개 도메인 18개), Cloudflare Tunnel
부분 장애약 6시간 20분 (03:34 ~ 09:54 KST) — 퇴출과 재스케줄이 반복되며 일부 도메인만 응답
전면 장애약 25분 (11:29 ~ 11:54 KST) — 공개 도메인 대부분 530
영향받은 사용자전체 (새벽 시간대 부분 장애, 오전 전면 장애)
데이터 손실없음

근본 원인

직접 원인

OrbStack VM의 디스크 여유 공간은 Mac의 여유 공간에 묶여 있다. VM 안 파일시스템은 117GB로 잡혀 있지만, 실제로 쓸 수 있는 양은 Mac 데이터 볼륨에 남은 만큼이다.

시각Mac 사용률 (여유)VM 노드 디스크 사용률
10-26 21:4493.5% (30GB)76%
10-27 03:4496.0% (18GB)91.5%
10-27 06:1496.4% (17GB)94.1%
10-27 12:14 (정리 후)82.7% (80GB)44.6%

노드 디스크가 90%를 넘자 kubelet이 디스크 압박으로 파드를 퇴출하기 시작했다. 퇴출된 파드가 다시 스케줄되면 또 디스크를 쓰고, 또 퇴출된다. 03:34부터 6시간 동안 이 반복이 공개 도메인을 출렁이게 만들었다.

반복을 키운 이미지 하나

registry 로그를 보니 이 밤에 prod가 사설 registry에서 받아 간 이미지가 약 30GB였다. 그중 절반 가까이가 한 이미지였다.

이미지요청받은 양디스크에 풀린 크기
piston-baked (kongbu 코드 실행 엔진)126회13.4GB8.9GB

kongbu는 javascript 하나만 실행하는데, 이 이미지에는 gcc·rust·python·go·java·typescript까지 일곱 언어(5.4GB)가 구워져 있었다. 디스크 압박이 오면 kubelet은 쓰이지 않는 이미지부터 지운다. piston이 퇴출되면 8.9GB짜리 이미지가 지워지고, 다시 스케줄되면 다시 받아 8.9GB를 푼다. 그 사이 디스크는 다시 찬다. 퇴출 → 이미지 삭제 → 재다운로드 → 다시 퇴출이 밤새 일곱 번쯤 돌았다.

Mac 디스크를 채운 것은 prod가 아니었다. 같은 Mac에서 돌던 다른 작업들의 산출물이었다.

항목크기성격
/tmp 아래 다른 세션들의 작업 산출물26GB하루 넘게 손대지 않은 결과물·빌드 사본
iOS 앱 작업 디렉터리의 빌드 캐시·압축본16.4GB다시 만들 수 있는 산출물
영상 파이프라인의 모델 캐시·브라우저 캐시·테스트 렌더6.7GB다시 만들 수 있는 산출물
게임 평가용 앱 사본4.7GB평가 종료 후 남은 사본

재시작이 복구를 못 한 이유

11:20에 Docker가 응답하지 않자 워치독이 OrbStack을 SIGKILL로 내리고 다시 띄웠다. 그런데 재시작 후 모든 컨테이너 생성이 operation timeout: context deadline exceeded로 실패했다.

측정해 보니 컨테이너 하나를 만드는 데 36초가 걸렸다. Docker에는 한 번도 시작되지 않은 created 상태 컨테이너가 497개(전체 735개) 쌓여 있었다.

kubelet이 컨테이너 생성을 요청했다가 타임아웃이 나면, 만들어지다 만 컨테이너가 created 상태로 남는다. kubelet은 그것을 지우지 않고 새로 하나를 더 만든다. 밤새 퇴출과 재시도가 반복되며 이 잔해가 수백 개 쌓였고, 엔진이 느려질수록 타임아웃은 더 잦아졌다. 11:20의 Docker 무응답도 이 누적의 결과일 가능성이 높다.

재시작해도 이 잔해는 사라지지 않는다. 컨테이너 메타데이터는 디스크에 남기 때문이다. 재시작 직후 60개가 넘는 파드가 한꺼번에 생성을 시도했고, 전부 타임아웃이 나면서 잔해가 다시 쌓이는 악순환에 빠졌다.

created 컨테이너 460개를 지우는 데 11초가 걸렸다. 생성 시간은 1초로 돌아왔고, 2분 뒤 파드 56개가 Running이었다.

조치 내역

즉시 조치

  1. 퇴출되어 Completed로 남은 파드 504개 삭제. kubelet 부담은 줄였지만 복구에는 효과가 없었다.
  2. 한 번도 시작되지 않은 created 컨테이너 460개 삭제. 복구의 결정적 조치였다.
  3. 이름 해석 실패를 보인 크론잡이 있어 macOS DNS 캐시를 비웠다. 이전 장애에서 겪은 음성 캐시 문제와 같은 증상이다.
  4. Mac 디스크 정리: /tmp의 하루 넘은 산출물 26GB, iOS 빌드 캐시 16.4GB, 영상 파이프라인 캐시 6.7GB, 게임 평가 사본 4.7GB. 96%(여유 19GB)에서 73%(여유 116GB)로.

후속 조치

  • 각 작업 세션에 산출물 정리를 요청해, 보존할 것과 지울 것을 작업 주체가 직접 판단하게 했다.
  • piston-baked를 javascript(node 20.11.1)만 담도록 다시 만들었다. 압축 1.92GB → 0.36GB, 디스크 8.9GB → 1.6GB. dev와 prod에서 실행(console.log(6*7) → 42)까지 확인했다.
  • 워치독이 OrbStack을 재시작한 뒤 created 컨테이너가 수십 개를 넘으면 자동으로 정리하게 한다.
  • Mac 디스크 경보 임계치를 낮춘다. 이번에 HostDiskLow는 00:15에 울렸지만 퇴출이 시작된 03:34까지 아무 조치가 없었다.
  • /tmp와 작업 디렉터리 산출물에 보존 기한을 정하고 자동 정리한다.
  • 노드 디스크를 무엇이 채웠는지 파드 단위로 볼 수 있게 한다. 지금은 파드별 디스크 사용량 지표가 어디에도 수집되지 않아, 이번에도 VM 안쪽 증가분은 추정밖에 할 수 없었다.

재발 방지

1. prod 호스트 디스크를 공용 작업 공간으로 쓰지 않는다

prod 쿠버네티스는 Mac의 여유 공간을 빌려 쓴다. 같은 Mac에서 빌드, 렌더, 평가를 돌리면 그 산출물이 prod의 디스크를 갉아먹는다. 무거운 작업은 다른 머신으로 옮기고, 남아야 하는 것은 정리 기한을 둔다.

2. 재시작을 복구로 착각하지 않는다

워치독은 “응답 없음 → 재시작”까지만 한다. 이번처럼 원인이 디스크에 남아 있는 상태라면 재시작은 같은 상태로 돌아갈 뿐이다. 재시작 뒤 컨테이너 생성 시간과 잔해 개수를 확인하는 단계를 워치독에 넣는다.

교훈

  1. 전조를 또 흘려보냈다. 이틀 전 같은 원인으로 18분 멈췄을 때 캐시를 지우고 끝냈다. 디스크를 채우는 구조는 그대로였고, 그 사이 산출물은 다시 쌓였다. 9월 장애 때 쓴 교훈(“저절로 나았다는 것은 원인이 사라졌다는 뜻이 아니다”)을 그대로 되풀이했다.

  2. 알림이 울려도 받을 사람이 없으면 소용없다. 9월 장애 이후 알람을 살아남는 호스트로 옮겼고, 이번에는 03:40에 경보가 정확히 발생했다. 하지만 새벽이었다. 사람이 볼 수 없는 시간에 울리는 경보라면 자동 조치가 뒤따라야 한다. 디스크가 차면 정리 가능한 캐시부터 비우는 것처럼.

  3. 쓰지 않는 것을 이미지에 굽지 마라. 콜드 스타트를 빠르게 하려고 일곱 언어를 이미지에 넣었지만, 실제로 쓰는 것은 하나였다. 큰 이미지는 평소엔 디스크를 잡아먹고, 디스크가 부족할 땐 지워졌다가 다시 받아지며 압박을 증폭한다.

  4. 눈에 보이는 상태와 실제 원인이 다르다. 처음엔 파드 504개가 Completed로 남은 게 문제처럼 보였다. 지웠지만 아무것도 바뀌지 않았다. 원인은 kubectl에 보이지 않는 계층, Docker의 created 컨테이너였다. 측정(컨테이너 생성에 36초)이 방향을 바꿨다.

  5. 잔해는 재시작으로 사라지지 않는다. 메모리에 있는 문제는 재시작이 해결한다. 디스크에 남는 상태는 재시작 후에도 그대로 있다. 2026-06 containerd 장애에서 이미 배운 것인데, 이번엔 다른 모양으로 다시 나타났다.