본문으로 건너뛰기
JSL107's Tech Note
돌아가기

인프라 장애에서 메시지를 지키는 워커의 ack 정책

6분 분량이 글 고치기
목차 · 4

문자 발송 워커가 작업을 끝내지 못했는데도 ack를 보내 Pub/Sub 메시지가 삭제된 일이 있었어요. 처리 결과에 따라 ack 여부를 달리하도록 정책을 나눈 이유와 재적용 전에 확인할 범위를 정리했어요.

처리하지 못한 메시지가 왜 사라졌을까

문자 발송은 API를 호출했다고 끝나는 일이 아니에요. 학교가 발송을 요청하면 작업을 Pub/Sub에 등록하고 워커가 메시지를 받아 실제 처리를 마친 뒤 ack를 보내요. ack는 단순한 성공 로그가 아니라 그 메시지를 더는 전달하지 않아도 된다는 신호예요.

기존 워커는 처리 결과가 어떻든 ack를 보냈어요. 취소된 작업이라 의도적으로 건너뛴 경우에도, 데이터베이스에 연결하지 못해 아무것도 처리하지 못한 경우에도 마찬가지였어요. 워커에게는 서로 다른 상황이었지만 Pub/Sub에는 모두 “처리가 끝났다”고 알린 셈이라 메시지가 삭제됐어요.

2026년 9월 28일, 워커 파드가 종료 절차에 들어간 직후 컨테이너가 재시작됐고 DB 연결 프록시는 이미 내려간 상태였어요. 워커는 데이터베이스를 사용할 수 없는데도 Pub/Sub 메시지를 계속 받았고 처리하지 못한 메시지 수십 건에 ack를 보냈어요. 사고를 분석할 당시에는 이 가운데 일부가 여러 학교의 수백 명에게 보낼 문자에 해당해 발송 누락으로 집계됐어요. 화면에는 작업이 “저장됨”으로 남아 있었고 포인트는 차감된 상태였어요.

이후 SMS 필터의 오탐이 발견돼 변경 사항을 당일 롤백했어요. 최종 사용자 영향은 아직 확정되지 않았으므로 수십 건의 메시지가 삭제된 사실과 문자 발송에 미친 최종 영향 범위는 구분해서 봐야 해요.

처리 결과에 따라 ack 결정하기

메시지 워커에서는 예외가 났는지보다 재시도하면 결과가 달라질 수 있는지가 중요해요. 사용자가 이미 취소한 작업은 다시 실행해도 처리해서는 안 되고 예약 시간이 아직 오지 않았거나 다른 워커가 이미 처리한 작업도 현재 워커가 계속 붙잡을 이유가 없어요. 의도적으로 처리를 끝낸 메시지이므로 ack해도 돼요.

DB 연결 프록시가 내려갔거나 외부 인프라를 사용할 수 없을 때는 달라요. 작업 자체가 잘못된 게 아니라 실행 환경이 준비되지 않은 상태예요. 다른 파드가 다시 받거나 인프라가 복구된 뒤 실행하면 성공할 수 있으니, 이때 ack하면 복구할 기회까지 사라져요.

이번 변경에서는 이런 판단을 예외별 정책으로 나눴어요.

처리 결과의미ack 정책후속 동작
취소됨더 이상 실행하면 안 되는 작업ack메시지 종료
아직 시간이 안 됨현재 실행 대상이 아님ack메시지 종료
이미 처리됨중복 실행을 피해야 함ack메시지 종료
인프라 문제를 포함한 그 밖의 실패현재 환경에서 처리를 완료하지 못함ack하지 않음다른 파드 또는 이후 실행에서 재시도

앞의 세 경우는 “실패했지만 버린다”는 뜻이 아니에요. 워커가 작업 상태를 확인하고 더는 처리할 필요가 없다고 판단한 거예요. 그 밖의 예외가 나면 처리를 마쳤다고 볼 수 없어 메시지를 남겨요. ack를 예외 처리에 딸린 부수 효과로 두지 않고 작업 결과에 따라 명시적으로 결정하도록 바꿨어요.

재시도와 실패 메시지 보관함

ack하지 않은 메시지는 다시 전달될 수 있어요. 이번 구조에서는 다른 파드가 그 메시지를 받아 처리할 수 있고 최대 5번까지 실패하면 실패 메시지 보관함에 남아요. 자동 재시도가 계속 실패해도 메시지를 곧바로 잃지 않고 사람이 원인을 확인한 뒤 되살릴 수 있어요.

워커는 메시지를 받으면 먼저 작업 상태를 확인해요. 취소됐거나 예약 시간이 아직 오지 않았거나 이미 처리됐다면 ack하고 종료해요. DB 연결 실패처럼 작업을 완료하지 못하는 예외가 나면 ack하지 않아 다른 파드나 이후 실행에서 다시 처리할 수 있게 해요.

이 구조가 모든 중복 실행을 자동으로 해결해 주지는 않아요. ack하지 않은 메시지는 재전달될 수 있으므로 워커가 이미 처리된 작업을 알아볼 수 있어야 해요. 이번 정책에서 “이미 처리됨”을 따로 분류해 ack하는 이유도 여기에 있어요. 재시도할 길은 열어 두되, 끝난 작업이 중복 실행되지 않도록 상태를 확인해요.

재적용 전에 확인할 것

인프라 예외에 ack하지 않으면 비용도 들어요. 영구적으로 실패하는 작업까지 계속 재시도하면 처리량을 소모하고 같은 오류 로그가 반복될 수 있어요. 최대 5회 실패하면 실패 메시지 보관함으로 보내도록 제한해 자동 재시도와 수동 복구의 경계를 정했어요.

취소됐거나 이미 처리된 작업까지 재시도하면 불필요한 중복 전달이 이어져요. 특히 문자 발송처럼 외부에 영향을 주는 작업은 상태를 잘못 판별하면 중복 발송으로 이어질 수 있어요. 그래서 “예외면 모두 nack”이라는 단일 규칙 대신 재시도해도 되는 실패와 종료해야 하는 상태를 나눴어요.

다만 이번 변경은 그대로 운영에 정착하지 못했어요. SMS 필터가 정상 작업을 잘못 판별하는 오탐을 확인해 당일 롤백했기 때문이에요. ack 정책의 방향이 맞더라도 그 전에 작업 상태를 부정확하게 분류하면 정상 메시지를 잘못 종료하거나 재시도 대상으로 돌릴 수 있어요.

후속 변경에서는 SMS 필터의 오탐 회귀와 fail-open 동작을 검증해야 해요. 필터가 확신할 수 없을 때 정상 작업을 차단하지 않는지, 재시작하거나 중복 전달된 뒤에도 처리 상태를 올바르게 판별하는지가 핵심이에요. 이 조건들은 하나씩 재현해 봐야 해요.

현재 제공된 근거로는 이 항목들을 다시 검증한 결과를 확인할 수 없어요. SMS 필터 재적용과 관련 검증이 남아 있고 외부 응답을 기다리는 건도 있어요. 처리량과 재시도 지연 시간, 중복 전달 횟수의 측정값도 없어 성능 개선이나 최종 복구율은 아직 평가할 수 없어요.


이 글 고치기
이 글 공유하기:

이전 글
Slack 웹 작업의 실패를 Browserbase 세션으로 추적하기