토스증권 - 서버 개발자가 서비스 에러 원인을 탐지하는 방법
출처: 토스 챌린저스 유튜브
발표 원제는 "토스증권이 RCA 하는 방법"이고, 토스증권 SRE 팀의 발표다. YouTube 자동 생성 자막을 바탕으로 정리했으므로 고유명사와 수치는 자막 인식 오류가 있을 수 있다.
한 줄 요약
RCA(Root Cause Analysis)를 "문제 인지 → 자료 수집 → 특이점 파악 → 가설 생성 → 가설 검증"의 반복으로 보고, 각 단계를 사람의 감이 아니라 미리 깔아 둔 장치로 빠르게 만든다. 납득할 만한 결과가 나올 때까지 자료 수집부터 가설 검증을 여러 번 돈다.
1. 단계별 목표와 장치
| 단계 | 목표 | 장치 |
|---|---|---|
| 문제 인지 | 인지 시간 단축, 알람에 판단 재료 담기 | 스트리밍 집계 알람, 변경 이력 통합 뷰 |
| 자료 수집 | 수집이 쉽고, 누구나 꺼내 쓸 수 있게 | 자동 프로파일링, 연결 정보 영속화 |
| 특이점 파악 | 문제가 일어나는 범위를 좁힌다(구체화) | 정형 로그 필드의 분포, 공통 영역 점검 |
| 가설 생성 | 검증 가능한 명제로 만든다 | 명제 + 필요한 근거 + 근거 수집 방법 |
| 가설 검증 | 수용·기각·보류를 판단한다 | 예측값과 실측값 비교, 재현 또는 원인 제거 |
문제 인지
- 인지 시간 단축: 애플리케이션이 이미 로그 적재용 Kafka로 보내는 로그를 Flink 잡이 직접 소비한다. 서비스와 경로를 키로 윈도우 집계하고, 임계치를 넘으면 알람 시스템으로 보낸다. 중간 저장소를 거치지 않아 첫 알람까지 걸리는 시간이 수 분에서 수 초로 줄었다.
- 알람에 판단 재료를 담는다: 알람만 오면 담당자가 모든 자료를 손으로 모아야 한다. 대부분의 이슈는 변경에서 비롯되므로, FE 배포·BE 배포·인프라 작업 이력을 모아 하나의 저장소에 쌓고 통일된 뷰를 만든 뒤 알람에 함께 붙인다. 알람 하나에 에러 통계, 최근 배포 이력, 인프라 작업 이력이 같이 온다.
자료 수집
- 편의성, 자동 프로파일링: 이슈는 언제 날지 모르므로 사람이 어드민에 들어가 프로파일링을 거는 방식은 지속할 수 없다. 그래서 두 가지로 자동 수집한다.
- 스케줄: 증권은 장 시작처럼 피크 시각을 어느 정도 예측할 수 있어서 정해진 시각에 수집한다.
- 알람 트리거: Grafana 알람에 라벨을 달아 알람이 울리는 순간 프로파일링이 실행되게 한다.
- 접근성, 연결 정보 영속화: 자주 쓰는 데이터는 분석 DB에 쌓아 쿼리만 알면 누구나 쓰게 한다. 가장 많이 쓰는 것은 연결 정보다.
- 파드의 통신은 노드를 거쳐 나가므로 인프라 쪽에서는 노드만 보이고 파드를 모른다. 파드 쪽에서는 노드를 거친 뒤의 연결을 모른다. 어느 한쪽 정보만으로는 "이 인프라에 붙은 클라이언트가 누구인가", "이 파드가 의존하는 인프라가 무엇인가"에 답할 수 없다.
- 그래서 쿠버네티스 노드마다 에이전트를 띄워 conntrack 같은 명령의 결과를 주기적으로 DB에 쌓는다. 파드, 노드, 인프라까지 통신에 관여하는 IP와 포트를 한 번에 볼 수 있다.
특이점 파악
특이점은 문제가 가진 고유한 속성이다. 특이점이 곧 원인은 아니지만, 조사할 범위를 줄여 준다. 사용자, 서비스, DB로 이루어진 구성이라면 각 노드(특정 사용자·서비스·DB)와 각 간선(특정 호출 구간)이 모두 후보다.
| 방향 | 언제 | 방법 |
|---|---|---|
| 수직 구체화 | 사용자, 배포 환경처럼 계층이 뚜렷할 때 | 정형 로그의 사용자 ID, 디바이스 ID, 파드 이름, 호스트 이름, 배포 버전 필드의 분포가 한쪽으로 쏠렸는지 본다. 특정 파드에만 몰렸으면 노드와 배포 버전은 제외하고 그 파드만 판다 |
| 수평 구체화 | 계층이 안 보일 때. 미들웨어, 네트워크 같은 공통 영역 | 문제가 있는 집단만 가진 특성을 찾는다. 연결 정보 테이블로 공통 인프라를 찾거나, 공통 라이브러리의 메트릭으로 영역을 좁힌다 |
가설 생성과 검증
- 가설에는 검증할 명제와 그 명제를 검증할 근거, 근거를 모으는 방법이 함께 있어야 한다.
- 검증은 테스트 코드와 닮았다. 가설이 맞다면 나와야 할 값을 먼저 정하고, 실측값을 확보해 비교한다.
- 실측값은 테스트 환경에서 재현하거나, 재현이 어려우면 원인으로 의심되는 부분을 제거하고 추이를 관찰해서 얻는다.
2. 사례: Redis 커넥션 타임아웃
| 사이클 | 특이점·자료 | 가설 | 결과 |
|---|---|---|---|
| 1 | 알람에 최근 배포·작업 이력, 에러 통계의 특이 사항 없음. 로그에서 사용자·배포 환경의 쏠림은 없고, 대부분 Redis 커넥션 타임아웃, 대상 Redis는 하나. 그 노드의 커널 로그에서 conntrack 테이블이 가득 참(한도를 넉넉히 잡았는데도) | 애플리케이션과 무관한 인프라 쪽 원인. 최근 배포가 없었고 클러스터 노드 하나에서만 찼기 때문 | Redis에 붙은 클라이언트 IP·포트를 연결 정보 테이블과 쿼리로 매칭해 보니 연결의 80% 이상이 애플리케이션. 기각 |
| 2 | 1회차 검증 데이터로 범위가 애플리케이션으로 좁혀짐. TCP 덤프를 떠 보니 대부분은 기존 커넥션을 쓰지만 일부는 요청마다 연결을 맺고 인증하고 끊음. conntrack 증가에 주기성이 있어 스케줄 수집을 활용 | 애플리케이션이 커넥션을 필요할 때마다 새로 만들고, 생성 속도가 정리 속도보다 빨라 테이블이 찼다 | 코드에서 Spring RedisTemplate의 파이프라인 경로가 커넥션을 새로 얻고 끝나면 해제하는 것을 찾음. 테스트 환경에서 같은 패턴 재현, 파이프라인을 제거하자 conntrack 크기가 약 80K → 1.7K로 안정. 수용 |
사후 점검: 다른 서비스의 파이프라인 사용 패턴을 조사해 문제가 없음을 확인했다. 또 이번 일에서 conntrack 사용률에 알람이 없어 서비스 에러가 난 뒤에야 알았다는 점을 발견하고 알람을 추가했다.
3. 발표자의 교훈
- 빠른 인지가 첫걸음이다. 문제가 있는지조차 모르면 아무것도 할 수 없다.
- 특이점만 잘 잡으면 대부분 풀린다. 가장 어려운 일은 볼 구간과 안 봐도 되는 구간을 나누는 것이다.
- 첫 사이클을 빨리 돌린다. 1회차 가설은 기각됐지만, 그 검증 데이터가 2회차 가설을 만들었다. 막혀 있다면 마음에 덜 드는 가설이라도 일단 검증해 본다.
4. 내 생각과 연결
- 기각된 가설도 산출물이다. 1회차는 틀렸지만 "연결의 80%가 애플리케이션"이라는 사실을 남겼다. 가설을 세울 때 "틀렸을 때 무엇을 알게 되는가"까지 생각하면 사이클이 빨라진다.
- 알람이 없던 지표가 원인이었다. 사례의 진짜 교훈은 사후 점검 쪽이다. 13번 시스템 디자인의 이커머스 OMS 상위 설계에서 "출고 누락은 조용히 일어난다"고 정리한 것과 같은 구조다. 조용히 쌓이는 자원(conntrack, 커넥션 풀, 큐 적체, 대사 불일치)에 사용률 알람을 미리 거는 것이 인지 시간 단축의 출발점이다.
- 알람에 변경 이력을 붙인다. "대부분의 이슈는 변경에서 온다"는 전제는 바로 따라 할 수 있다. 알람 메시지에 최근 배포와 작업 이력 링크만 붙여도 첫 가설을 세우는 시간이 준다.
- Redis 파이프라인과 커넥션(확인 필요): 발표는 원인 코드를
RedisTemplate의 파이프라인 경로라고만 했다. Spring Data Redis 문서에 따르면 Lettuce는 블로킹이 아니고 트랜잭션이 아닌 명령을 하나의 공유 커넥션으로 처리하고, 커넥션 풀은 블로킹·트랜잭션용 커넥션에 쓰인다. 파이프라인도 커넥션 상태를 독점해야 하므로 전용 커넥션을 쓰고, 풀이 없으면 호출마다 새로 맺고 닫는 것이 원인이었을 것으로 추정한다. 문서가 파이프라인을 직접 언급하지는 않는다. 14번 Redis 기초에서 실험으로 확인한다. - 수직·수평 구체화는 정형 로그가 있어야 가능하다. 사용자 ID, 파드 이름, 배포 버전이 모든 로그에 같은 필드로 찍혀 있어야 분포를 볼 수 있다. 7번 운영·성능과 보안에서 로그 필드를 설계할 때 기준으로 삼는다.
더 볼 것
- [ ] Spring Data Redis + Lettuce에서
executePipelined가 커넥션을 어떻게 얻고 반납하는지, 풀 설정 유무에 따라 TCP 연결이 어떻게 달라지는지 확인한다. - [ ] Linux conntrack 테이블의 한도(
nf_conntrack_max)와 가득 찼을 때 패킷이 버려지는 동작을 확인한다.