1부 앱 서버를 무상태로 만들기
로그인한 사용자가 쓰는 흔한 웹 서비스가 애플리케이션 서버 1대로 돌고 있다. 트래픽이 늘어 서버를 3대로 늘리고, 앞에 로드밸런서를 두어 요청을 골고루 나눠 보낸다. 이때 무엇이 깨지고 어떻게 고치는지 정리한다.
무상태는 "상태가 전혀 없다"가 아니라, 상태를 애플리케이션 서버 밖으로 빼서 어느 서버가 요청을 받아도 같은 결과를 내게 한다는 뜻이다. 남은 질문은 그 상태를 어디에 두고, 얼마나 자주 조회하느냐다.
1. 복제해도 깨지는 것
수평 확장의 기본은 모든 서버를 같은 이미지, 같은 설정으로 띄우는 것이다. 서버마다 환경이 다르면 관리할 곳이 늘고, 어떤 서버가 요청을 받느냐에 따라 결과가 달라진다. 같게 띄워야 서버를 늘리고 줄이고 갈아끼우기 쉽다.
그런데 코드와 설정이 같아도 실행 중에 서버 안에 쌓이는 데이터는 서버마다 달라진다. 서버가 1대일 때는 문제가 없지만 여러 대가 되면 깨지는 것은 네 가지다.
| 서버 안의 상태 | 여러 대가 되면 |
|---|---|
| 메모리 세션 | 다른 서버로 간 요청은 로그인하지 않은 것으로 보인다 |
| 로컬 캐시 | 서버마다 다른 값을 보여 준다 |
| 스케줄 작업 | 서버 수만큼 실행된다 |
| 로컬 디스크 파일 | 파일을 저장한 서버에서만 보이고, 서버를 지우면 사라진다 |
2. 세션
서버 A가 로그인을 처리하며 세션을 자기 메모리에 저장했는데, 다음 요청이 서버 B로 가면 B는 그 세션을 모른다. 사용자는 방금 로그인했는데 로그인 화면으로 튕겨 나간다.
| 방법 | 상태는 어디에 | 대가 |
|---|---|---|
| 스티키 세션 | 여전히 각 서버 메모리 | 서버가 죽거나 배포로 내려가면 그 서버의 세션이 사라진다. 부하가 고르게 나뉘지 않고, 새로 띄운 서버는 기존 사용자를 받지 못한다 |
| 공용 세션 저장소(Redis) | 서버 밖 한 곳 | 매 요청마다 Redis를 한 번 조회한다. Redis가 죽으면 모두 로그아웃되므로 Redis를 이중화해야 한다 |
| JWT | 클라이언트가 들고 다닌다 | 서버 조회가 없다. 대신 이미 발급한 토큰을 서버가 되돌리기 어렵다 |
스티키 세션은 상태를 없애지 않고 숨기기만 하므로 무상태 설계로 보기 어렵다.
JWT는 원래 저장소가 필요 없는 방식이다. 토큰 안에 사용자 ID, 권한, 만료 시각을 넣고 서명해 두면, 어느 서버든 서명만 검증해서 사용자를 확인한다. JWT를 Redis에 저장한다면 아래의 약점을 메우려고 상태를 일부 다시 들여온 것이다.
발급한 토큰을 되돌리기
액세스 토큰 만료를 1시간으로 정했는데 계정이 탈취돼 관리자가 계정을 정지했다. 서버는 토큰만 보고 판단하므로 공격자는 남은 최대 1시간 동안 계속 쓸 수 있다.
만료 시간을 줄이면 위험은 줄지만 자주 다시 로그인해야 한다. 그래서 두 토큰을 짝지어 쓴다.
- 액세스 토큰: 5~15분처럼 짧게 둔다. 매 요청 서명만 검증하므로 무상태다.
- 리프레시 토큰: 2주처럼 길게 두고 서버가 DB나 Redis에 저장한다. 액세스 토큰이 만료되면 클라이언트가 이것으로 새 액세스 토큰을 자동으로 받아 와서, 사용자는 다시 로그인하지 않는다.
- 계정 정지: 그 사용자의 리프레시 토큰을 저장소에서 지우면, 공격자는 액세스 토큰이 끝나는 몇 분 뒤 갱신에 실패한다.
즉시 차단하려면 결국 서버가 무언가를 기억해야 한다.
| 방법 | 서버가 기억하는 것 | 조회 시점 | 차단까지 걸리는 시간 |
|---|---|---|---|
| 짧은 액세스 토큰 + 리프레시 토큰 | 리프레시 토큰 목록 | 갱신할 때만 | 몇 분 |
| 차단 목록 | 정지된 사용자나 토큰 ID | 매 요청 | 즉시 |
차단 목록은 매 요청 Redis 조회가 붙어서 사실상 세션 저장소와 비슷해진다. 몇 분의 공백을 허용할 수 있는지가 둘을 가르는 기준이다.
3. 로컬 캐시
상품 정보를 각 서버 메모리에 10분 동안 캐시했다(예: Caffeine). 관리자가 가격을 10,000원에서 8,000원으로 바꿨고, 이 요청을 처리한 서버 A만 자기 캐시를 비웠다. 사용자가 새로고침할 때마다 요청이 A로 가면 8,000원, B나 C로 가면 10,000원이 나와서 최대 10분 동안 가격이 왔다 갔다 한다.
| 방법 | 동작 | 대가 |
|---|---|---|
| 공용 캐시(Redis) | 모든 서버가 같은 캐시를 본다 | 매번 네트워크를 거쳐 로컬보다 느리다. Redis가 장애 지점이 된다 |
| 무효화 메시지 방송 | 수정한 서버가 Redis Pub/Sub 등으로 알리고, 모든 서버가 자기 로컬 캐시를 지운다 | 메시지가 유실되면 그 서버만 계속 옛 값을 보여 준다. TTL을 함께 둬서 언젠가는 맞춰지게 한다 |
| TTL을 짧게 두고 감수 | 1분 정도 옛 값을 허용한다 | 업무상 허용될 때만 쓸 수 있다 |
| 2단 캐시 | 로컬(짧은 TTL) → Redis → DB 순으로 조회한다 | 구조가 복잡해진다 |
기술보다 먼저 정할 것은 얼마나 오래된 값을 허용하느냐다. 상품 상세에 보이는 가격은 몇 초에서 1분 늦어도 대개 괜찮지만, 결제 금액은 캐시가 아니라 반드시 DB 원본으로 다시 계산한다. 같은 가격이라도 쓰는 자리에 따라 허용 범위가 다르다.
4. 스케줄 작업
매일 새벽 3시에 "구매 확정 후 7일 지난 주문을 정산 대상으로 넘기는" 작업이 있다. 서버마다 같은 코드가 떠 있으니 3대가 모두 3시에 작업을 시작한다. 그러면 두 가지 일이 생긴다.
- 데이터가 망가진다: 값을 덮어쓰거나, 중복 데이터를 만들거나, 지우지 말아야 할 것을 지운다.
- 막히더라도 소음이 생긴다: DB 제약이나 애플리케이션 검증이 나머지를 막아도, 막힌 쪽마다 오류 로그를 남겨 불필요한 알림이 쌓인다.
한 번만 실행하기와 나눠서 실행하기
| 방법 | 동작 | 성격 |
|---|---|---|
| 분산 락(ShedLock) | DB나 Redis에 락을 걸어 3대 중 1대만 작업하고 나머지는 건너뛴다 | 서로 막기. 서버를 늘려도 작업 속도는 그대로다 |
FOR UPDATE SKIP LOCKED | 3대가 모두 돌면서 각자 아직 아무도 잡지 않은 행을 나눠 가져간다 | 일 나누기. 서버를 늘리면 처리량도 는다 |
| 별도 실행기 | 앱 서버에서 스케줄러를 빼고 Kubernetes CronJob처럼 한 곳에서만 띄운다 | 앱 서버는 다시 모두 같아진다 |
데이터가 많아지면 일을 나누는 방식이 진짜 수평 확장이다.
여러 서버 중 하나만 작업하게 하는 것은 분산 락이나 리더 선출이라고 부른다. 싱글 플라이트(singleflight)는 한 프로세스 안에서 같은 요청이 동시에 몰릴 때 하나만 실제로 실행하고 나머지가 그 결과를 나눠 받는 패턴이라 다르다.
ShedLock의 두 시간 설정
lockAtLeastFor: 서버마다 시계가 몇 초씩 다를 수 있다. 작업이 2초 만에 끝나 락이 바로 풀리면, 시계가 5초 늦은 서버가 그 뒤에 또 실행한다. 그래서 작업이 빨리 끝나도 락을 최소 몇 분 유지한다.lockAtMostFor: 서버가 작업 중에 죽어도 락이 영원히 남지 않게 하는 상한이다. 이 시간이 지나면 작업이 아직 돌고 있어도 락이 풀린다.
lockAtMostFor를 30분으로 정했는데 연말에 작업이 40분 걸렸다. ShedLock은 스케줄이 울리는 순간에만 락을 확인하므로, 하루 한 번 도는 작업이면 다른 서버가 30분 시점에 바로 시작하지는 않는다. 하지만 5분마다 도는 작업이거나 누군가 수동으로 다시 실행하면 두 작업이 동시에 돈다. 그래서 lockAtMostFor는 평소가 아니라 최악의 실행 시간보다 넉넉하게 잡는다. GC 멈춤이나 네트워크 지연으로도 같은 일이 생기므로, 락만으로는 완전히 막을 수 없다는 전제로 간다.
작업 자체를 멱등하게
몇 번 실행해도 결과가 같게 만든다. 정산 작업에서는 이렇게 된다.
- 조건부 상태 전이:
UPDATE orders SET status = '정산대상' WHERE id = ? AND status = '구매확정'. 두 번째 실행은 0건을 바꾸고 지나간다. - 유니크 제약: 정산 테이블의
order_id에 유니크를 두고ON CONFLICT DO NOTHING으로 넣는다. - 작게 나눠 커밋: 1,000건씩 커밋하면 중간에 죽어도 다시 돌렸을 때 남은 것만 처리한다.
락은 중복을 줄이는 최적화이고, 정합성을 지키는 것은 멱등성이다.
5. 업로드 파일
사용자가 올린 프로필 사진을 서버 A의 /var/uploads/에 저장하고 DB에는 경로만 기록했다.
- 서버마다 가진 파일이 달라서, 다른 서버로 간 요청은 사진이 깨진 페이지를 본다.
- 오토스케일링은 서버를 언제든 지울 수 있다는 전제로 돈다. 서버가 줄어들면 그 서버에만 있던 파일은 그대로 사라진다.
파일은 모든 서버가 함께 보는 저장소로 옮긴다.
| S3(객체 스토리지) | EFS(공유 파일 시스템) | |
|---|---|---|
| 쓰는 방법 | API로 올리고 받는다 | 여러 서버에 같은 디스크처럼 마운트한다 |
| 장점 | 싸고, 사실상 용량 무제한이고, CDN에 붙이기 쉽다 | 기존 파일 경로 코드를 거의 그대로 쓸 수 있다 |
| 쓰기 좋은 곳 | 사용자 업로드, 이미지, 첨부 파일 | 파일 시스템이 꼭 필요한 레거시 앱이나 도구 |
- 파일이 서버를 거치지 않게 한다: 서버는 업로드 권한이 담긴 presigned URL만 발급하고 브라우저가 S3로 직접 올린다. 내려받을 때는 CDN을 거치게 한다. 큰 파일이 몰려도 앱 서버의 대역폭과 메모리를 쓰지 않는다.
- DB에는 서버 경로 대신 객체 키를 저장한다:
/var/uploads/a.jpg대신profiles/123/a.jpg같은 키만 두면 저장소나 도메인이 바뀌어도 DB를 고치지 않는다.
정리
| 상태 | 서버 밖으로 빼는 곳 |
|---|---|
| 세션 | Redis나 토큰 |
| 캐시 | 공용 캐시, 또는 무효화 방송 |
| 스케줄 작업 | 분산 락 + 멱등한 작업 |
| 파일 | 객체 스토리지 |
이제 앱 서버는 마음대로 늘릴 수 있다. 그 대신 빼낸 상태가 모인 DB와 Redis가 다음 병목이 된다. → 2부 DB 확장과 샤딩
참고 자료
- ShedLock:
lockAtMostFor,lockAtLeastFor의 의미 - PostgreSQL SELECT의 잠금 절:
SKIP LOCKED - Amazon S3 presigned URL로 업로드