Skip to content

2부 DB 확장과 샤딩 ​

1부에서 앱 서버를 무상태로 만들었다. 이제 앱 서버는 마음대로 늘릴 수 있지만, 빼낸 상태가 모인 DB가 다음 병목이 된다. 읽기를 덜어 내고, 쓰기를 나누고, 나중에 다시 나누는 순서로 정리한다.

무상태 설계는 병목을 없애는 것이 아니라 상태가 있는 계층으로 옮기는 것이다.

1. 서버를 늘렸더니 DB가 막힌다 ​

앱 서버를 3대에서 20대로 늘렸다. 앱 서버 CPU는 여유로운데 응답이 오히려 느려지고 가끔 오류가 난다.

세션, 캐시, 락, 정산 상태를 전부 앱 서버 밖으로 뺐고, 그 상태가 모인 곳은 DB와 Redis다. 이쪽은 앱 서버처럼 복제해서 늘리기 어렵다. 가장 흔한 직접 원인은 커넥션 수다.

  • 서버 한 대가 커넥션 풀(HikariCP)을 10개씩 가지면, 20대일 때 DB에는 최대 200개가 붙는다.
  • DB에는 최대 연결 수가 있다. 기본값이 MySQL은 151개, PostgreSQL은 100개다. 넘으면 Too many connections 오류가 난다.
  • 한도 안이라도 동시에 도는 쿼리가 많아지면 락 대기와 문맥 전환이 늘어, 쿼리 하나하나가 느려진다.
  • 앱 서버의 스레드는 커넥션을 기다리며 쌓이다가 타임아웃이 난다. 기다리기만 하니 앱 서버 CPU는 한가해 보인다.

호출 한도가 있는 외부 API도 같은 구조다. 서버를 늘릴수록 한도에 빨리 걸린다.

2. 읽기 덜어 내기 ​

앱 서버 20대, 서버당 풀 10개, DB 최대 연결 150개, 조회가 전체의 90%인 상황이다. 아래 순서로 적용한다. 뒤로 갈수록 효과도 크지만 복잡도도 커진다.

쿼리·인덱스 → 커넥션 풀 크기와 프록시 → 캐시 → 읽기 복제본

방법효과대가
느린 쿼리와 인덱스쿼리가 10ms에서 1ms가 되면 같은 커넥션으로 10배를 처리한다거의 없다. 가장 먼저 할 일이다
커넥션 풀 줄이기DB가 실제로 동시에 처리하는 쿼리 수는 CPU 코어 수 근처라, 그보다 많은 연결은 대기만 늘린다. 서버당 5개로 줄여도 처리량이 거의 그대로인 경우가 많다풀 크기를 측정으로 정해야 한다
커넥션 프록시(PgBouncer, RDS Proxy)앱 서버가 몇 대든 DB에 붙는 실제 연결 수를 일정하게 유지한다거쳐 가는 단계와 운영할 구성 요소가 하나 는다
캐시자주 조회되고 잘 바뀌지 않는 데이터의 조회를 DB에서 뺀다얼마나 오래된 값을 허용할지 정해야 하고 복잡도가 오른다
읽기 복제본조회를 복제본 여러 대로 나눈다복제 지연만큼 옛 값을 읽을 수 있다

읽기 복제본과 CQRS는 다르다 ​

읽기 복제본 + 읽기·쓰기 분리CQRS
무엇을 나누나DB 인스턴스. 같은 스키마를 복제한다모델 자체. 쓰기 모델과 조회 전용 모델을 따로 둔다
조회 모델원본과 같은 테이블조회에 맞게 미리 합쳐 둔 별도 테이블이나 검색 엔진
동기화DB 복제이벤트로 조회 모델을 갱신한다
쓰는 경우조회량이 많을 때조회 형태가 쓰기 모델과 너무 다를 때

조회량을 덜어 내는 답은 읽기 복제본이다. CQRS는 복제본을 쓸 수도 있지만 그보다 범위가 넓은 설계 패턴이다.

방금 쓴 값은 원본에서 읽기 ​

복제 지연 때문에 사용자가 방금 바꾼 값을 복제본에서 읽으면 바뀌기 전 값이 보인다. 자기가 쓴 것은 바로 보이게 하는 것을 read-your-writes라고 한다. 모든 조회를 원본으로 보내면 복제본을 둔 의미가 없으니 범위를 좁힌다.

  • 쓰기 직후 몇 초 동안만 그 사용자의 조회를 원본으로 보낸다.
  • 자기 데이터를 조회할 때만 원본을 쓰고, 남의 데이터는 복제본에서 읽는다.

3. 쓰기 나누기 ​

위 방법들은 모두 읽기만 덜어 준다. 주문 생성 같은 쓰기가 원본 DB 한 대의 한계에 다다랐고, 서버 사양도 이미 최고로 올렸다면 쓰기를 여러 서버로 나눠야 한다.

파티셔닝샤딩
나누는 단위한 DB 서버 안에서 테이블을 여러 조각으로 나눈다데이터를 여러 DB 서버에 나눠 담는다
예orders 테이블을 월별 파티션으로 나눈다사용자 ID에 따라 주문을 DB 1, 2, 3에 나눠 저장한다
얻는 것오래된 데이터를 통째로 지우기 쉽고, 조건에 맞는 파티션만 읽어 조회가 빨라진다쓰기 처리량과 저장 용량이 서버 수만큼 는다
쓰기 한계서버가 하나라 CPU와 디스크 한계는 그대로다서버 한 대의 한계를 넘을 수 있다

샤드 키 고르기 ​

샤드 키는 유일성보다 어떻게 조회하느냐로 고른다. 유일한 값은 많지만 그중 샤드 키로 좋은 것은 세 조건을 만족한다.

  • 고르게 퍼진다: 특정 서버로 쏠리지 않는다.
  • 가장 잦은 조회가 서버 한 대에서 끝난다: 여러 서버를 다 뒤져야 하면 샤딩한 의미가 줄어든다.
  • 함께 바뀌는 데이터가 같은 서버에 모인다: 한 서버 안의 트랜잭션으로 처리할 수 있다.
주문번호사용자 ID
분산아주 고르다대체로 고르지만 주문이 아주 많은 사용자가 있으면 쏠린다
"내 주문 목록" 조회서버 전부에 묻고 합쳐야 한다한 서버에서 끝난다
주문과 주문 상품을 한 트랜잭션으로둘 다 주문번호로 나누면 가능하다가능하다

이커머스에서는 "내 주문 목록"이 가장 잦은 조회라서 보통 사용자 ID를 고른다. 그래도 판매자 관리 화면의 "판매자별 주문"은 여러 서버에 흩어진다. 이런 조회는 CQRS로 판매자 기준의 조회 모델을 따로 만들어 받는다. 샤드 키와 맞지 않는 조회를 받아 주는 것이 CQRS가 실제로 쓰이는 대표적인 자리다.

샤딩하면 어려워지는 것 ​

  • 조인: 다른 서버에 있는 데이터와는 DB 조인을 할 수 없다.
  • 쏠림: 키를 잘못 고르면 한 서버에 부하가 몰린다.
  • 여러 서버에 걸친 트랜잭션: 한 DB 트랜잭션으로 묶을 수 없어 사가나 아웃박스로 푼다.
  • 전역 ID 생성: 서버마다 auto increment를 쓰면 번호가 겹친다. Snowflake나 UUIDv7처럼 서버끼리 겹치지 않는 ID가 필요하다.
  • 전체 정렬, 페이징, 집계: "전체 주문 최신순 20개"는 서버마다 20개씩 가져와 합쳐야 한다.
  • 재샤딩: 서버를 늘릴 때 데이터를 옮겨야 한다.

4. 다시 나누기 ​

샤드 규칙을 user_id % 3으로 정했는데 1년 뒤 4대로 늘리려 한다. 규칙을 user_id % 4로 바꾸면 이렇게 된다.

user_id% 3 (지금)% 4 (바꾼 뒤)이동
000그대로
111그대로
222그대로
303이동
410이동
521이동
602이동

12명 단위로 세면 제자리에 남는 사용자는 0, 1, 2번 세 명뿐이다. 75%의 데이터를 다른 서버로 옮겨야 한다. 서버 한 대를 더하는 데 꼭 필요한 이동은 1/4인데 그 세 배를 옮기는 셈이다.

  • 규칙만 먼저 바꾸면, 사용자 4의 주문은 아직 1번 서버에 있는데 앱은 0번 서버에서 찾는다. 사용자에게는 주문 내역이 사라진 것처럼 보인다.
  • 데이터를 다 옮긴 뒤 바꾸려 해도, 운영 중인 DB의 75%를 옮기는 동안 새 주문이 계속 들어온다.

논리 샤드 ​

물리 서버 수로 바로 나누지 않고, 넉넉한 개수의 논리 샤드로 먼저 나눈 뒤 매핑 표로 서버에 배치한다.

user_id % 1024 → 논리 샤드 번호 (0~1023, 이 규칙은 바꾸지 않는다)
매핑 표: 논리 샤드 0~341 → DB1, 342~682 → DB2, 683~1023 → DB3
  • 4대로 늘릴 때는 DB1~DB3에서 논리 샤드를 조금씩 떼어 DB4로 옮기고 매핑 표만 고친다.
  • 옮기는 양은 전체의 약 1/4로, 꼭 필요한 만큼만 옮긴다.
  • 논리 샤드 하나씩 옮기므로 한 번에 영향받는 사용자가 적다.
방법동작대가
논리 샤드 + 매핑 표위와 같다매핑 표를 관리해야 한다. 논리 샤드 수를 처음에 넉넉히 정해야 한다
일관된 해싱(consistent hashing)서버를 원형 고리에 배치해, 서버를 더해도 약 1/N만 이동한다. 캐시 클러스터, Cassandra, DynamoDB가 쓴다서버 수가 적으면 고르게 퍼지지 않아 가상 노드를 둔다
디렉터리 방식사용자마다 어느 서버에 있는지 조회 표에 적는다가장 유연하지만 조회 표가 새로운 의존 지점이 된다

샤딩은 처음 나눌 때보다 나중에 다시 나눌 때가 어렵다. 그래서 물리 서버 수와 데이터를 나누는 규칙을 처음부터 분리해 둔다.

남은 질문 ​

  • [ ] 커넥션 풀 크기를 실제로 어떻게 측정해서 정하는가?
  • [ ] 논리 샤드를 다른 서버로 옮기는 동안 들어오는 쓰기는 어떻게 처리하는가? 복사, 따라잡기, 전환의 순서를 정리한다.
  • [ ] 주문이 아주 많은 사용자가 한 샤드를 독점할 때 어떻게 떼어 내는가?

설계하며 판단이 갈린 질문은 설계 질문 목록에 모았다.

참고 자료 ​