<aside> 💡

주요 고려사항

1. 내부적으로 활동 로그 데이터 분석을 하기 위함이므로 실시간성이 중요하지 않다
2. 5일만에 완성해야한다

→ 익숙하게 다루었던 기술 위주로 구성

→ 추가 비용을 최소화하도록 구성

→ 저장된 데이터 쿼리 편리성을 위해 RDBMS에 저장 (필요시 추후 마이그레이션)

</aside>

고려한 옵션

• 개별 로그 중간 저장소
  • Aws SQS
  • Redis
    • String
    • List
    • Stream → 추가 비용 없음, 익숙한 자원
  • 로그 저장 서버 로컬 디스크
• 최종 저장 저장소
  • S3 (csv, parquet, ndjson 형식)
    • Aws Glue → Aws Athena를 통해 쿼리
  • Opensearch
  • DynamoDB
  • Aws RDS (Mysql) → 추가 비용 없음, 익숙한 자원
• 스케줄링
  • 직접 구현
    • 파이썬 스케줄링 프로그램 만들어 EC2 인스턴스에 구동
  • Aws Eventbridge → 프리티어, 서버리스
    • Aws lambda invoke

구현

백엔드 로그 저장 서버 분리

• 어플리케이션 서버의 로직과 교집합이 없으며, 서비스 사용자 경험에 영향을 주지 않게 하기 위해 분리
• 관련 API

  1. 개별 로그를 Redis Stream에 저장하는 API

     <aside> 🚧

     MySQL에 개별 삽입을 하는 것은 비효율적인 쿼리이며, 실시간으로 이루어지기 때문에 DB 서버 자원을 많이 소모하여 서비스 사용자에게 영향을 미칠 수 있다

     </aside>

     • 이벤트 도메인과 이름으로 분류
     1. 호출이 잦을 것으로 예상되어 비동기로 구현
        1. 동기로 구현 시 스레드 풀의 한도(기본 40개)에 따라 라우터에서 병목 발생
     2. Redis key를 날짜(date)로 구분하여 하루 단위로 로그 적재
        1. 100만개의 로그 적재 시 Redis 메모리 약 50MB 차지

  2. 특정 날짜 하루 동안 Redis Stream에 저장된 모든 로그를 Mysql 데이터베이스에 BULK INSERT하는 API

     <aside> ⚠️

     벌크 삽입 쿼리가 파라미터 바인딩을 사용하고, DB 드라이버가 패킷 분할을 지원하여 쿼리 전체 크기가 max_allowed_packet (기본 64MB)을 초과하여도 정상 작동

     • 파라미터 바인딩을 사용하면 쿼리 템플릿과 실제 데이터가 분리되어 전송

       • 단일 Row나 쿼리 템플릿이 max_allowed_packet을 넘지 않는 한, 여러 Row로 구성된 패킷으로 쪼개어 전송 가능

     • 파라미터 바인딩을 하지 않고 쿼리 전체가 하나의 문자열이라면 쪼개서 보낼 수 없어 max_allowed_packet 초과 시 전송 불가

       • 단일 필드(예: BLOB, 긴 TEXT 등)가 매우 큰 경우에도 쪼갤 수 없어 max_allowed_packet 초과 시 전송 불가 </aside>

     • SQLAlchemy 모델

     1. 배치 저장 오류 발생 없다면 관련 Redis Stream 삭제
     2. 오류 발생 시 트랜잭션 전체 롤백하고, 최대 2회 재시도
     3. 100만개의 로그 적재 시 약 1~2분 소요

프론트 서버에서 이벤트 발생 시 개별 로그 저장 API 호출해 Redis Stream에 적재

Aws Eventbridge Scheduler가 하루 한번 사용자가 가장 적은 시간대에 Aws Lambda 비동기 호출

• 반복 일정 → cron 기반 일정

• 람다 호출 시 페이로드 설정

  // 람다 호출하는 시점의 데이터을 동적으로 전달
  {
    "scheduled_time": "<aws.scheduler.scheduled-time>"
  }
  
  // 예시
  {
    "scheduled_time": "2024-01-01T06:00:00Z"
  }
  

Aws Lambda에서 로그 저장 서버의 배치 저장 API 호출

• 보안을 위해 요청 헤더에 람다에서 호출했음을 증명하는 시크릿 키 포함
• 파이썬 requests 라이브러리를 사용해 동기적으로 API를 호출하기 때문에 제한시간 넉넉히 설정
• 구현 코드: 스케줄러의 페이로드로 받은 날짜 데이터로부터 어제 날짜를 계산하여 백엔드 서버에 전달

TODO

• [ ] 중간 버퍼에서 데이터 유실 방지를 위한 백업 설정
  • [ ] 트래픽 증가 시 SQS, RabbitMQ, Kafka 등 고려