사전 작업

iam 역할 및 정책 생성
- s3 쓰기 및 읽기 권한, cloudwatch logs 접근 권한
- 영상 트리거 로직에 따라 람다가 재귀적으로 호출되어 요금이 크게 발생할 수 있어 버킷을 두개로 하거나, 트리거 설정 시 접두사(Prefix) 설정하기
람다 계층 생성
- ffmpeg 바이너리 탑재
  - bin이라는 폴더 생성 후 안에 ffmpeg 바이너리 넣고 압축
- python-ffmpeg-video-streaming 라이브러리는 단순 python wrapper이므로 ffmpeg 바이너리 파일도 필요
  - 라이브러리 0.1.14 버전까지는 람다에서 오류가 있어 (deepcopy 관련) 0.1.15 이상으로 해야함
람다 및 트리거 생성
- 미리 생성한 iam 정책, ffmpeg 계층을 적용한 람다 함수 생성
- 영상 변환 시 메모리, 시간이 소요되므로 넉넉히 설정
- 트리거로 연결했던 s3를 해제했다가 다시 연결하려는 경우 해당 s3의 속성 탭에서 이전에 생성되었던 이벤트 알림 삭제해야함

함수 배포

ffmpeg 커맨드를 모두 배우는 것은 비효율적이라 판단해 python wrapper를 도입했고, python-ffmpeg-video-streaming은 계층으로 넣으니 정상 작동하지 않아 코드와 함께 통째로 압축해 람다에 배포
배포 후 문제: 로컬에서는 정상 작동하는 s3에 변환 결과물을 전송하는 기능이 작동하지 않음
- 라이브러리 내부적으로 boto3 사용해 for 문 돌면서 하나하나 보내는 로직이었으므로, 람다 내부 임시 저장소인 tmp에 변환된 영상파일 저장 후, 직접 for문 작성해 전송
- 참고: 람다는 boto3 내장하고 있음
최종 코드

람다 채택 이유

코드, 혹은 계층의 재사용의 편리함 대비 낮은 비용
- 영상 하나 변환 당 ~~4원 미만~~
  - arm64 아키텍쳐로 변경해도 특별히 가성비가 좋아지지 않음 (?)
  - 테스트
    - 원본: 3.6MB 크기를 가진 3분 가량의 테스트 강의 영상 (mp4)
    - 결과물: 720p 화질, mpd & m3u8 모두 포함
    memory(MB) arm64 x86_64
    
    1800 110s 92s
    
    2240 90s 73s
    
    3000 71s 59s
    
    4000 53s 46s
    
    6000 44s 39s
트리거를 통해 S3에 영상을 업로드하기만 해도 변환되는 로직이 쉽게 구현됨
람다 메모리 할당 설정으로 성능 조절 용이
여러 영상을 병렬적으로 트랜스코딩 가능

memory(MB)	arm64	x86_64
1800	110s	92s
2240	90s	73s
3000	71s	59s
4000	53s	46s
6000	44s	39s

실사용 트러블 슈팅(2023.08.04)

람다 메모리 할당 부족에 따른 영상 변환 실패
- 제한시간 8분 → 15분, 메모리 2240MB → 3009MB 로 수정
Pymysql 커넥션이 가능범위 이상으로 맺어져 rds 테이블 업데이트 불가
- 메인 FastAPI 백엔드에 rds 테이블 업데이트 api 생성 후 람다에서 해당 api 호출
⚠️ 다른 문제의 강의가 조회됨
- 원인: 여러 강의 영상을 동시에 트랜스코딩한 경우 동일한 람다 컨테이너로의 지속적인 요청에 따른 tmp 디렉토리 등의 자원 재사용
  - /tmp 바로 하위에 변환된 파일 조각들을 저장했었는데, 해당 컨테이너가 또 다른 문제에 대한 영상 처리에 즉시 사용되는 경우 충돌이 발생한 것으로 예상되었다
- 해결 방안: 보수적으로 아래 모두 수행
  1. /tmp/{question_id} 경로에 문제별로 독립적으로 저장
  2. s3 업로드 성공 여부와 관계없이 마지막에 tmp 디렉토리를 비우는 로직 추가

최종 람다 코드

현재일 기준 가장 용량 큰 약 91MB 영상을 720p화질로 7000MB 메모리의 arm 람다에서 변환한 경우 약 521초 소요되어 약 64원 나옴

from ffmpeg_streaming import input, Formats, Bitrate, Representation, Size, S3, CloudManager

import os
import stat
import boto3
from utils import set_has_lecture_true

s3_client = boto3.client(
    "s3",
    aws_access_key_id=os.environ['s3_aws_id'],
    aws_secret_access_key=os.environ['s3_aws_secret'],
)

def lambda_handler(event, context):
    print("/tmp START: " + str(os.listdir('/tmp')))
    
    s3_source_bucket = event['Records'][0]['s3']['bucket']['name'] # thai-images
    s3_source_key = event['Records'][0]['s3']['object']['key'] # /lecture/original/test.mp4
    s3_source_key = s3_source_key.replace("+", " ") # 공백 포함된 파일명 처리
    
    s3_source_basename = os.path.splitext(os.path.basename(s3_source_key))[0] # test
    s3_source_extension = os.path.splitext(os.path.basename(s3_source_key))[1] # .mp4
    question_id = s3_source_basename.replace(" ", "")
    
    temp_original_dir = f"/tmp/{s3_source_basename + s3_source_extension}"
    temp_converted_dir = f"/tmp/{question_id}"
    
    # S3에서 /tmp로 원본 다운로드
    print(f'Downloading {s3_source_key}')
    s3_client.download_file(s3_source_bucket, s3_source_key, temp_original_dir)

    ### 미작동
    # destination = CloudManager().add(s3, bucket_name="thai-images", folder=f"lecture/{question_id}/")

    _360p  = Representation(Size(640, 360), Bitrate(276 * 1024, 128 * 1024))
    _480p  = Representation(Size(854, 480), Bitrate(750 * 1024, 192 * 1024))
    _720p  = Representation(Size(1280, 720), Bitrate(2048 * 1024, 320 * 1024))
    _1080p = Representation(Size(1920, 1080), Bitrate(4096 * 1024, 320 * 1024))
    
    source_video = input(temp_original_dir)

    print(f'Converting from {temp_original_dir} to {temp_converted_dir}')
    dash = source_video.dash(Formats.h264())
    dash.representations(_720p)
    dash.generate_hls_playlist()
    # dash.output(clouds=destination)
    dash.output(f'{temp_converted_dir}/{question_id}.mpd')
    
    print('Sending converted files to S3')
    converted_files = os.listdir(f'{temp_converted_dir}')
    for file in converted_files:
        try:
            s3_client.upload_file(
                f'{temp_converted_dir}/{file}', # 변환된 파일 위치
                'thai-images', # 목표 S3 버킷명
                f'lecture/converted/{question_id}/{file}' # 목표 S3 경로 및 파일명
            )
        except Exception as e:
            print(e)
        finally:
            os.remove(f"{temp_converted_dir}/{file}")
        
    # /tmp 비우기
    try:
        os.rmdir(temp_converted_dir)          
        for file in os.listdir('/tmp'):
            os.remove('/tmp/' + file)
    except Exception as e:
        print(e)

    print("/tmp END: " + str(os.listdir('/tmp')))
                
    print('RDS Operation')
    set_has_lecture_true(question_id)

    print(f'{question_id} : Processing complete successfully')