[CNKCD2025] 초고성능 S3 클러스터 구축을 위한 Kubernetes 최적화 달성하기(신호승)

AI 서비스가 폭발적으로 증가하고 있고 AI에 공급해야할 데이터도 같이 증가하고 있습니다. 특히 비정형 데이터를 저장할 수 있는 스토리지의 요구사항은 과거의 아카이빙 용도를 벗어나 분석 워크로드와의 통합까지 이어지고 있습니다. 이러한 상황에서 Open Source로 페타 규모의 S3 클러스터를 고성능으로 구성할 수 있다면 AI에 데이터를 제공할 수 있는 가장 중요한 기반 플랫폼의 혁신을 꾀할 수 있습니다. Open Source MinIO S3를 사용하여 어떻게 고성능 스토리지 클러스터를 만들었는지를 공유하는 세션입니다. 고성능 S3 클러스터 구축에 필요한 OS, K8S 최적화 과정과 결과를 공유합니다. AWS S3 때문에 많은 분들이 S3는 느린 스토리지라는 생각을 가지고 있습니다. 느리지만 편리하고 저렴하다는게 일반적인 평가입니다. 하지만 S3는 기존 HDFS 혹은 벤더의 스토리지보다 더 나은 IO와 Throughput을 확보할 수 있는 아키텍처로 설계할 수 있습니다. 네트워크 구성, Linux Kernel 설정, Kubernetes CNI의 최적화 등을 통해 물리 노드의 NIC와 디스크가 가진 100%의 성능을 활용할 수 있는 클러스터를 만들 수 있습니다. 이 과정을 이해할 경우 대규모 East-West 트래픽을 유발하는 빅데이터 플랫폼이나 분산 서비스를 Cloud Native화 할 수 있습니다. SK Hynix에서 어떻게 30PiB 규모의 분석 워크로드를 위한 S3 스토리지 아키텍처를 설계하고 검증해왔는지를 공유합니다.