직무 설명:
비즈니스 소개
AI & 데이터 사업부(AIDD)는 라쿠텐 그룹의 데이터를 활용하여 데이터 사이언스 및 AI 이니셔티브를 주도합니다. 우리는 비즈니스에 더 빠르고 더 나은 기여를 할 수 있는 중요한 통찰력을 제공하기 위해 최첨단 기술을 사용하여 대규모 현장 실험을 위한 플랫폼을 구축합니다. 우리 사업부는 전 세계의 유능한 직원들이 만들어낸 국제적인 문화를 자랑합니다. AIDD는 "데이터 기반 멤버십 회사로서의 Rakuten"이라는 전략적 비전에 따라 여러 라쿠텐 그룹 계열사에 걸쳐 데이터 및 AI 관련 활동을 확장하고 있습니다.
부서 소개
GPU 최적화 부서(GPUOD)Rakuten의 전사적 AI 인프라에 대한 전략적 관리, 최적화 및 거버넌스를 담당하여 기계 학습 워크로드를 위한 컴퓨팅 리소스의 고성능, 비용 효율적인 활용을 보장합니다. 우리는 최신 Hopper 및 향후 Blackwell 아키텍처를 포함하여 수천 개의 가속기를 포괄하는 대규모 하이브리드 인프라를 감독합니다.
AI 혁신의 핵심 조력자로서 우리는 다음을 수행합니다.
- 온프레미스 및 멀티 클라우드 환경 전반에서 컴퓨팅 리소스 할당을 최적화하여 훈련 및 추론 워크로드의 효율성을 극대화합니다.
- 다양한 가속기 리소스의 하이브리드 오케스트레이션을 관리하여 원활한 확장성과 비용 효율적인 배포를 보장합니다.
- LLM 및 생성 AI에 특히 중점을 두고 대규모 분산 교육을 위한 프레임워크를 개발하고 강화합니다.
- 모델 최적화 기술 및 시스템 수준 가속을 통해 추론 성능을 최적화합니다.
- 내부 팀과 협력하여 비즈니스 요구 사항에 맞는 확장 가능하고 가용성이 높은 추론 서비스를 제공합니다.
- LLM 워크로드에 최적화된 특수 AI 칩을 포함한 차세대 하드웨어 솔루션을 지속적으로 평가합니다.
- 우리 팀은 온프레미스 및 클라우드 환경 전반에서 기존 컴퓨팅 리소스와 특수 컴퓨팅 리소스를 모두 효과적으로 관리함으로써 Rakuten의 AI 생태계가 성능, 안정성 및 비용 효율성 측면에서 선두를 유지하도록 보장합니다.
포지션:
채용 배경
- 규모에 맞는 최첨단 LLM 교육 및 추론 최적화 작업을 수행합니다.
- 효율성을 향상하고 비용을 절감하여 라쿠텐의 AI 인프라에 직접적인 영향을 미칩니다.
- 영향력이 큰 과제에 대해 글로벌 AI/ML 팀과 협력합니다.
- 최첨단 GPU 최적화를 연구하고 구현할 수 있는 기회.
주요 업무
GPU 교육 및 추론 최적화 엔지니어로서 귀하는 Rakuten의 GPU 클러스터에서 LLM 교육 및 추론 워크로드의 성능, 효율성 및 확장성을 극대화하는 데 중점을 두게 됩니다. 훈련 프레임워크(예: PyTorch, DeepSpeed, FSDP) 및 추론 엔진(예: vLLM, TensorRT-LLM, Triton, SGLang)을 심층적으로 최적화하여 Rakuten의 AI 모델이 최고의 효율성으로 실행되도록 보장합니다.
이 역할을 수행하려면 훈련 시간 단축, GPU 활용도 향상, 추론 지연 최소화에 중점을 두고 GPU 가속 ML 프레임워크, 분산 훈련 및 추론 최적화에 대한 강력한 전문 지식이 필요합니다.
핵심 책임
- LLM 교육 프레임워크(예: PyTorch, DeepSpeed, Megatron-LM, FSDP)를 최적화하여 GPU 활용도를 극대화하고 교육 시간을 단축합니다.
- 분산 교육 병목 현상(예: NCCL 문제, CUDA 커널 효율성, 통신 오버헤드)을 프로파일링하고 최적화합니다.
- 지연 시간이 짧고 처리량이 높은 LLM 서비스(vLLM, TensorRT-LLM, Triton, SGLang)를 위한 추론 최적화(예: 양자화, 동적 일괄 처리, KV 캐싱)를 구현하고 조정합니다.
- 인프라 팀과 협력하여 대규모 훈련 작업에 대한 GPU 클러스터 스케줄링, 리소스 할당 및 내결함성을 개선합니다.
- 교육 처리량, 메모리 효율성 및 추론 대기 시간을 측정하고 개선하기 위한 벤치마킹 도구를 개발합니다.
- LLM 성능을 최적화하기 위해 최첨단 기술(예: 전문가 혼합, 추론적 디코딩)을 연구하고 적용합니다.
필수 자격 요건:
- LLM 또는 대규모 딥 러닝 모델에 대한 GPU 가속 ML 교육 및 추론 최적화 분야에서 3년 이상의 실무 경험이 있습니다.
- PyTorch, DeepSpeed, FSDP 또는 Megatron-LM에 대한 깊은 전문 지식과 분산 교육 최적화 경험이 있습니다.
- LLM 추론 최적화(예: 양자화, 가지치기, KV 캐싱, 연속 일괄 처리)에 대한 강력한 지식
- 컴퓨터 공학, 공학 또는 관련 분야 학사 이상의 학위.
우대 자격 요건:
- CUDA, Triton 커널, NVIDIA 도구(Nsight, NCCL) 및 성능 프로파일링(예: PyTorch Profiler, TensorBoard)에 능숙합니다.
- LLM 관련 최적화 경험(예: FlashAttention, PagedAttention, LoRA, 추론적 디코딩)
- GPU 워크로드(예: KubeFlow, Volcano)를 위한 Kubernetes(K8s)에 익숙합니다.
- 오픈 소스 ML 프레임워크(예: PyTorch, DeepSpeed, vLLM)에 기여합니다.
- 추론 제공 프레임워크(예: vLLM, TensorRT-LLM, Triton, Hugging Face TGI) 경험
#engineer #applicationsengineer #AI #aianddatadiv
언어 요건:
영어 (종합 - 3 - 고급)