모레LLM Inference Engineer
- 경력
- 1년 이상
- 고용 형태
- 정규직
- 마감
- D-22026.11.15까지
- 지역
- 서울서울시 서초구 서초대로 396, 강남빌딩 20층
- 직군·직무
- 개발AI·머신러닝 엔지니어
- 출처
- 원티드
이 공고에서 요구하는 AI 역량
AI 활용 필수AI 관련 항목
- 주요 업무2곳
- 자격 요건1곳
- 우대 사항1곳
공고에서 찾은 문장
- 주요 업무
다수의 노드와 이기종 가속기를 활용해, LLM 추론 워크로드를 효율적으로 실행할 수 있는 실행 환경 구축
- 주요 업무
LLM 서빙 프레임워크(vLLM, SGLang 등)의 성능 최적화
- 자격 요건
LLM 추론 과정에 대한 기본적인 이해가 있으신 분
- 우대 사항
LLM 서빙 프레임워크를 직접 개발하거나 관련 오픈 소스 프로젝트(vLLM, SGLang, Transformers 등)에 기여한 경험이 있으신 분
요구 경력
1년 이상회사 소개
• Moreh는 대규모 GPU/NPU 클러스터에서 다양한 LLM을 서빙하는 “토큰 팩토리” 데이터센터를 효율적으로 구동하기 위한 추론 소프트웨어를 개발, 제공합니다. • LLM Inference Engineer는 이종 GPU 클러스터에서 LLM 추론을 고성능으로 실행할 수 있도록 다양한 분산 추론 기술을 개발, 통합, 배포하는 업무를 담당합니다.
주요 업무
• 다수의 노드와 이기종 가속기를 활용해, LLM 추론 워크로드를 효율적으로 실행할 수 있는 실행 환경 구축 • LLM 서빙 프레임워크(vLLM, SGLang 등)의 성능 최적화 • 스토리지, 메모리, GPU 간 고속 통신을 위한 low-level 라이브러리(NCCL, NIXL, UCX 등)의 활용 및 최적화 • 효율적인 KV cache 오프로딩 및 티어링 • GPU를 효율적으로 활용하기 위한 라우팅 규칙 개발, 적용 • 하드웨어 특성과 서비스 요구를 모두 고려한 병목 분석 및 시스템 성능 개선
자격 요건
• 컴퓨터공학 혹은 관련 전공 학부 졸업, 혹은 이와 동등한 경력이 있으신 분 • 시스템 소프트웨어 개발 혹은 활용 경험이 있으신 분 • LLM 추론 과정에 대한 기본적인 이해가 있으신 분 • 팀워크를 중시하고, 긍정적인 태도로 동료들과 적극적으로 협력할 수 있으신 분
우대 사항
• AI 가속기(GPU, TPU, NPU 등) 환경에서의 추론 및 최적화 경험이 있으신 분 • LLM 서빙 프레임워크를 직접 개발하거나 관련 오픈 소스 프로젝트(vLLM, SGLang, Transformers 등)에 기여한 경험이 있으신 분 • NCCL, NIXL, UCX 등의 low-level 통신 라이브러리 활용 및 개발 경험이 있으신 분 • 대규모 시스템에서의 분산 처리, 모니터링, 성능 분석 및 해결 경험이 있으신 분
혜택 및 복지
• 복지포인트 연간 200만 원 • 입사 시 장비지원금 지원 • 유연출근제&재택근무 • 연 1회 종합건강검진 (본인 및 직계가족 1인) • 생일 반차 휴가 • 장기근속 휴가 • 사내 동호회 지원 (보드게임, 클라이밍 등) • 오피스 간식 제공 (과자, 음료수 등) • 연말 오피스 클로징 (매년 12/28-12/31 유급휴가 제공) • 중소기업 청년 소득세 감면 (연간 최대 200만 원)
채용 절차
• 서류 전형 -＞ 1차 면접 -＞ 최종 면접 -＞ 처우 협의 -＞ 최종 합격 • 포지션에 따라 전형이 변경 또는 추가될 수 있는 점 참고 부탁드립니다.
회사 정보
- 연봉 수준연봉상위6~10%
- 회사 규모51~300명
- 업력설립4~9년
- 퇴사율퇴사율5%이하
복지
- 가족
서울시 서초구 서초대로 396, 강남빌딩 20층지도 보기