디큐랩데이터 사이언티스트/엔지니어
- 경력
- 2~7년
- 고용 형태
- 정규직
- 마감
- 상시 채용
- 지역
- 서울재택근무
- 직군·직무
- 개발데이터 사이언티스트, 데이터 엔지니어
- 출처
- 원티드
이 공고에서 요구하는 AI 역량
AI 활용 필수AI 관련 항목
- 주요 업무5곳
- 자격 요건0곳
- 우대 사항2곳
공고에서 찾은 문장
- 주요 업무
본 직무는 핵심 데이터 엔지니어링뿐 아니라 LLM 기반 처리, 그래프 데이터 모델링, 데이터 품질 자동화, 제품 및 프론트엔드 팀과의 협업을 포함합니다. 데이터 무결성을 중요하게 여기고, 전체 데이터 파이프라인을 폭넓게 다루며, 제품 요구사항을 명확한 데이터 명세와 안정적인 운영 시스템으로 구현할 수 있는 분을 찾습니다.
- 주요 업무
LLM 기반 처리 파이프라인 개발·운영
- 주요 업무
LLM API를 활용한 대규모 생성·분류·추출 파이프라인을 설계합니다. 배치 처리, 동시성 제어, 재시도 및 타임아웃 정책을 포함합니다.
- 주요 업무
프롬프트와 스키마를 버전 관리하고, 변경 후 출력 품질에 대한 회귀 테스트를 수행합니다.
- 주요 업무
토큰 사용량, 비용, 지연시간을 측정하고 프롬프트 캐싱 등 비용 최적화 기법을 적용하며 보고를 자동화합니다.
- 우대 사항
Anthropic, OpenAI, Google 등 LLM API 기반 파이프라인 구축 경험: 배치 처리, 프롬프트 캐싱, 비용 최적화 등
- 우대 사항
LLM API(Anthropic / OpenAI / Google)
요구 경력
2~7년회사 소개
DQ Lab은 싱가포르에 기반을 둔 글로벌 에듀테크 기업으로, DQ 글로벌 표준에 기반한 실시간 데이터 평가 및 시각화 벤치마킹 도구를 제공합니다. 이를 통해 개인, 조직, 국가가 디지털 환경에서 안전성과 역량을 높일 수 있도록 지원합니다. DQ Lab은 디지털 지능의 글로벌 표준을 수립하고 전 세계 디지털 지능 교육을 확산하는 국제 싱크탱크 DQ Institute(DQI)와 연계되어 있습니다. DQI는 DQ 프레임워크를 디지털 리터러시, 역량 및 준비도를 위한 공통 표준으로 발전시키고 있습니다. (dqinstitute.org · poweredbydq.com · dqworld.net)
주요 업무
DQ Lab의 평가, 벤치마킹 제품, AI 기반 업무 프로세스 및 대시보드를 뒷받침하는 데이터 인프라를 설계·구축·운영할 실무형 데이터 엔지니어를 찾습니다. 다양한 출처의 다국어·다국가 데이터를 신뢰할 수 있고 재현 가능한 데이터셋으로 가공하여, 관계형·문서형·벡터·그래프 데이터베이스에서 서비스에 활용할 수 있는 형태로 제공하는 역할입니다. 본 직무는 핵심 데이터 엔지니어링뿐 아니라 LLM 기반 처리, 그래프 데이터 모델링, 데이터 품질 자동화, 제품 및 프론트엔드 팀과의 협업을 포함합니다. 데이터 무결성을 중요하게 여기고, 전체 데이터 파이프라인을 폭넓게 다루며, 제품 요구사항을 명확한 데이터 명세와 안정적인 운영 시스템으로 구현할 수 있는 분을 찾습니다. [상세 직무 내용] 1. 데이터 파이프라인 설계·개발·운영 • API, 파일, 데이터베이스 등 다양한 소스로부터 데이터를 수집하는 ETL/ELT 파이프라인을 설계하고 구현합니다. • 수집 정제 변환 적재의 각 단계에서 스키마, 데이터 타입 검증, 중복·결측치·이상치 처리 규칙을 정의합니다. • 행 단위 그룹 단위 상위 단위로 이어지는 다단계 집계 로직을 구현하고, 각 단계에 자동 정합성 검사를 적용합니다. • 파이프라인 스케줄링, 장애 감지 및 재처리, 실행 로그, 데이터 계보(lineage)를 관리합니다. • 처리 시간과 메모리 사용량을 프로파일링하고 대규모 데이터 처리 성능을 최적화합니다. 2. LLM 기반 처리 파이프라인 개발·운영 • LLM API를 활용한 대규모 생성·분류·추출 파이프라인을 설계합니다. 배치 처리, 동시성 제어, 재시도 및 타임아웃 정책을 포함합니다. • 구조화된 출력을 Pydantic 스키마로 검증하고, 실패 유형을 분류하여 후처리 로직을 구현합니다. • 프롬프트와 스키마를 버전 관리하고, 변경 후 출력 품질에 대한 회귀 테스트를 수행합니다. • 토큰 사용량, 비용, 지연시간을 측정하고 프롬프트 캐싱 등 비용 최적화 기법을 적용하며 보고를 자동화합니다. • 스키마 준수율, 재시도율 등 출력 품질 지표를 정의하고 모니터링 대시보드를 구축합니다. 3. 그래프 데이터베이스 모델링·개발 • 계층형 및 관계형 데이터를 노드와 관계로 모델링하고 Neo4j 적재 파이프라인을 구축합니다. • Cypher 쿼리를 작성하고 인덱스와 제약조건을 설계하며, 대량 적재 및 쿼리 성능을 최적화합니다. • PageRank, 유사도 분석 등 그래프 알고리즘 결과를 처리·검증하여 서비스 데이터로 활용할 수 있도록 합니다. • 관계형, 문서형 및 그래프 데이터베이스 간 동기화와 정합성을 유지합니다. 4. 서비스 및 대시보드 데이터 모델링 • 제품 요구사항과 UI 목업을 바탕으로 필요한 데이터 필드와 산출 로직을 정의합니다. • ERD를 설계하고 정규화, 키 설계, 인덱싱, 이력 관리를 포함한 테이블 스키마를 구현합니다. • 지표 산출 쿼리와 전처리 코드를 작성하고 집계 결과의 재현성을 보장합니다. • 프론트엔드 및 제품 담당자와 협업하여 필드 정의, 데이터 타입, 갱신 주기 등의 데이터 명세를 조율하고 문서화합니다.
자격 요건
경력: 관련 경력 약 2년 이상 학력: 컴퓨터공학, 통계학, 수학, 산업공학 또는 관련 분야 학사 이상. 이에 준하는 실무 경험 보유자도 지원 가능 [필수 자격 역량] • Python 기반 데이터 처리 실무 역량: pandas 활용 및 대용량 CSV·JSON·Excel 파일 처리 경험 • SQL 실무 역량: 조인, 집계, 서브쿼리 작성 능력 및 테이블 스키마(ERD)에 대한 이해 • REST API 연동 경험: 인증, 요청·응답 파싱 및 오류 처리 • Git 기반 협업 경험: 브랜치 전략 및 코드 리뷰 • API 문서와 데이터 명세 등 영문 기술 문서를 읽고 이해할 수 있는 능력 • 데이터 검증 로직을 작성하고 이상치와 결측치를 상시 점검하는 등 데이터 무결성을 중시하는 업무 태도
우대 사항
Anthropic, OpenAI, Google 등 LLM API 기반 파이프라인 구축 경험: 배치 처리, 프롬프트 캐싱, 비용 최적화 등 • Neo4j 등 그래프 데이터베이스 또는 Cypher 사용 경험 • MongoDB 또는 ChromaDB 등 벡터 데이터베이스 사용 경험 • Docker 기반 개발환경 구축 경험 • GCP Vertex AI, AWS 등 클라우드 환경 개발 경험 • 기초 통계 지식 및 데이터 분석 경험 • BI·대시보드용 데이터 요구사항 정의 또는 데이터 시각화 경험 [기술 스택] • Python · SQL(RDB) · Neo4j / Cypher · MongoDB · ChromaDB · LLM API(Anthropic / OpenAI / Google) · Pydantic · Docker · GCP Vertex AI · Git
혜택 및 복지
• Compensation for performance • Premium AI Tool Subscriptions • Work Equipment & Device Allowance • Comprehensive Medical Insurance Subsidy • Flexible Work Arrangements & Hours
채용 절차
서류전형 - 1차 기술면접 - 2차 임원면접 - 처우협의
회사 정보
복지
- 재택근무
- 원격근무
- 유연근무
- 워크샵
재택근무