디써클Data Engineer
- 경력
- 1~10년
- 고용 형태
- 정규직
- 마감
- 상시 채용
- 지역
- 서울 강남구서울 강남구 역삼로 169, TIPS S2 명우빌딩 2층 디써클
- 직군·직무
- 개발데이터 엔지니어
- 출처
- 원티드
이 공고에서 요구하는 AI 역량
AI 활용 필수AI 관련 항목
- 주요 업무2곳
- 자격 요건1곳
- 우대 사항1곳
공고에서 찾은 문장
- 주요 업무
LLM이 파이프라인 곳곳에서 일합니다. 정제, 분류·추출, 엔티티 매칭 판정 등 여러 단계에 LLM이 들어가 있고, 천만 건 단위 배치의 처리 구조, 비용, 재시도를 설계합니다. 프롬프트와 품질 기준은 AI 엔지니어와 함께 정하고, 처리 파이프라인은 직접 맡습니다.
- 주요 업무
언제든 다시 돌릴 수 있게 만듭니다. BigQuery·GCS 위에서 멱등성, 증분 처리, 백필·재처리가 가능한 구조를 설계합니다. 결과가 확률적인 LLM 단계까지 재현 가능하게 관리하는 것이 핵심 과제입니다.
- 자격 요건
LLM API를 직접 호출해 데이터 처리에 써본 분 (사이드 프로젝트도 괜찮습니다)
- 우대 사항
대규모 LLM 배치에서 비용과 품질의 트레이드오프를 관리해본 경험
요구 경력
1~10년회사 소개
• 주식회사 디써클은 R&D (연구개발) 생태계에서 매우 빠른 속도로 비즈니스를 성장시키고 있는 스타트업입니다. 저희 팀은 인공지능 기술을 기반으로 기업과 연구실을 연결하는 R&D 매칭 비즈니스에서 출발하여, 5년 내 글로벌 1위 R&D Service Provider로 도약할 것이라는 확신을 갖고 있습니다. 디써클은 앞으로 더욱 빠르게 성장하기 위해 엔지니어를 채용하고 있습니다! [솔루션 소개 및 주요 성과] • 데이터: 30만 기업, 5만 대학 연구실, 수백만~억건 단위의 논문·특허·정부과제·공시·뉴스를 수집·가공합니다. • 제품: R&D 파트너 검색 SaaS, 시장·기술·경쟁사 분석(R&D Intelligence), 정부과제 추천, 연구실 PR • 규모: 월간 방문자 50만+, 연단위 B2B 계약 수십건 • 성장: 누적 투자 30억 원+ (블루포인트파트너스, 더벤처스, 앤틀러코리아, 신용보증기금 리틀펭귄 외), 24년도 ~ 26년도 3년간 매출 매년 4배 이상 성장 (3천 -＞ 1.8억 -＞ 예상 10억+) • 소개 영상: - https://youtu.be/Bydd_u9Vk9o?si=OKCckk_vIglOEVg7 - https://youtu.be/22S-3Yhlg9g?si=RMdWQYX0j9q-Xhjl • 체험 링크: https://rndcircle.io/ [팀 소개] • Full-time - Co-CEO / COO: 前 Kearney 전략 컨설턴트 - Co-CEO / CPO: 前 제일기획 글로벌 프로젝트 기획 - Software Engineer: 前 카카오 개발자 - Software Engineer: 前 스마일드래곤 개발자 - Software Engineer: 前 캐치테이블 개발자 - Software Engineer: 前 라포랩스 개발자 - Growth Manager: 前 두잇 스토어팀 PO - Operation Manager: 前 컨텐츠 제작 컨설팅 및 솔루션 대표 - Project Manager: 前화이트큐브 사업 팀장 - Project Manager: 前 한국화학연구원 정책연구팀 연구원 - Project Manager: 前 씨이랩(코스닥 상장 AI 기업) 경영전략팀 리더 - Designer: 前 넥슨 코리아 디자이너 - Service Planner: 前 현대차 서비스 기획자 - Business Development Manager • Part-time - Bio Expert 前 LG화학 연구원 - R&D Consultant • Intern - Product 인턴 2명 - Business 인턴 2명
주요 업무
• 흩어진 R&D 원천을 하나로 엮습니다. 공공 기업 데이터(국민연금·금융위원회 등), IRIS와 부처별 정부 R&D 공고, 대학·연구실 공개 웹 정보, 논문·특허·공시·뉴스까지 형식도 출처도 다른 데이터를 수집·정제하는 파이프라인을 설계하고 운영합니다. • 같은 원천을 두 갈래로 공급합니다. 기업·연구실·과제를 같은 대상끼리 식별하고 연결해(entity resolution) R&D 파트너 매칭용 프로필을 만들고, 문서 단위로는 기술 분류·키워드·시계열 집계를 만들어 R&D Intelligence에 공급합니다. • LLM이 파이프라인 곳곳에서 일합니다. 정제, 분류·추출, 엔티티 매칭 판정 등 여러 단계에 LLM이 들어가 있고, 천만 건 단위 배치의 처리 구조, 비용, 재시도를 설계합니다. 프롬프트와 품질 기준은 AI 엔지니어와 함께 정하고, 처리 파이프라인은 직접 맡습니다. • 언제든 다시 돌릴 수 있게 만듭니다. BigQuery·GCS 위에서 멱등성, 증분 처리, 백필·재처리가 가능한 구조를 설계합니다. 결과가 확률적인 LLM 단계까지 재현 가능하게 관리하는 것이 핵심 과제입니다. • Airflow/Dagster로 asset 단위 오케스트레이션을 합니다. 스케줄링, 의존성, 모니터링, 실패 복구를 책임집니다. • 데이터 품질을 체계로 만듭니다. 스키마 변경, 누락, 중복, 이상치를 잡는 검증과 모니터링을 구축합니다. (dbt 도입을 준비하고 있어, SQL 변환 계층과 테스트 체계를 처음부터 함께 설계합니다.) • 정제된 데이터를 검색(Elasticsearch)과 서비스 DB(PostgreSQL)에 반영하는 인덱싱·동기화 흐름을 운영합니다. • 다음 기술 결정을 직접 내립니다. 지금은 BigQuery 중심의 ELT로 버티고 있지만, 문서 규모가 커지면서 대규모 중복 제거나 entity resolution처럼 SQL만으로 다루기 어려운 처리가 급증하고 있습니다. Spark, Databricks 등 다음 처리 스택을 규모와 비용 근거로 비교하고, 도입 여부와 시점을 직접 결정하게 됩니다. • 고객과 동료의 요구를 데이터 요구사항으로 구체화하고 문서로 합의합니다.
자격 요건
• 데이터 엔지니어링 또는 백엔드 실무 3년 이상 • 프로덕션 데이터 파이프라인을 직접 설계·운영해본 경험 (장애 대응, 백필·재처리 포함) • Python과 SQL로 대규모 데이터를 다룰 수 있는 분 • LLM API를 직접 호출해 데이터 처리에 써본 분 (사이드 프로젝트도 괜찮습니다) • 모호한 요구를 데이터 요구사항으로 구체화하고, 문서로 동료나 고객과 합의할 수 있는 분
우대 사항
• Airflow, Dagster 등 오케스트레이터 운영 경험 • BigQuery, Snowflake, Databricks 등 클라우드 환경에서 데이터 레이크·웨어하우스·마트를 설계하고 ETL/ELT 파이프라인을 구축해본 경험 • dbt로 변환 계층과 데이터 테스트를 설계해본 경험 • Spark 등 분산 처리 엔진 경험, 그리고 언제 써야 하고 언제 쓰지 말아야 하는지에 대한 판단 • 이름·조직 매칭(entity resolution), 중복 제거, 다국어 텍스트 정규화 경험 • 대규모 LLM 배치에서 비용과 품질의 트레이드오프를 관리해본 경험 • Elasticsearch 인덱싱 파이프라인 경험 • 관측 스택(OpenTelemetry, Datadog 등) 경험 • 논문·특허·정부과제·공시 데이터를 다뤄본 경험, 또는 제조·철강·바이오·R&D 도메인 이해 • 지식 그래프나 온톨로지 설계 경험
혜택 및 복지
• 맥북, 모니터, 액세서리, 사무 기기와 업무 환경 제공 • 역삼역 도보 7분 • 자기개발 연 50만원+ 지원 (도서, 영어 교육, 개발 교육, 헬스장 등)
채용 절차
서류 ＞ 1차 비대면 기술 면접 (20~30분) ＞ 2차 대면 기술 면접 ＞ 경영진 면접 ＞ 최종 합격 이력서·포트폴리오에 넣어주시면 좋은 내용 • 직접 작성한 코드와, 정확히 어디에 기여했는지에 대한 설명 (사이드 프로젝트 가능) • 직접 리드하거나 주도한 프로젝트의 경험과 회고 • 과거 기술 결정 중 나중에 잘못됐음을 알고 고친 경험 • 구현한 시스템 설계의 트레이드오프 설명
회사 정보
복지
- 교육
서울 강남구 역삼로 169, TIPS S2 명우빌딩 2층 디써클지도 보기