데이터 엔지니어링
상품 데이터 통합·매칭 파이프라인
역할
설계·구현 (동일 커머스 운영 플랫폼 내 서브시스템)
기간
2026
기술 스택
PostgreSQLSupabaseTypeScriptPythonRPCJest / pytest

※ 실제 관리 화면은 전 직장 저작권·기밀 유지 규정상 게재 불가. 기능을 재현한 목업(더미 데이터·익명화)으로 대체.
개요
같은 상품이라도 채널마다 상품 코드·명칭이 제각각이라, 주문이 엉뚱한 상품에 연결되는 문제. 초기에는 지저분한 상품명에서 정규식으로 코드를 '추측'했으나 오탐 다발 → 발상 전환. 이미 아는 코드를 텍스트에서 '검색'하는 방식으로 변경. 애매한 추측을 버리고 정규 마스터를 축으로 한 매칭으로 교체.
담당 업무
- 01
'사전 우선' 추출 — 아는 품번을 검색하고, 정규식은 미지 코드의 보수적 폴백으로. 적중률 57%→72%. TS(API)·Python(Excel)에서 동작이 어긋나지 않도록 경계 판정을 명시하고, 변경마다 약 100건 골든셋으로 자동 채점(회귀 0).
- 02
'텍스트 불일치=오연결'이 아니라고 보고, 실제 연결(master_id)로 재측정. 오류로 보이던 1,446건의 67%는 이미 정상이고 텍스트만 낡은 상태, 진짜 오류는 0.15%로 판명 — 과도한 일괄 수정을 회피.
- 03
1리스팅에 여러 코드가 실릴 때 '옵션 첫 코드가 정답'은 실측 71% 정밀도라 자동 교정엔 부족 — 자동화는 신뢰도 높은 것만, 나머지는 리뷰 큐로. 뒤늦게 생성된 연결도 다시 잡는 self-heal 잡으로 미연결을 회복.
성과
취약한 명칭 파싱을 정규 마스터 기반 파이프라인으로 재구축. 적중률·연결률을 수치로 검증하며 안전한 방향으로 개선.