척척 연구소

데이터 리니지를 도입하려면 단순히 도구를 설치하는 것 이상으로 구조적인 구성 전략이 필요합니다.이번 편에서는 실무 환경에서의 데이터 리니지 구성 방법을 단계별로 안내합니다. 리니지 구성의 큰 틀데이터 리니지는 다음 세 가지 관점에서 구성됩니다.계층설명수평 리니지데이터 흐름 (source → staging → data mart → 모델/리포트) 추적수직 리니지하나의 테이블 내부에서 컬럼 단위 가공 흐름 추적운영 리니지데이터 처리 작업 간 트리거, 타이밍, 책임자 정보 포함 리니지 구성 단계별 가이드✅ 1단계. 데이터 자산 식별대상: 테이블, 파일, API, 로그, ML 모델, 리포트 등메타데이터 자동 수집 필요추천 도구: dbt, DataHub, OpenMetadata, Amundsen ✅ 2단계...

데이터 플랫폼이 고도화되고 분석 데이터가 축적되면서, 기업들은 새로운 어려움에 직면합니다.데이터가 너무 많아져서 오히려 관리가 되지 않는 상황이 벌어지는 것이죠. 분석계 데이터 증가에 따른 문제출처가 불분명한 테이블들→ sales_data_v2, sales_data_final_copy, input_sales_v3 … 어느 게 진짜 최신인지 알 수 없음불필요한 중복 가공→ 분석가마다 같은 데이터를 가공하면서 중복 테이블이 계속 늘어남변경의 두려움→ 테이블 하나 수정하면 어디까지 영향을 줄지 몰라 변경을 주저하게 됨리포트와 모델 신뢰도 저하→ 수치가 왜 그런지 설명할 수 없으면 결과도 신뢰받지 못함 데이터의 혼란을 정리하는 핵심 도구, 데이터 리니지문제점리니지가 제공하는 해결책출처 불명확데이터의 생성 →..

AI 기술이 빠르게 발전하면서 데이터를 활용한 의사결정, 자동화, 예측이 일상이 되었습니다. 하지만 신뢰할 수 있는 AI를 만들기 위해 반드시 함께 논의되어야 할 주제가 있습니다. 바로 데이터 리니지(Data Lineage)입니다. 데이터 리니지란?데이터 리니지는 데이터가 어디에서 왔는지(출처), 어떤 과정을 거쳐(가공/변환), 어디에 쓰였는지를 추적할 수 있는 데이터의 계보입니다.예를 들어, 보고서에 사용된 매출 수치가 어떤 원천 시스템에서 어떤 전처리를 거쳤는지 확인하는 것이 바로 리니지의 역할입니다. AI 시대에 리니지가 중요한 이유설명 가능한 AI(Explainable AI)→ 모델의 예측 결과를 해석하려면 사용된 데이터의 출처와 변환 과정을 알아야 합니다.품질 및 책임 추적(Traceabili..