척척 연구소

데이터 리니지를 도입하려면 단순히 도구를 설치하는 것 이상으로 구조적인 구성 전략이 필요합니다.이번 편에서는 실무 환경에서의 데이터 리니지 구성 방법을 단계별로 안내합니다. 🧭 리니지 구성의 큰 틀데이터 리니지는 다음 세 가지 관점에서 구성됩니다. 계층 설명 수평 리니지 데이터 흐름 (source → staging → data mart → 모델/리포트) 추적 수직 리니지 하나의 테이블 내부에서 컬럼 단위 가공 흐름 추적 운영 리니지 데이터 처리 작업 간 트리거, 타이밍, 책임자 정보 포함 🔧 리니지 구성 단계별 가이드✅ 1단계. 데이터 자..

데이터 플랫폼이 고도화되고 분석 데이터가 축적되면서, 기업들은 새로운 어려움에 직면합니다.데이터가 너무 많아져서 오히려 관리가 되지 않는 상황이 벌어지는 것이죠. ⚠️ 분석계 데이터 증가에 따른 문제출처가 불분명한 테이블들→ sales_data_v2, sales_data_final_copy, input_sales_v3 … 어느 게 진짜 최신인지 알 수 없음불필요한 중복 가공→ 분석가마다 같은 데이터를 가공하면서 중복 테이블이 계속 늘어남변경의 두려움→ 테이블 하나 수정하면 어디까지 영향을 줄지 몰라 변경을 주저하게 됨리포트와 모델 신뢰도 저하→ 수치가 왜 그런지 설명할 수 없으면 결과도 신뢰받지 못함 💡 데이터의 혼란을 정리하는 핵심 도구, 데이터 리니지 문제점 리니지..

AI 기술이 빠르게 발전하면서 데이터를 활용한 의사결정, 자동화, 예측이 일상이 되었습니다. 하지만 신뢰할 수 있는 AI를 만들기 위해 반드시 함께 논의되어야 할 주제가 있습니다. 바로 데이터 리니지(Data Lineage)입니다. 🔍 데이터 리니지란?데이터 리니지는 데이터가 어디에서 왔는지(출처), 어떤 과정을 거쳐(가공/변환), 어디에 쓰였는지를 추적할 수 있는 데이터의 계보입니다.예를 들어, 보고서에 사용된 매출 수치가 어떤 원천 시스템에서 어떤 전처리를 거쳤는지 확인하는 것이 바로 리니지의 역할입니다. 🤖 AI 시대에 리니지가 중요한 이유설명 가능한 AI(Explainable AI)→ 모델의 예측 결과를 해석하려면 사용된 데이터의 출처와 변환 과정을 알아야 합니다.품질 및 책임 추적(Trac..

✅ 방법 1: 데이터 및 스키마 전체 복사 (Export/Import)1. 원본 테이블 ExportDBeaver에서 원본 DB에 접속 → 테이블 우클릭Export Data 선택Format: SQL INSERT 또는 CSV, Database (다른 DB 직접 연결) 등 선택옵션 설정 후, 파일로 저장 또는 대상 DB 직접 선택2. 대상 테이블 Import대상 DB에서 테이블 우클릭 → Import Data저장한 SQL/CSV 파일 선택대상 테이블 선택 또는 새로 만들기매핑 확인 → Import 실행 ✅ 방법 3: DBeaver의 "Data Transfer" 기능 (직접 DB 간 이동)두 DB 모두 연결원본 테이블에서 우클릭 → Export DataFormat: Database 선택 → 대상 DB 선택데이터..

PostgreSQL을 운영하다 보면 자주 반복하게 되는 쿼리들이 있습니다. 이 글에서는 권한 확인, 테이블/컬럼 정보 조회, 함수 검색, DB Lock 처리 등 실무에서 바로 쓸 수 있는 운영 쿼리들을 정리했습니다. 🔐 테이블 권한 조회특정 테이블에 어떤 권한이 부여되어 있는지 확인할 수 있습니다.SELECT grantee, privilege_type FROM information_schema.role_table_grants WHERE table_name = '[테이블명]'; ➕ 테이블 권한 부여계정에 대해 INSERT, SELECT 등 특정 권한을 부여할 때 사용합니다.GRANT INSERT, SELECT, UPDATE, DELETE, TRUNCATE, REFERENCES, TRIGGER..

SQL Server에서 테이블을 통째로 복사하거나, 다른 데이터베이스로 옮겨야 할 일이 종종 생깁니다. 이번 포스트에서는 동일 구조의 테이블 간 Insert, 테이블 전체 복사, 다른 DB로의 복제 등 다양한 상황에 맞춘 실용적인 쿼리를 정리해 보았습니다. 1️⃣ 동일 구조 테이블 간 Insert (데이터만 복사) 기존 테이블 구조가 동일할 경우, 데이터를 그대로 옮길 수 있습니다.만약 기본키가 IDENTITY로 설정되어 있다면, IDENTITY_INSERT를 허용해주어야 합니다.-- IDENTITY 값 직접 입력 허용 (id 컬럼이 indentity인 경우)SET IDENTITY_INSERT A_DB.dbo.tbl_staff ONINSERT INTO A_DB.dbo.tbl_staff (id, a..

임시 테이블(Temporary Table) 이란?일시적인 데이터를 저장하고 관리하기 위해 사용되는 테이블로, 특정 세션이나 트랜잭션 내에서만 유지되며 자동으로 삭제됩니다. 이는 복잡한 쿼리 결과를 재사용하거나 데이터 가공에 유용하게 활용할 수 있습니다.임시 테이블 생성 방법임시 테이블은 로컬 임시 테이블(Local Temporary Table)과 전역 임시 테이블(Global Temporary Table)의 두 가지 종류가 있으며, 생성할 때 각각 테이블 이름 앞에 #, ##을 붙여 사용합니다. 1) 로컬 임시 테이블   - 테이블 이름 앞에 #을 붙여 생성  - 생성한 사용자만 접근 가능하며, 해당 사용자의 세션에만 존재함CREATE TABLE #tbl_temp (ID INT, ITEM_NM NVARC..