척척 연구소

최근 데이터 처리 환경에서는 정형 데이터뿐 아니라 반정형 데이터도 점점 더 중요해지고 있습니다. 특히 API 응답, 로그 데이터, Config 정보 등은 JSON(JavaScript Object Notation) 형태로 제공되는 경우가 많습니다. PostgreSQL은 이러한 요구를 충족하기 위해 JSON과 JSONB 데이터형을 공식 지원합니다. 이를 통해 관계형 데이터베이스 내에서도 반정형 데이터를 효율적으로 다룰 수 있으며, 다양한 연산자와 함수를 활용할 수 있습니다. 이번 글에서는 PostgreSQL에서 JSON을 활용하는 방법을 정리해보겠습니다. 1. JSON과 JSONB의 차이PostgreSQL은 JSON과 JSONB 두 가지 타입을 제공합니다.구분JSONJSONB저장 방식원본 텍스트 그대로 저장..

예전에는 시스템 개발 및 운영 실무에서 주로 MS-SQL이나 Oracle을 활용했으나, 최근에는 대형 시스템에서도 PostgreSQL을 도입하는 사례가 늘어나면서 자연스럽게 PostgreSQL을 접할 기회가 많아졌습니다. 그 과정에서 각 DBMS 간의 문법적 차이를 직접 체감하게 되었고, 이에 대한 정리가 필요하다고 느꼈습니다. 이번 글에서는 PostgreSQL에 적응하기 위해, SQL 표준이라 할 수 있는 ANSI SQL과 PostgreSQL SQL을 비교하면서 공통적으로 사용할 수 있는 쿼리와 차이가 있는 부분을 정리해 보겠습니다. SQL은 데이터베이스에서 데이터를 정의하고 조작하기 위한 표준 언어입니다. 그러나 데이터베이스 벤더마다 ANSI SQL을 기반으로 한 고유의 SQL 방언(SQL Diale..

2025년 8월 데이터 엔지니어링 필수 도구 업데이트 총정리!Airflow 3.0.4, dbt Core 1.10.7, BigQuery 신규 기능, Snowflake ML Jobs GA, PostgreSQL 17.6, Iceberg 1.9.2 등 주요 릴리스 노트를 한눈에 확인하세요. Airflow 3.0.4(8/8) 버그픽스 릴리스, OpenLineage 프로바이더도 2.6.1로 갱신(8/11). Apache ListsApache Airflowdbt Core 1.10.7(8/7) 소소하지만 유의미한 리그레션/디프리케이션 정리. GitHubBigQuery: 결과를 GCS로 저장(GA), 스튜디오 지도 시각화(프리뷰), Gemini 보조 집계(프리뷰) 등 생산성 기능 다수. Google Cloud+1Snow..

데이터 리니지를 도입하려면 단순히 도구를 설치하는 것 이상으로 구조적인 구성 전략이 필요합니다.이번 편에서는 실무 환경에서의 데이터 리니지 구성 방법을 단계별로 안내합니다. 리니지 구성의 큰 틀데이터 리니지는 다음 세 가지 관점에서 구성됩니다.계층설명수평 리니지데이터 흐름 (source → staging → data mart → 모델/리포트) 추적수직 리니지하나의 테이블 내부에서 컬럼 단위 가공 흐름 추적운영 리니지데이터 처리 작업 간 트리거, 타이밍, 책임자 정보 포함 리니지 구성 단계별 가이드✅ 1단계. 데이터 자산 식별대상: 테이블, 파일, API, 로그, ML 모델, 리포트 등메타데이터 자동 수집 필요추천 도구: dbt, DataHub, OpenMetadata, Amundsen ✅ 2단계...

데이터 플랫폼이 고도화되고 분석 데이터가 축적되면서, 기업들은 새로운 어려움에 직면합니다.데이터가 너무 많아져서 오히려 관리가 되지 않는 상황이 벌어지는 것이죠. 분석계 데이터 증가에 따른 문제출처가 불분명한 테이블들→ sales_data_v2, sales_data_final_copy, input_sales_v3 … 어느 게 진짜 최신인지 알 수 없음불필요한 중복 가공→ 분석가마다 같은 데이터를 가공하면서 중복 테이블이 계속 늘어남변경의 두려움→ 테이블 하나 수정하면 어디까지 영향을 줄지 몰라 변경을 주저하게 됨리포트와 모델 신뢰도 저하→ 수치가 왜 그런지 설명할 수 없으면 결과도 신뢰받지 못함 데이터의 혼란을 정리하는 핵심 도구, 데이터 리니지문제점리니지가 제공하는 해결책출처 불명확데이터의 생성 →..

AI 기술이 빠르게 발전하면서 데이터를 활용한 의사결정, 자동화, 예측이 일상이 되었습니다. 하지만 신뢰할 수 있는 AI를 만들기 위해 반드시 함께 논의되어야 할 주제가 있습니다. 바로 데이터 리니지(Data Lineage)입니다. 데이터 리니지란?데이터 리니지는 데이터가 어디에서 왔는지(출처), 어떤 과정을 거쳐(가공/변환), 어디에 쓰였는지를 추적할 수 있는 데이터의 계보입니다.예를 들어, 보고서에 사용된 매출 수치가 어떤 원천 시스템에서 어떤 전처리를 거쳤는지 확인하는 것이 바로 리니지의 역할입니다. AI 시대에 리니지가 중요한 이유설명 가능한 AI(Explainable AI)→ 모델의 예측 결과를 해석하려면 사용된 데이터의 출처와 변환 과정을 알아야 합니다.품질 및 책임 추적(Traceabili..

방법 1: 데이터 및 스키마 전체 복사 (Export/Import)1. 원본 테이블 ExportDBeaver에서 원본 DB에 접속 → 테이블 우클릭Export Data 선택Format: SQL INSERT 또는 CSV, Database (다른 DB 직접 연결) 등 선택옵션 설정 후, 파일로 저장 또는 대상 DB 직접 선택2. 대상 테이블 Import대상 DB에서 테이블 우클릭 → Import Data저장한 SQL/CSV 파일 선택대상 테이블 선택 또는 새로 만들기매핑 확인 → Import 실행 방법 3: DBeaver의 "Data Transfer" 기능 (직접 DB 간 이동)두 DB 모두 연결원본 테이블에서 우클릭 → Export DataFormat: Database 선택 → 대상 DB 선택데이터 매핑 ..

PostgreSQL을 운영하다 보면 자주 반복하게 되는 쿼리들이 있습니다. 이 글에서는 권한 확인, 테이블/컬럼 정보 조회, 함수 검색, DB Lock 처리 등 실무에서 바로 쓸 수 있는 운영 쿼리들을 정리했습니다. 🔐 테이블 권한 조회특정 테이블에 어떤 권한이 부여되어 있는지 확인할 수 있습니다.SELECT grantee, privilege_type FROM information_schema.role_table_grants WHERE table_name = '[테이블명]'; ➕ 테이블 권한 부여계정에 대해 INSERT, SELECT 등 특정 권한을 부여할 때 사용합니다.GRANT INSERT, SELECT, UPDATE, DELETE, TRUNCATE, REFERENCES, TRIGGER..

SQL Server에서 테이블을 통째로 복사하거나, 다른 데이터베이스로 옮겨야 할 일이 종종 생깁니다. 이번 포스트에서는 동일 구조의 테이블 간 Insert, 테이블 전체 복사, 다른 DB로의 복제 등 다양한 상황에 맞춘 실용적인 쿼리를 정리해 보았습니다. 1. 동일 구조 테이블 간 Insert (데이터만 복사) 기존 테이블 구조가 동일할 경우, 데이터를 그대로 옮길 수 있습니다.만약 기본키가 IDENTITY로 설정되어 있다면, IDENTITY_INSERT를 허용해주어야 합니다.-- IDENTITY 값 직접 입력 허용 (id 컬럼이 indentity인 경우)SET IDENTITY_INSERT A_DB.dbo.tbl_staff ONINSERT INTO A_DB.dbo.tbl_staff (id, a_..

임시 테이블(Temporary Table) 이란?일시적인 데이터를 저장하고 관리하기 위해 사용되는 테이블로, 특정 세션이나 트랜잭션 내에서만 유지되며 자동으로 삭제됩니다. 이는 복잡한 쿼리 결과를 재사용하거나 데이터 가공에 유용하게 활용할 수 있습니다.임시 테이블 생성 방법임시 테이블은 로컬 임시 테이블(Local Temporary Table)과 전역 임시 테이블(Global Temporary Table)의 두 가지 종류가 있으며, 생성할 때 각각 테이블 이름 앞에 #, ##을 붙여 사용합니다. 1) 로컬 임시 테이블   - 테이블 이름 앞에 #을 붙여 생성  - 생성한 사용자만 접근 가능하며, 해당 사용자의 세션에만 존재함CREATE TABLE #tbl_temp (ID INT, ITEM_NM NVARC..