척척 연구소

1. AI·데이터 서비스가 커질수록 생기는 문제AI 모델이나 데이터 분석 서비스를 운영하다 보면, 다음과 같은 상황을 자주 맞이합니다.신제품 출시나 이벤트 시 사용량 폭증 → 서버 다운개발 환경과 운영 환경이 달라 배포 때 오류 발생여러 팀이 같은 서버를 쓰면서 자원 충돌모델 버전을 업데이트하려면 서비스를 잠시 멈춰야 함이 모든 문제는 서버와 애플리케이션을 자동으로 관리하는 체계가 없어서 발생합니다.쿠버네티스(Kubernetes, 이하 K8s)는 바로 이 문제를 해결하기 위해 태어난 기술입니다.2. 쿠버네티스란? (쉬운 설명)쿠버네티스는 "서버와 애플리케이션을 자동으로 배치·운영·확장·복구해주는 시스템"입니다.컨테이너라는 작은 단위(애플리케이션 + 실행 환경)를 다룸서버가 여러 대여도, 쿠버네티스가 ..

데이터 리니지를 도입하려면 단순히 도구를 설치하는 것 이상으로 구조적인 구성 전략이 필요합니다.이번 편에서는 실무 환경에서의 데이터 리니지 구성 방법을 단계별로 안내합니다. 🧭 리니지 구성의 큰 틀데이터 리니지는 다음 세 가지 관점에서 구성됩니다. 계층 설명 수평 리니지 데이터 흐름 (source → staging → data mart → 모델/리포트) 추적 수직 리니지 하나의 테이블 내부에서 컬럼 단위 가공 흐름 추적 운영 리니지 데이터 처리 작업 간 트리거, 타이밍, 책임자 정보 포함 🔧 리니지 구성 단계별 가이드✅ 1단계. 데이터 자..

데이터 플랫폼이 고도화되고 분석 데이터가 축적되면서, 기업들은 새로운 어려움에 직면합니다.데이터가 너무 많아져서 오히려 관리가 되지 않는 상황이 벌어지는 것이죠. ⚠️ 분석계 데이터 증가에 따른 문제출처가 불분명한 테이블들→ sales_data_v2, sales_data_final_copy, input_sales_v3 … 어느 게 진짜 최신인지 알 수 없음불필요한 중복 가공→ 분석가마다 같은 데이터를 가공하면서 중복 테이블이 계속 늘어남변경의 두려움→ 테이블 하나 수정하면 어디까지 영향을 줄지 몰라 변경을 주저하게 됨리포트와 모델 신뢰도 저하→ 수치가 왜 그런지 설명할 수 없으면 결과도 신뢰받지 못함 💡 데이터의 혼란을 정리하는 핵심 도구, 데이터 리니지 문제점 리니지..

AI 기술이 빠르게 발전하면서 데이터를 활용한 의사결정, 자동화, 예측이 일상이 되었습니다. 하지만 신뢰할 수 있는 AI를 만들기 위해 반드시 함께 논의되어야 할 주제가 있습니다. 바로 데이터 리니지(Data Lineage)입니다. 🔍 데이터 리니지란?데이터 리니지는 데이터가 어디에서 왔는지(출처), 어떤 과정을 거쳐(가공/변환), 어디에 쓰였는지를 추적할 수 있는 데이터의 계보입니다.예를 들어, 보고서에 사용된 매출 수치가 어떤 원천 시스템에서 어떤 전처리를 거쳤는지 확인하는 것이 바로 리니지의 역할입니다. 🤖 AI 시대에 리니지가 중요한 이유설명 가능한 AI(Explainable AI)→ 모델의 예측 결과를 해석하려면 사용된 데이터의 출처와 변환 과정을 알아야 합니다.품질 및 책임 추적(Trac..

가상환경 site-packages에 설치된 라이브러리 수정해서 사용하는 방법몇 년 전, 팀원들과 함께 파일럿으로 구현한 Python 기반 서비스를 다른 서버로 이관하는 과정에서 예상치 못한 문제가 발생했습니다. 가상환경의 site-packages에 설치된 라이브러리의 .py 파일을 직접 수정한 상태였고, 이 상태로 requirements.txt를 이용해 새로운 서버에 라이브러리를 설치하자, 동일한 환경임에도 오류가 발생한 것입니다. 이 경험을 통해 깨달은 것은, 설치된 라이브러리를 직접 수정하는 방식은 이식성과 유지보수 측면에서 매우 취약하다는 점이었습니다.실제로 프로젝트를 진행하다 보면 외부 라이브러리의 기능이 100% 만족스럽지 않아, 약간의 수정을 가하고 싶을 때가 있습니다. 하지만 site-pac..

✅ 방법 1: 데이터 및 스키마 전체 복사 (Export/Import)1. 원본 테이블 ExportDBeaver에서 원본 DB에 접속 → 테이블 우클릭Export Data 선택Format: SQL INSERT 또는 CSV, Database (다른 DB 직접 연결) 등 선택옵션 설정 후, 파일로 저장 또는 대상 DB 직접 선택2. 대상 테이블 Import대상 DB에서 테이블 우클릭 → Import Data저장한 SQL/CSV 파일 선택대상 테이블 선택 또는 새로 만들기매핑 확인 → Import 실행 ✅ 방법 3: DBeaver의 "Data Transfer" 기능 (직접 DB 간 이동)두 DB 모두 연결원본 테이블에서 우클릭 → Export DataFormat: Database 선택 → 대상 DB 선택데이터..

PostgreSQL을 운영하다 보면 자주 반복하게 되는 쿼리들이 있습니다. 이 글에서는 권한 확인, 테이블/컬럼 정보 조회, 함수 검색, DB Lock 처리 등 실무에서 바로 쓸 수 있는 운영 쿼리들을 정리했습니다. 🔐 테이블 권한 조회특정 테이블에 어떤 권한이 부여되어 있는지 확인할 수 있습니다.SELECT grantee, privilege_type FROM information_schema.role_table_grants WHERE table_name = '[테이블명]'; ➕ 테이블 권한 부여계정에 대해 INSERT, SELECT 등 특정 권한을 부여할 때 사용합니다.GRANT INSERT, SELECT, UPDATE, DELETE, TRUNCATE, REFERENCES, TRIGGER..

SQL Server에서 테이블을 통째로 복사하거나, 다른 데이터베이스로 옮겨야 할 일이 종종 생깁니다. 이번 포스트에서는 동일 구조의 테이블 간 Insert, 테이블 전체 복사, 다른 DB로의 복제 등 다양한 상황에 맞춘 실용적인 쿼리를 정리해 보았습니다. 1️⃣ 동일 구조 테이블 간 Insert (데이터만 복사) 기존 테이블 구조가 동일할 경우, 데이터를 그대로 옮길 수 있습니다.만약 기본키가 IDENTITY로 설정되어 있다면, IDENTITY_INSERT를 허용해주어야 합니다.-- IDENTITY 값 직접 입력 허용 (id 컬럼이 indentity인 경우)SET IDENTITY_INSERT A_DB.dbo.tbl_staff ONINSERT INTO A_DB.dbo.tbl_staff (id, a..

Java Spring Boot 기반의 서비스가 점점 늘어나고, 컨테이너 도입과 쿠버네티스 활용까지 고민하게 되면서 배포 구조는 점점 복잡해지고 표준화에도 어려움을 겪고 있다. 이러한 고민을 해결하기 위해, Java 애플리케이션의 대표적인 배포 방식인 WAR와 JAR의 차이와 특징을 정리해 보았다. ✅ WAR (Web Application Archive) 📌 특징웹 애플리케이션용 포맷Servlet, JSP, Spring MVC 등 웹 서버 (Tomcat, Jetty, etc.)에 배포되는 웹 애플리케이션을 위한 구조디렉터리 구조: WEB-INF/web.xml, WEB-INF/classes, WEB-INF/lib 등의 웹 표준 디렉터리 구조를 가짐 🧩 실행 방식Tomcat, Jetty, WebLog..

최근 개발자 커뮤니티에서는 Cursor AI가 큰 주목을 받고 있습니다. GitHub Copilot이나 ChatGPT처럼 AI의 도움을 받아 코드를 작성하는 흐름은 이제 낯설지 않지만, Cursor AI는 그중에서도 IDE 중심의 사용자 경험을 강화한 도구로 주목받고 있습니다. 저 역시 주변 개발자들의 추천을 계기로 가볍게 체험해 보았고, 실제로 사용하면서 기존 도구들과 차별되는 여러 장점을 느낄 수 있었습니다. 장점 1. IDE 안에서의 즉각적인 피드백Cursor AI를 사용하면서 가장 크게 체감한 점은 코드에서 눈을 떼지 않고 AI의 도움을 받을 수 있다는 점입니다. ChatGPT를 병행해 사용하면 코드 블록을 복사해 붙여 넣고 설명을 기다리는 흐름이 반복되곤 하는데, Cursor는 이런 과정을 I..