[데이터 엔지니어링] 최신 데이터 도구 업데이트 (2025년 8월) | Airflow·Snowflake·PostgreSQL·Iceberg

2025년 8월 데이터 엔지니어링 필수 도구 업데이트 총정리!
Airflow 3.0.4, dbt Core 1.10.7, BigQuery 신규 기능, Snowflake ML Jobs GA, PostgreSQL 17.6, Iceberg 1.9.2 등 주요 릴리스 노트를 한눈에 확인하세요.

 

• Airflow 3.0.4(8/8) 버그픽스 릴리스, OpenLineage 프로바이더도 2.6.1로 갱신(8/11). Apache ListsApache Airflow
• dbt Core 1.10.7(8/7) 소소하지만 유의미한 리그레션/디프리케이션 정리. GitHub
• BigQuery: 결과를 GCS로 저장(GA), 스튜디오 지도 시각화(프리뷰), Gemini 보조 집계(프리뷰) 등 생산성 기능 다수. Google Cloud+1
• Snowflake: ML Jobs GA, 저장 프로시저 계보(라인리지) 프리뷰 등 주간 기능 릴리스. docs.snowflake.com
• PostgreSQL 17.6(8/14) 포함한 커뮤니티 마이너 업데이트 공지. 운영 환경은 패치 적용 권장. PostgreSQL
• Apache Iceberg 1.9.2(7/16) 안정화 버전, 특정 5xx 재시도 중단으로 자기충돌 방지. iceberg.apache.org
• Trino 476(6/5) 최근 안정 릴리스 기준. trino.io
• DuckDB 1.4.0 코드네임 Andium 9/10 예정(참고). DuckDB

---

Airflow & 오케스트레이션

• Airflow 3.0.4(2025-08-08): 3.0 라인의 버그픽스 릴리스가 발표되었습니다. 3.0 전환 이후 DAG 버저닝/백필 관리/AI·이벤트 워크로드 지원 개선 흐름을 이어가는 안정화 업데이트입니다. 배포 계획이 있다면 3.0.0→3.0.4로의 패치 경로를 검토하세요. Apache ListsApache Airflow
• OpenLineage 프로바이더 2.6.1(2025-08-11): Airflow 런/태스크 계보 전송 경로가 최신화되었습니다. 3.0.4와의 조합을 테스트 환경에서 먼저 확인하세요. Apache Airflow
• (레퍼런스) Astronomer Astro Runtime 3.0-7도 Airflow 3.0.4로 상향. 매니지드 환경 사용자는 해당 채널의 보안 픽스 포함 여부를 확인하세요. 

모델링 & 트랜스포메이션

• dbt Core 1.10.7(2025-08-07): 구성 키 디프리케이션 경고 정정, 카탈로그 통합 훅 호출 순서 보정 등 자잘하지만 품질에 직결되는 수정들이 포함됐습니다. CI 경고 소음 줄이기에 도움이 됩니다. 

웨어하우스 & 분석 서비스

• BigQuery
  • 쿼리 결과를 GCS로 저장(GA, 8/12): 작업형 파이프라인에서 결과 영속화가 쉬워졌습니다.
  • BigQuery 스튜디오 지도 시각화(프리뷰, 8/14): 지리 공간 쿼리를 인터랙티브 맵으로 바로 확인.
  • 데이터 준비에서 Gemini 보조 집계(프리뷰, 8/13): 노코드 준비 단계의 요약/집계 자동화. Google Cloud+1
• Snowflake
  • ML Jobs GA(8/12), 저장 프로시저 라인리지(프리뷰, 8/14) 등 기능 릴리스가 연속으로 반영됐습니다. 데이터 파이프라인과 MLOps 연계를 살펴보세요. docs.snowflake.com
• Trino 476(6/5): 최신 안정 릴리스 기준. 470대 릴리스는 옵티마이저/커넥터 튜닝이 지속되었습니다. 상위 호환 범위를 문서로 확인하세요. trino.io
• Apache Spark
  • **Spark 4.0.0(5/23)**가 3.5.x와 병행 유지 중. 플랫폼별 런타임(EMR/Databricks 등) 채택 현황을 확인해 마이그레이션 계획을 잡으세요. spark.apache.org
• DuckDB
  • 1.4.0(예정 9/10) 릴리스 캘린더 공개. 8월엔 ML 전처리 예제 등 공식 블로그 글이 이어지고 있습니다. (기능 자체는 예시 문서) 

테이블 포맷 & 레이크하우스

• Apache Iceberg 1.9.2(7/16): 502/504 재시도 중단을 통해 자기 충돌로 인한 테이블 손상 가능성을 줄이는 변경이 포함된 안정화 릴리스. 1.9.0/1.9.1 사용자라면 패치 권장. iceberg.apache.org
• Delta Lake 3.3.2(5/31): 3.3 계열 버그픽스 릴리스. Spark 3.5/4.0과의 호환 표도 최신화되어 있으니 버전 매트릭스를 확인하세요. GitHub

메타데이터 & 리니지

• DataHub
  • 오픈소스 v1.1.0(5/28) 릴리스 이후,
  • **Managed DataHub v0.3.13(7/31)**로 클라우드 채널이 갱신(권장 CLI 1.2.x). **acryl-datahub 1.2.0.5(8/14)**도 함께 공개되어 클라이언트/SDK 동기화가 필요합니다. docs.datahub.com+1PyPI
• OpenLineage
  • Airflow용 openlineage 프로바이더 2.6.1(8/11) 공개. (프로바이더 버전 올리면 수집 스키마/전송 경로 영향 여부 테스트 권장) 

운영 DB

• PostgreSQL
  • 17.6/16.10 등 마이너 릴리스(8/14) 공지. 2025년 2~5월에 보고된 libpq 관련 리그레션 이슈를 흡수하며, 매니지드 서비스(Azure/AWS/EDB 등)도 대응 일정을 발표했습니다. 커뮤니티 기준으로 패치 윈도우 내 업데이트를 권장합니다. PostgreSQL

---

팀에 바로 도움이 되는 액션 아이템

1. Airflow 3.0.4로 스테이징 업그레이드 → DAG 백필/버저닝/라인리지 전송을 집중 점검. Apache ListsApache Airflow
2. dbt 1.10.7: CI에서 경고 필터링/구성 키 이동(deprecation) 관련 규칙 재검토. GitHub
3. BigQuery: 결과 GCS 저장(GA) 플로우로 리포팅 파이프라인 간소화, 지도 시각화로 공간 데이터 QA. Google Cloud+1
4. Snowflake: ML Jobs GA로 학습/배치 운영의 잡 스케줄링 통합 여부 평가. SP 라인리지 프리뷰로 거버넌스 레포트 확장. docs.snowflake.com
5. Iceberg/Delta: 운영 테이블은 각각 1.9.2 / 3.3.2로 상향 테스트. 카탈로그/엔진 호환성 표를 확인. iceberg.apache.orgGitHubdocs.delta.io
6. PostgreSQL: 17.x/16.x는 최신 마이너 반영 계획 수립(장기지원·매니지드 일정 참고). PostgreSQL

---

출처 & 릴리스 노트 모음

• Airflow 3.0.4 발표(8/8) / 3.0 소개 블로그, 지원 버전 표 Apache ListsApache Airflow+1
• Airflow OpenLineage Provider 2.6.1(8/11) Apache Airflow
• dbt Core 1.10.7(8/7) 릴리스 노트 GitHub
• BigQuery 릴리스 노트(8/12, 8/13, 8/14) Google Cloud+1
• Snowflake 주간/피처 릴리스(8월 2~3주) docs.snowflake.com+1
• PostgreSQL 릴리스 페이지(8/14), RDS/Azure 캘린더 참고 PostgreSQLAWS 문서
• Iceberg 1.9.2(7/16) 릴리스, 변경 요지 iceberg.apache.org
• Delta Lake 3.3.2(5/31) / 호환성 표(6/6 갱신) GitHubdocs.delta.io
• Trino 476(6/5) 릴리스 목록 trino.io
• DuckDB 릴리스 캘린더(1.4.0 예정 9/10) DuckDB

---