Apache Airflow 기반의 데이터 파이프라인: 에어플로 중심의 워크플로 구축에서 커스텀 컴포넌트 개발 및 배포, 관리까지

바스 하렌슬락 (Bas Harenslak) · 율리안 더라위터르 (Julian de Ruiter)

జూన్ 2022 · 제이펍

ఈ ఇ-పుస్తకం గురించి

주요 내용

■ Airflow 파이프라인을 DAG로 빌드하고 테스트하여 배포하는 방법

■ 데이터 이동 및 변환을 자동화하는 방법

■ 백필을 사용하여 과거 이력 데이터셋을 분석하는 방법

■ 커스텀 컴포넌트의 개발 방법

■ 운영 환경에서의 Airflow 구성 방법

రచయిత పరిచయం

네덜란드 암스테르담에 위치한 데이터 기반 솔루션을 개발하는 GoDataDriven의 데이터 엔지니어다. 소프트웨어 공학과 컴퓨터 과학에 대한 지식이 많은 그는 소프트웨어 개발이나 데이터 작업을 마치 어려운 퍼즐을 푸는 것처럼 즐겁게 한다. 오픈 소스 소프트웨어 작업을 선호하며, Apache Airflow 프로젝트의 기여자이자 암스테르담 Airflow 모임의 공동 주최자다. 

컴퓨터 및 생명 과학을 전공하고 전산 종양생물학 박사 학위를 지닌 머신러닝 엔지니어다. 경험이 풍부한 소프트웨어 개발자이기도 한 그는 클라우드 및 오픈 소스 소프트웨어를 사용하여 프로덕션에 유용한 머신러닝 솔루션을 개발하고, 데이터 과학 및 데이터 엔지니어링 세계를 연결하는 것을 즐긴다. 여가 시간에는 자신의 파이썬 패키지를 개발하고 오픈 소스 프로젝트에 기여하거나 전자제품 수선하기를 좋아한다. 

GS ITM 기술전략팀 부장. 새로운 기술을 많은 사람에게 공유하고 전파하기 위해 관련 서적을 번역하는 데 관심이 많은 데이터 분석 엔지니어다. 분산처리 기술을 활용하여 음악과 영상 서비스의 스트리밍 솔루션 개발자로 출발해 20년 동안 대기업과 벤처기업에서 다양한 서비스를 개발했다.