Apache Airflow 기반의 데이터 파이프라인: 에어플로 중심의 워크플로 구축에서 커스텀 컴포넌트 개발 및 배포, 관리까지

·
· 제이펍
Libro electrónico
512
Páginas

Acerca de este libro electrónico

주요 내용


■ Airflow 파이프라인을 DAG로 빌드하고 테스트하여 배포하는 방법

■ 데이터 이동 및 변환을 자동화하는 방법

■ 백필을 사용하여 과거 이력 데이터셋을 분석하는 방법

■ 커스텀 컴포넌트의 개발 방법

■ 운영 환경에서의 Airflow 구성 방법

Acerca del autor

네덜란드 암스테르담에 위치한 데이터 기반 솔루션을 개발하는 GoDataDriven의 데이터 엔지니어다. 소프트웨어 공학과 컴퓨터 과학에 대한 지식이 많은 그는 소프트웨어 개발이나 데이터 작업을 마치 어려운 퍼즐을 푸는 것처럼 즐겁게 한다. 오픈 소스 소프트웨어 작업을 선호하며, Apache Airflow 프로젝트의 기여자이자 암스테르담 Airflow 모임의 공동 주최자다. 

컴퓨터 및 생명 과학을 전공하고 전산 종양생물학 박사 학위를 지닌 머신러닝 엔지니어다. 경험이 풍부한 소프트웨어 개발자이기도 한 그는 클라우드 및 오픈 소스 소프트웨어를 사용하여 프로덕션에 유용한 머신러닝 솔루션을 개발하고, 데이터 과학 및 데이터 엔지니어링 세계를 연결하는 것을 즐긴다. 여가 시간에는 자신의 파이썬 패키지를 개발하고 오픈 소스 프로젝트에 기여하거나 전자제품 수선하기를 좋아한다. 

GS ITM 기술전략팀 부장. 새로운 기술을 많은 사람에게 공유하고 전파하기 위해 관련 서적을 번역하는 데 관심이 많은 데이터 분석 엔지니어다. 분산처리 기술을 활용하여 음악과 영상 서비스의 스트리밍 솔루션 개발자로 출발해 20년 동안 대기업과 벤처기업에서 다양한 서비스를 개발했다.

Califica este libro electrónico

Cuéntanos lo que piensas.

Información de lectura

Smartphones y tablets
Instala la app de Google Play Libros para Android y iPad/iPhone. Como se sincroniza de manera automática con tu cuenta, te permite leer en línea o sin conexión en cualquier lugar.
Laptops y computadoras
Para escuchar audiolibros adquiridos en Google Play, usa el navegador web de tu computadora.
Lectores electrónicos y otros dispositivos
Para leer en dispositivos de tinta electrónica, como los lectores de libros electrónicos Kobo, deberás descargar un archivo y transferirlo a tu dispositivo. Sigue las instrucciones detalladas que aparecen en el Centro de ayuda para transferir los archivos a lectores de libros electrónicos compatibles.