Apache Airflow 기반의 데이터 파이프라인: 에어플로 중심의 워크플로 구축에서 커스텀 컴포넌트 개발 및 배포, 관리까지

·
· 제이펍
ਈ-ਕਿਤਾਬ
512
ਪੰਨੇ

ਇਸ ਈ-ਕਿਤਾਬ ਬਾਰੇ

주요 내용


■ Airflow 파이프라인을 DAG로 빌드하고 테스트하여 배포하는 방법

■ 데이터 이동 및 변환을 자동화하는 방법

■ 백필을 사용하여 과거 이력 데이터셋을 분석하는 방법

■ 커스텀 컴포넌트의 개발 방법

■ 운영 환경에서의 Airflow 구성 방법

ਲੇਖਕ ਬਾਰੇ

네덜란드 암스테르담에 위치한 데이터 기반 솔루션을 개발하는 GoDataDriven의 데이터 엔지니어다. 소프트웨어 공학과 컴퓨터 과학에 대한 지식이 많은 그는 소프트웨어 개발이나 데이터 작업을 마치 어려운 퍼즐을 푸는 것처럼 즐겁게 한다. 오픈 소스 소프트웨어 작업을 선호하며, Apache Airflow 프로젝트의 기여자이자 암스테르담 Airflow 모임의 공동 주최자다. 

컴퓨터 및 생명 과학을 전공하고 전산 종양생물학 박사 학위를 지닌 머신러닝 엔지니어다. 경험이 풍부한 소프트웨어 개발자이기도 한 그는 클라우드 및 오픈 소스 소프트웨어를 사용하여 프로덕션에 유용한 머신러닝 솔루션을 개발하고, 데이터 과학 및 데이터 엔지니어링 세계를 연결하는 것을 즐긴다. 여가 시간에는 자신의 파이썬 패키지를 개발하고 오픈 소스 프로젝트에 기여하거나 전자제품 수선하기를 좋아한다. 

GS ITM 기술전략팀 부장. 새로운 기술을 많은 사람에게 공유하고 전파하기 위해 관련 서적을 번역하는 데 관심이 많은 데이터 분석 엔지니어다. 분산처리 기술을 활용하여 음악과 영상 서비스의 스트리밍 솔루션 개발자로 출발해 20년 동안 대기업과 벤처기업에서 다양한 서비스를 개발했다.

ਇਸ ਈ-ਕਿਤਾਬ ਨੂੰ ਰੇਟ ਕਰੋ

ਆਪਣੇ ਵਿਚਾਰ ਦੱਸੋ

ਪੜ੍ਹਨ ਸੰਬੰਧੀ ਜਾਣਕਾਰੀ

ਸਮਾਰਟਫ਼ੋਨ ਅਤੇ ਟੈਬਲੈੱਟ
Google Play Books ਐਪ ਨੂੰ Android ਅਤੇ iPad/iPhone ਲਈ ਸਥਾਪਤ ਕਰੋ। ਇਹ ਤੁਹਾਡੇ ਖਾਤੇ ਨਾਲ ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਸਿੰਕ ਕਰਦੀ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਕਿਤੋਂ ਵੀ ਆਨਲਾਈਨ ਜਾਂ ਆਫ਼ਲਾਈਨ ਪੜ੍ਹਨ ਦਿੰਦੀ ਹੈ।
ਲੈਪਟਾਪ ਅਤੇ ਕੰਪਿਊਟਰ
ਤੁਸੀਂ ਆਪਣੇ ਕੰਪਿਊਟਰ ਦਾ ਵੈੱਬ ਬ੍ਰਾਊਜ਼ਰ ਵਰਤਦੇ ਹੋਏ Google Play 'ਤੇ ਖਰੀਦੀਆਂ ਗਈਆਂ ਆਡੀਓ-ਕਿਤਾਬਾਂ ਸੁਣ ਸਕਦੇ ਹੋ।
eReaders ਅਤੇ ਹੋਰ ਡੀਵਾਈਸਾਂ
e-ink ਡੀਵਾਈਸਾਂ 'ਤੇ ਪੜ੍ਹਨ ਲਈ ਜਿਵੇਂ Kobo eReaders, ਤੁਹਾਨੂੰ ਫ਼ਾਈਲ ਡਾਊਨਲੋਡ ਕਰਨ ਅਤੇ ਇਸਨੂੰ ਆਪਣੇ ਡੀਵਾਈਸ 'ਤੇ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਸਮਰਥਿਤ eReaders 'ਤੇ ਫ਼ਾਈਲਾਂ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਲਈ ਵੇਰਵੇ ਸਹਿਤ ਮਦਦ ਕੇਂਦਰ ਹਿਦਾਇਤਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ।