반응형 Airflow7 파이썬 스크립트 실행을 위한 Airflow DAG 설정하기 도커 환경에서 Apache Airflow를 활용하여 파이썬 스크립트를 실행하는 방법을 알아보자. 1. 실행할 파이썬 스크립트 작성 에어플로우 컨테이너와 마운트시킨 디렉토리에 파이썬 스크립트 파일을 작성한다. dags 하위에 scripts 디렉토리를 생성 후 그 곳에 실행할 스크립트 파일을 간단하게 작성했다. 2. DAG 파일 작성 DAG 파일도 실행할 파이썬 스크립트 파일과 마찬가지로 마운트된 dags 디렉토리에 생성한다. 파일의 세부적인 내용은은 다음과 같다 from airflow import DAG: Airflow의 핵심 클래스 중 하나인 DAG를 임포트한다. from airflow.operators.bash import BashOperator: Bash 스크립트나 쉘 명령을 실행하기 위해 BashO.. 2024. 4. 12. Airflow 에어플로우 Docker 컨테이너화 Airflow의 기본 개념에 이어서 docker compose를 이용한 Airflow 컨테이너화를 알아본다. airflow 컨테이너 생성 및 실행1. 컨테이너를 생성하기 위해 먼저 docker-compose.yaml 파일을 에어플로우 공식 사이트에서 다운로드한다.curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.8.1/docker-compose.yaml'위 명령어를 실행하면 다음과 같은 결과가 출력되고 docker-compose.yaml 파일이 생성된다. airflow는 하나의 컨테이너로 동작하는게 아닌 여러 개의 컴포넌트들(WebServer, Scheduler, Worker, Database 등)이 개별 컨테이너로 실행되어 서로 상호 작용을 하기.. 2024. 2. 24. Apache Airflow 입문: 기본 개념부터 Airflow 컨테이너 실습 Apache Airflow 는 복잡한 워크플로우 관리를 위한 오픈소스 플랫폼이다. 워크플로우 라는 것은 특정 작업이나 프로세스를 효율적으로 실행, 관리, 모니터링하는 과정으로 Airflow는 데이터 엔지니어링 및 처리 작업을 자동화하고 스케줄링하며 모니터링하는데 사용된다. Airflow를 사용하면 사용자는 작업을 파이프라인으로 구성할 수 있으며, 이 파이프라인은 지정된 순서대로 혹은 조건에 따라 자동으로 실행된다. 한마디로 에어플로우는 워크플로우 자동화 및 스케줄링을 효율적으로 관리하기 위해 사용한다. Airflow의 핵심 개념은 다음과 같다DAG(Directed Acyclic Graph): Airflow에서 작업의 의존성과 순서를 정의하는 주요 구성 요소이다. 한마디로 작업의 흐름이며, DAG는 .. 2024. 2. 24. 이전 1 2 다음 반응형
