Prefect (6) 썸네일형 리스트형 [Prefect] Server 로깅 설정 Prefect 서버의 로깅을 파일로 남기기 위해선 logging.yml 설정이 필요합니다. profiles.toml 안에 logging.yml 파일 경로를 지정해줘야합니다. profiles.toml PREFECT_LOGGING_LEVEL = "INFO" PREFECT_LOGGING_SETTINGS_PATH = "/root/.prefect/logging.yml" logging.yml # 하루 1번 00:00:00에 로테이트를 수행합니다. version: 1 disable_existing_loggers: False formatters: simple: format: "%(asctime)s - %(name)s - %(levelname)s - %(message)s" handlers: file_handler: cl.. [Prefect] SlackWebhook 사용법 Overview Prefect Block에서 제공하는 SlackWebhook 사용 방법에 대해 설명합니다. 아래의 코드 예제에서는 Flow가 failure 상태로 바뀔 때 Slack을 발송하는 예시이지만 Task에서도 동일하게 사용 가능합니다. https://docs.prefect.io/latest/api-ref/prefect/blocks/notifications/?h=slack#prefect.blocks.notifications.SlackWebhook Flow에서 사용 가능한 상태 on_completion on_cancellation on_crashed on_failure Task에서 사용 가능한 상태 on_completion on_failure from prefect import variables f.. [Prefect] Blocks for Infrastructure & RemoteFileSystem Overview 블록은 구성 저장을 활성화하고 외부 시스템과 상호 작용하기 위한 인터페이스를 제공하는 Prefect 내의 기본 요소입니다. Docker-Container 기반의 Infrastructure Block을 코드로 작성합니다. Infrastructure는 Deployments에 의해 생성된 Flow를 실행시키는 환경입니다. Process, Docker, KubernetesJob 등등이 있습니다. Docker 기반의 Infrastructure Block은 Local Storage 사용이 불가능하다. 추가적으로 Worker는 RemoteFileSystem을 이용한 동작이 불가능하므로 Agent를 이용합니다. Docker 이미지를 정의하지 않으면 Prefect에서 제공하는 기본 이미지를 사용합니다. .. [Prefect] Configuration Overview Prefect에서 Custom한 Profile과 Configuration을 만들고 적용 할 수 있다. Prefect는 기본적으로 SQLite DB에서 동작하지만, PostgreSQL DB 사용을 권장한다. 아래의 설정에서는 PostgreSQL이 설치되어 있다고 가정하고 작성한 것이다. Prefect에 사용될 DB는 사전에 생성되어 있어야 한다. 참고 https://docs.prefect.io/latest/concepts/settings/ Profiles and Configuration - Prefect Docs Prefect settings let you customize your workflow environment, including working with Prefect server .. [Prefect] Installation & Run 참고 : https://docs.prefect.io/latest/tutorials/ Overview Prefect는 데이터 파이프라인을 정의하고 관리하는 플랫폼입니다. Prefect와 비슷한 Workflow 오픈소스로는 Apache Airflow가 있습니다. Flow를 스케쥴링 할 수 있고 스케쥴링 된 Task에 대한 상태를 확인 할 수 있습니다. Prefect는 Python 기반으로 코드를 작성합니다. Prefect는 크게 UI 와 Agent 또는 Worker로 나뉠 수 있습니다. Agent 또는 Worker는 Process, Docker와 Kubernetes 등등의 위에서 동작 할 수 있습니다. Prerequisite Python 3.9 Rocky Linux 8.7 1. Install Python 3.. [Prefect] Docker-Compose Prefect 테스트를 위해 로컬에 docker-compose를 이용하여 구성 해 보도록 한다. Github https://github.com/PrefectHQ/prefect GitHub - PrefectHQ/prefect: The easiest way to coordinate your dataflow The easiest way to coordinate your dataflow. Contribute to PrefectHQ/prefect development by creating an account on GitHub. github.com Docker-compose https://github.com/fraibacas/prefect-orion GitHub - fraibacas/prefect-orion Con.. 이전 1 다음