본문 바로가기
Data Engineering

[airflow] retry 설정

by LeePearl 2023. 8. 4.

retry란?

  • 특정 작업(task)이 실패했을 때, 다시 시도(retry)하도록 하는 설정
  • 실패했을 때에 한해서 동작하며, 성공했을 시에는 동작하지 않음

주요 파라미터

  • retries: 특정 작업이 실패할 경우 재시도하는 횟수
  • retry_delay: 재시도 사이의 대기 시간
  • retry_exponential_backoff: ‘True’로 설정하면, 재시도 대기 시간이 지수적으로 증가

설정 방법

  • default_args에 파라미터를 추가해주면 됨
from datetime import timedelta

default_args={
	'owner': owner,
	'retries': 3, # 3번 시도
	'retry_delay': timedelta(minutes=5), # 실패 5분 후 재시도
	'on_failure_callback': alarm.set_failure_options(wt_id=wt_id, send_self=True) # task 실패시 장애방 뿐 아니라 개인 와치타워 전송
 }