retry란?
- 특정 작업(task)이 실패했을 때, 다시 시도(retry)하도록 하는 설정
- 실패했을 때에 한해서 동작하며, 성공했을 시에는 동작하지 않음
주요 파라미터
- retries: 특정 작업이 실패할 경우 재시도하는 횟수
- retry_delay: 재시도 사이의 대기 시간
- retry_exponential_backoff: ‘True’로 설정하면, 재시도 대기 시간이 지수적으로 증가
설정 방법
- default_args에 파라미터를 추가해주면 됨
from datetime import timedelta
default_args={
'owner': owner,
'retries': 3, # 3번 시도
'retry_delay': timedelta(minutes=5), # 실패 5분 후 재시도
'on_failure_callback': alarm.set_failure_options(wt_id=wt_id, send_self=True) # task 실패시 장애방 뿐 아니라 개인 와치타워 전송
}
'Data Engineering' 카테고리의 다른 글
[airflow] 과거 기간 데이터 채우기(catchup, backfill) (0) | 2023.08.07 |
---|---|
[Hive] msck repair table (0) | 2023.07.25 |
[Hive] Internal Table vs External Table (0) | 2023.07.25 |