최신 게시글
- 인과추론에서 머신러닝이 필요한 이유 최근, 인과추론에 Tree 계열이나 Neural Network 모델 같은 복잡한 머신러닝 모델을 활용하고 있습니다 (보통 Tree 모델을 많이 사용). 이렇듯 인과추론에 머신러닝 모델을 활용하는 이유는 뭘까요? 바로, CATE(Conditional Average Treatment Effect)를 계산하기 위함입니다. CATE란 샘플 특성에 따른 Treatment Effect인데요, 현실에선 모든 샘플이 같은 효과를 가지기 보단, 샘플 특성에 따라 효과가 달라지는 경우가 많습니다. 예를들어, A신약은 고연령층 남성에게 더 효과적일 수 있고, 특정 마케팅은 10대 라이트 유저에게 효과적일 수 있습니다. CATE는 ATE에 숨겨진 더 많은 인사이트를 제공하고, 이를 마케팅 등에 유용하게 활용할 수 있습니다. .. 2023.08.23
- [airflow] 과거 기간 데이터 채우기(catchup, backfill) 에어플로우에서 과거 기간 데이터를 채우는 방법은 총 2가지(catchup, backfill)가 있습니다. 1. catchup dag을 활성화할 때, start_date부터 end_date 까지 모두 실행하는 기능입니다. (end date 미설정시 현재 시간까지의 기간을 실행합니다.) 예를들어, start_date=’2023-07-01’, end_date=’2023-08-03’이라면 23년 7월 1일 부터 8월 3일까지 실행합니다. dag_params에서 설정할 수 있으며, catchup을 키려면 True로 설정하면 됩니다. (보통 job이 한번에 실행되는 것을 막기 위해 False로 설정되어 있습니다.) # catchup 예시 코드 from airflow.models.dag import DAG from .. 2023.08.07
- A/B Test란? 1. A/B Test란? A/B Test는 특정 처치(treatment)가 효과가 있는지 알아내는 방법입니다. 여기서 treatment는 실험에 따라 새로운 회원가입 방식/프로모션 등이 될 수 있습니다. 이를 위해, 집단을 임의로 두 집단으로 나누고(treatment/control group), 특정 그룹에만 treatment를 적용합니다. 이후 두 집단의 성과를 비교함으로써 treatment의 효과를 측정합니다. 여기서 핵심은 두 집단이 랜덤하게 분배되어야 한다는 것입니다. 즉, 두 그룹은 treatment를 제외한 모든 특성이 동일하여야 합니다. 그렇지 않으면, selection bias로 인하여 treatment의 효과가 잘못 측정될 수 있습니다. 2. 테스트 결과 검증 실험 결과, treatmen.. 2023.08.05
인기 게시글
- [airflow] retry 설정 retry란? 특정 작업(task)이 실패했을 때, 다시 시도(retry)하도록 하는 설정 실패했을 때에 한해서 동작하며, 성공했을 시에는 동작하지 않음 주요 파라미터 retries: 특정 작업이 실패할 경우 재시도하는 횟수 retry_delay: 재시도 사이의 대기 시간 retry_exponential_backoff: ‘True’로 설정하면, 재시도 대기 시간이 지수적으로 증가 설정 방법 default_args에 파라미터를 추가해주면 됨 from datetime import timedelta default_args={ 'owner': owner, 'retries': 3, # 3번 시도 'retry_delay': timedelta(minutes=5), # 실패 5분 후 재시도 'on_failure_cal.. 2023.08.04
- 인과추론에서 머신러닝이 필요한 이유 최근, 인과추론에 Tree 계열이나 Neural Network 모델 같은 복잡한 머신러닝 모델을 활용하고 있습니다 (보통 Tree 모델을 많이 사용). 이렇듯 인과추론에 머신러닝 모델을 활용하는 이유는 뭘까요? 바로, CATE(Conditional Average Treatment Effect)를 계산하기 위함입니다. CATE란 샘플 특성에 따른 Treatment Effect인데요, 현실에선 모든 샘플이 같은 효과를 가지기 보단, 샘플 특성에 따라 효과가 달라지는 경우가 많습니다. 예를들어, A신약은 고연령층 남성에게 더 효과적일 수 있고, 특정 마케팅은 10대 라이트 유저에게 효과적일 수 있습니다. CATE는 ATE에 숨겨진 더 많은 인사이트를 제공하고, 이를 마케팅 등에 유용하게 활용할 수 있습니다. .. 2023.08.23
- [airflow] 과거 기간 데이터 채우기(catchup, backfill) 에어플로우에서 과거 기간 데이터를 채우는 방법은 총 2가지(catchup, backfill)가 있습니다. 1. catchup dag을 활성화할 때, start_date부터 end_date 까지 모두 실행하는 기능입니다. (end date 미설정시 현재 시간까지의 기간을 실행합니다.) 예를들어, start_date=’2023-07-01’, end_date=’2023-08-03’이라면 23년 7월 1일 부터 8월 3일까지 실행합니다. dag_params에서 설정할 수 있으며, catchup을 키려면 True로 설정하면 됩니다. (보통 job이 한번에 실행되는 것을 막기 위해 False로 설정되어 있습니다.) # catchup 예시 코드 from airflow.models.dag import DAG from .. 2023.08.07
- A/B Test란? 1. A/B Test란? A/B Test는 특정 처치(treatment)가 효과가 있는지 알아내는 방법입니다. 여기서 treatment는 실험에 따라 새로운 회원가입 방식/프로모션 등이 될 수 있습니다. 이를 위해, 집단을 임의로 두 집단으로 나누고(treatment/control group), 특정 그룹에만 treatment를 적용합니다. 이후 두 집단의 성과를 비교함으로써 treatment의 효과를 측정합니다. 여기서 핵심은 두 집단이 랜덤하게 분배되어야 한다는 것입니다. 즉, 두 그룹은 treatment를 제외한 모든 특성이 동일하여야 합니다. 그렇지 않으면, selection bias로 인하여 treatment의 효과가 잘못 측정될 수 있습니다. 2. 테스트 결과 검증 실험 결과, treatmen.. 2023.08.05