데이터 엔지니어 이것저것

airflow를 사용하면서, 이때까지 celery executor를 사용하였지만 이제는 kubernetesPodOperator를 사용해야할때가 왔다. 주요 원인 배치의 수가 늘어남 특정 배치의 경우 더 많은 병렬이 필요. 기존 10개의 Task로 처리했다면, 갑자기 20-30개 등으로 늘어나야함 이때까지는 airflow 성능을 업그레이드 하거나 하는 등의 비효율적인 방법으로 대응 특정 TASK마다 필요로 하는 lib 버전 또는 언어가 다름 특정 TASK를 위해 lib 업그레이드를 하면 다른 TASK에서 오류 발생 간단하게 이러한 문제로 인해 넘어가기 위한 공부 진행 airflow version은 2.5.0 from airflow.providers.cncf.kubernetes.operators.kubern..