AirFlow/개발 (1) 썸네일형 리스트형 [airflow] 구축기 - 1 회사에서 airflow를 구축하고 있다. 구축한 뒤, 흩어져있는 cron 작업들을 통합하여 관리하고자 한다. airflow의 장점은 뭐 너무 많으니 별도로 언급하지 않고, 굳이 단점을 꼽자면, SPOF로 동작하기 때문에 지속적인 관리가 필요하다는 점과 회사 입장에서는 Airflow를 다룰 수 있는 인력이 필요하다는 점 정도일 것이다. 0. 도입 배경 - 사실, 아직 회사의 규모가 작기 때문에 굳이 Data work-flow에 대한 Orchastration 툴이 필요한지에 대한 의구심이 있었다. - 회사에서는 현재 웹서비스를 EKS 위에서 돌리고 있고, 쿠버네티스를 쓰고 있으므로 Airflow (on k8s)를 도입하는 것이 자연스러운 것이라고 생각했다. - 데이터 중심적인 문화를 가져가기 위해선 이러한 .. 이전 1 다음
