Python Scheduling tool

  • #3572832
    e 76.***.0.195 391

    현재 여러가지 python scheduling을 돌리고 있습니다.
    대부분 업데이트 체크를 15분 간격으로 하는 등의 function을 돌리고 있는데
    추가적으로 API 로 데이터 가져오는 파이썬 파일 등도 추가될 예정입니다.
    따로 데이터 프로세싱이 필요한 수준은 아닙니다.

    뭔가 task가 늘어나면서 파일이 오류가 나는 현상이 나타나기도 했는데 찾아보니까
    지금 제가 쓰고 있는 python schedule은 heavy work에는 안맞으니 airflow를 추천했습니다

    Airflow를 배우고 있는데 좀 어려운거 같기도 하고 시간도 걸릴꺼 같아서 nifi로 해볼까도 고민해 봤는데
    일단 모니터링등이 airflow dag가 잘 되어 있어서 계속 airflow를 배우고 있습니다. 다만 그렇게 되면 이 일을 제가 휴가 갔을때 백업해줄 사람이 이걸 핸들해줄수 있을지가 걱정이 되네요.

    혹시 python 파일의 스케줄링 및 모니터링에 최적합한 툴을 추천해 주실수 있으실까요?
    아니면 airflow가 커뮤니티도 크고 나중에 어짜피 배워야 할수 있으니 이거에 집중하는게 나을까요?

    아시는 분 계시면 답변해주시면 감사하겠습니다.