工作流程管理工具Apache Airflow 2.0改进效能并简化使用方式

官方对Apache Airflow进行了大规模的更新，发布第2个主要版本，除了改进调度器效能之外，同时也简化了KubernetesExecutor的使用方法，另外，这个版本也加入新的范式，供开发者编写有向无环图（Directed Acyclic Graph，DAG）。

现在于Apache Airflow编写有向无环图更简单了，官方新增TaskFlow API，让用户能够在有向无环图中，显式宣告任务之间传递的讯息，有助于简化宣告PythonOperator的过程，并且更清楚地处理相依关系。

官方也改善了Airflow调度器的效能，并支援同时执行多个调度器，可用来建置高可用配置，以提升调度效能，或是避免其中一个调度器故障，官方提到，要执行多调度器，必须要使用Postgres 9.6或MySQL 8以上版本，但不需要进行额外的设定，调度器启动后，会自动透过数据库与其他调度器配合运作。

在Apache Airflow 2.0中，官方以更快更有弹性的形式，重新建构了KubernetesExecutor，使用者可以用直觉的方式，存取完整的Kubernetes API，同时官方还移除KubernetesExecutor中约3,000行程式码，使得KubernetesExecutor执行效率更好，并且减少潜在的错误。

对于在Apache Airflow丛集使用大量感测器的用户，丛集效能会在2.0版本获得改善。过去感测器占用大部分的丛集资源，为了改善这一点，官方在新版加入了智慧感测器模式，透过合并长时间运作的轻量级任务，来大幅降低Airflow基础设施的成本。这项功能经Airbnb严谨测试过，但仍被标记为早期存取功能，代表之后仍可能会有破坏性更动。

Apache Airflow 2.0并非单一的应用程序，而是由核心以及61个供应商套件构成，这些套件提供诸如Google、Amazon和微软等外部服务，还有数据库与协定等各种功能，使用者可以创建自定义的Airflow安装程式，仅安装需要的部分。