Google资料分析服务Dataflow现可在同一工作管线支援多个程式语言

Google在资料分析服务Dataflow加入全新基础架构Runner v2，现在全面提供多语言支援，让开发团队能够共用以各自喜好语言开发的元件，并且组织成为一高效能分散式处理工作管线。Google正透过多语言工作管线框架，使得更多的Java转换可以用在Beam Python上。

过去Dataflow执行程式在运作Apache Beam工作管线时，仅使用特定语言的工作程序，Google提到，在资料工作管线开发时，当开发团队成员使用不同语言SDK进行开发工作，或是主要使用的开发语言，没有某种特别的功能时，团队总会面临抉择，不知道应该要选择创建解决方案来桥接各种语言，或是重新开发需要的功能，而无论是哪一种方法，都相当耗费资源。

最新的Dataflow中，Google提供了解决这个问题更好的办法，将Dataflow执行程式逐渐转变成为以服务为基础的架构，提高整体的可缩放性、通用性和效率。现在Dataflow加入了多语言工作管线Runner v2，是一个以C++开发的高效能可移植框架，基于资料处理工作管线开发模型Apache Beam开发而成，与用来进行批次作业的Dataflow Shuffle，以及用来处理串流任务的Streaming Engine打包在一起。

现在Dataflow Runner v2已经能够用于Python串流工作管线中，Google建议，使用者可以先在现有的工作负载测试，之后再于新的工作管线预设启用Runner v2。Runner v2加入了许多前一版本没有支援的功能，除了多语言工作管线之外，Runner v2还原生支援Apache Beam资料来源框架Splittable DoFn，并且可以在Dataflow中使用自定义的容器，另外，Dataflow Runner v2也启用Python串流工作管线的新功能，包括计时器、状态、视窗以及触发扩展支援。

Google提到，因为Apache Beam的多语言功能，因此用户可以使用单一语言开发特定功能，并且借由Runner v2，简单地在多个Beam SDK提供相同的新功能，像是Google在Apache Beam 2.23时，就已经让Apache Beam Java SDK中的Apache Kafka连接器以及SQL转换功能，可以用于Python工作管线中。

要在新支援的Dataflow Runner v2使用Python转换工作管线，只要电脑已安装Apache Beam提供的最新Java开发套件（JDK），便能够在Dataflow Python工作管线中使用Python转换。

在后台，Google为了使Java转换可以用于Dataflow Python工作管线中，Apache Beam Python SDK在用户的电脑上，启动了本地端Java服务，在Python工作管线中，创建Java工作管线片段，接着SDK会下载需要的Java相依项目来执行这些转换。在执行时，Dataflow Workers平行执行Python和Java程式码，以运作用户的工作管线。