Databricks释出AutoML工具，自动化机器学习工作管线

由Apache Spark技术团队所创立的资料科学公司Databricks，在其整合分析平台（Unified Analytics Platform）加入自动化机器学习功能（AutoML），让未经专业训练的使用者，也能够简单地创建机器学习模型。

创建机器学习模型并非简单的工作，通常需要训练有素的资料科学家，准备大量的训练资料才能完成，更进阶的需求还有特征工程、超参数调校、自动模型追踪、产品化以及部署等工作。Databricks提到，企业对于机器学习功能的需求很大，大型企业每年可能需要创建几百个模型，来解决各领域的问题，但是由于资料科学人才不足的缘故，企业通常也只实现了一小部分。

而Databricks在整合分析平台中加入自动化机器学习功能，要来弥补这个需求落差，帮助未经受训的人员，也能够顺利地创建并训练机器学习模型。

整合分析平台新增了AutoML Toolkit以及自定义AutoML解决方案。AutoML Toolkit提供了自动化端到端机器学习工作管线功能，目标是要让使用者从特征工程开始，到超参数调校、模型搜寻以及最终部署阶段，整个过程都可以不需要撰写程式码，但同时也提供精细的控制，让资料科学家可以在过程进行必要的微调。

Databricks的开源机器学习平台MLflow则能自动追踪AutoML Toolkit的执行状况，使用者能在MLflow观看模型结果与训练执行。

而自定义的AutoML解决方案，给资料科学家足够的灵活性，设计机器学习工作管线。整合分析平台让资料科学家，能够在同一个地方完成ETL、模型建置到模型推理等工作，透过与热门的函式库整合，资料科学家可弹性地控制端到端机器学习工作管线，并由系统自动执行生产作业需要执行的步骤。

Databricks Runtime也整合了HyperOpt、MLlib以及MLflow，简化分散式超参数调校（下图）与模型搜寻工作，用户能以强化的HyperOpt以及MLflow自动追踪功能，搜寻最佳化和分散式条件的超参数，并获得强化的资料视觉化功能。另外，Databricks Runtime还支援热门开源机器学习框架，诸如TensorFlow、PyTorch与scikit-learn等，资料科学家经整合且最佳化过的工具，进行分散式深度学习训练，也能以MLflow内建的实验和视觉化追踪，帮助调校超参数工作。