APP下载

Amazon EMR现可部署到EKS上,提高资源使用以及执行效率

消息来源:baojiabao.com 作者: 发布时间:2026-05-27

报价宝综合消息Amazon EMR现可部署到EKS上,提高资源使用以及执行效率

AWS现在让用户在Amazon EKS上部署Amazon EMR,这是一种新的EMR部署选择,使得开源大资料框架,能够获得EKS上自动化配置与管理的方便性,而且用户还可在同一个EKS丛集上,同时运作Spark与其他类型的应用程序,以提高整体资源的利用率,并简化基础设施管理工作。

Amazon EMR提供Apache Spark、Hive、HBase、Flink、Hudi和Presto等框架,让用户可以执行各种大资料工作负载,EMR会自动配置和扩展这些框架,并使用EC2执行个体类型,以最佳化速度与价格需求。而部分用户则在EKS上,自己管理Apache Spark框架,以灵活调度大资料工作负载,但无法获得EMR安装和管理框架的方便性。

因此现在AWS让用户可以将EMR应用程序,部署到EKS丛集上,与其他类型的应用程序一起运作,这种方式让所有工作负载,都可以共享资源,并且让用户以标准化的方式,统一管理和营运应用程序。而在EKS上执行的EMR,也可以获得在EC2上运作的好处,像是使用最新框架、效能最佳化的Runtime,或是用于除错的Spark使用者界面等。

EMR会自动将应用程序、大资料框架以及预建置的连接器,都打包进容器中,并把应用程序部署到EKS丛集上,自动管理日志记录和监控运作状况,官方提到,与EKS上的标准Apache Spark相比,EMR提供3倍效能的最佳化Spark Runtime。

AWS在其开发工具中,也整合了这项新功能,用户现在可以使用Apache Airflow、Amazon EMR Studio笔记本、AWS CLI和AWS SDK来提交分析应用程序,AWS开发适用EMR的Airflow Operator,用户可以在自我托管的Airflow中,使用该连接器,或是用户也可以在EMR Studio网页IDE,执行资料分析和资料工程等任务,透过EMR Studio的使用者界面,就可以将笔记本程式码,提交到EKS上的EMR丛集。

2020-12-14 19:53:00

相关文章