APP下载
报价宝  ›  综合  › 

GCP用户现可以Cloud Functions串流Cloud Storage资料到BigQuery进行分析

报价宝 来源:baojiabao.com 发布时间:2019-08-12 13:48:00 09月30日更新
报价宝综合消息GCP用户现可以Cloud Functions串流Cloud Storage资料到BigQuery进行分析

Google为即时分析Cloud Storage中的资料,提供了一个新的途径,用户除了可以使用Cloud Dataflow进行复杂的资料串流处理之外,现在还可以使用无服务器服务Cloud Functions,以函式自动地将资料串流到BigQuery,进行快速分析。

GCP用户原本就能使用Cloud Dataflow服务,将资料串流传输至BigQuery进行分析。Cloud Dataflow使用Apache Beam框架,提供分窗(Windowing)和对话(Session)分析原语,以及Java和Python等其他各式开发语言的连接器,让用户执行复杂的ETL以及资料串流任务。 Google提到,对于不熟悉Apache Beam API的用户,且不打算进行分窗或是复杂转换等撷取文件资料工作,则Cloud Functions会是更好选择。

Cloud Functions是一个事件驱动的无服务器计算平台,具自动扩展、高可用性和高容错能力,用户不需要配置、管理或是更新服务器,适合用于小文件或是简单资料转换的串流任务。当资料档案上传到Cloud Storage中的时候,便能触发Cloud Functions串流,在以函式解析资料后,把资料串流至BigQuery。

Google表示,相较于能够用来处理复杂ETL工作以及大型资料集的Cloud Dataflow,Cloud Functions相对来说更为简单灵活,除了能适时缩放运算能力,适应需要处理的资料量外,用户还能以Cloud Functions自定义功能,执行像是使用Cloud Firestore数据库等其他任务。

文章标签: 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 汽车价格 笔记本价格 电视机价格 耳机价格 降噪耳机价格