GCP用户现可以Cloud Functions串流Cloud Storage资料到BigQuery进行分析
报价宝综合消息GCP用户现可以Cloud Functions串流Cloud Storage资料到BigQuery进行分析

Google为即时分析Cloud Storage中的资料,提供了一个新的途径,用户除了可以使用Cloud Dataflow进行复杂的资料串流处理之外,现在还可以使用无服务器服务Cloud Functions,以函式自动地将资料串流到BigQuery,进行快速分析。
GCP用户原本就能使用Cloud Dataflow服务,将资料串流传输至BigQuery进行分析。Cloud Dataflow使用Apache Beam框架,提供分窗(Windowing)和对话(Session)分析原语,以及Java和Python等其他各式开发语言的连接器,让用户执行复杂的ETL以及资料串流任务。 Google提到,对于不熟悉Apache Beam API的用户,且不打算进行分窗或是复杂转换等撷取文件资料工作,则Cloud Functions会是更好选择。
Cloud Functions是一个事件驱动的无服务器计算平台,具自动扩展、高可用性和高容错能力,用户不需要配置、管理或是更新服务器,适合用于小文件或是简单资料转换的串流任务。当资料档案上传到Cloud Storage中的时候,便能触发Cloud Functions串流,在以函式解析资料后,把资料串流至BigQuery。
Google表示,相较于能够用来处理复杂ETL工作以及大型资料集的Cloud Dataflow,Cloud Functions相对来说更为简单灵活,除了能适时缩放运算能力,适应需要处理的资料量外,用户还能以Cloud Functions自定义功能,执行像是使用Cloud Firestore数据库等其他任务。
