APP下载

Github专案推荐 | Kedro:生产级机器学习开源代码库

消息来源:baojiabao.com 作者: 发布时间:2024-05-27

报价宝综合消息Github专案推荐 | Kedro:生产级机器学习开源代码库

by quantumblacklabs

Kedro是一个Python库,可用于构建强大的生产就绪资料和分析管道

Kedro是什么?“资料管道的中心。”

Kedro是一个工作流开发工具,可帮助你构建强大,可扩充套件,可部署,可重现和版本化的资料管道。 我们提供标准的方法,你可以:

花更多时间来构建资料管道

不用担心如何编写生产就绪程式码

标准化团队在整个专案中的协作方式

工作效率更高

Kedro最初由 Aris Valtazanos 和 Nikolaos Tsaousis 设计,以解决他们在专案工作中遇到的挑战。

如何安装Kedro?由于Kedro是一个Python包,因此只需执行以下命令即可安装:

pip install kedro有关更详细的安装说明,包括如何设定Python虚拟环境等,请检视安装指南。

Kedro的主要特点是什么?1.专案模板和编码标准标准且易于使用的专案模板

配置证书,日志记录,资料载入和Jupyter笔记本/实验室的配置

使用pytest进行测试驱动的开发

整合Sphinx以生成记录良好的程式码

2.资料抽象和版本控制将计算层与资料处理层分离,包括支援不同的资料格式和储存选项

为你的资料集和机器学习模型进行版本控制

3.模组化和管道抽象支援纯Python函式,节点,将大块程式码分成小的独立部分

自动解析节点之间的依赖关系

(即将推出)使用Kedro-Viz视觉化资料管道,Kedro-Viz是一个显示Kedro专案管道结构的工具

注意:阅读我们的常见问题解答,了解我们与Airflow和Luigi等工作流程管理器的区别。

4.功能可扩充套件性将命令注入Kedro命令列界面(CLI)的外挂系统

(即将推出)官方支援的外挂列表:

Kedro-Airflow,在部署到工作流排程程式Airflow之前,可以轻松地在Kedro中对资料管道进行原型设计

Kedro-Docker,用于在容器内包装和运输Kedro专案的工具

Kedro可以部署在本地,内部部署和云(AWS,Azure和GCP)服务器或丛集(EMR,Azure HDinsight,GCP和Databricks)

使用Kedro-Viz进行随机管道视觉化(即将推出)

如何使用Kedro?我们的文件说明提供了以下内容:

典型的Kedro工作流程

如何设定专案配置

构建第一个管道

如何使用kedro_cli.py提供的CLI(kedro new,kedro run,...)

注意:CLI是一个方便的工具,可以执行kedro命令,但你也可以使用python -m kedro呼叫Kedro CLI作为Python模组

如何找到Kedro文件?以下CLI命令将在浏览器中开启当前版本Kedro的文件:

kedro docs你可以点选此处检视最新稳定版本的文件。入门教程、常见问题解答等,请检视:

Getting started

Tutorial

FAQ

如何更新Kedro?我们使用语义版本控制。 安全升级的最佳方法是检视我们的发行说明,了解任何值得注意的重大更新。

安装Kedro后,你可以按如下方式检查你的版本:

kedro --version如果想将Kedro升级到其他版本,只需执行:

pip install kedro -ULicenseKedro根据Apache 2.0许可证获得许可。

2020-01-16 19:51:00

相关文章