媲美Pandas？告诉你Python的Datatable包到底怎么用
作者 | Parul Pandey
【导读】工具包 datatable 的功能特征与 Pandas 非常类似，但更侧重于速度以及对大资料的支援。此外，datatable 还致力于实现更好的使用者体验，提供有用的错误提示讯息和强大的 API 功能。通过本文的介绍，你将学习到如何在大型资料集中使用 datatable 包进行资料处理，特别在资料量特别大的时候你可以发现它可能比 Pandas 更加强大。
前言
data.table 是 R 中一个非常通用和高效能的包，使用简单、方便而且速度快，在 R 语言社群非常受欢迎，每个月的下载量超过 40 万，有近 650 个 CRAN 和 Bioconductor 软件包使用它。如果你是 R 的使用者，可能已经使用过 data.table 包。而对于 Python 使用者，同样存在一个名为 datatable 包，专注于大资料支援、高效能内存/内存不足的资料集以及多执行绪算法等问题。在某种程度上，datatable 可以被称为是 Python 中的 data.table。
Datatable初教程
为了能够更准确地构建模型，现在机器学习应用通常要处理大量的资料并生成多种特征，这已成为必要的。而 Python 的 datatable 模组为解决这个问题提供了良好的支援，以可能的最大速度在单节点机器上进行大资料操作 (最多100GB)。datatable 包的开发由 H2O.ai 赞助，它的第一个使用者是 Driverless.ai。
接下来，我们就开始初体验一下 datatable 的简单使用。
安装
在 MacOS 系统上，datatable 包可以通过 pip 命令安装，如下图所示：pip install datatable
在 Linux 平台上，安装过程需要通过二进位制分布来实现，如下所示：
# If you have Python 3.5pip install https://s3.amazonaws.com/h2o-release/datatable/stable/datatable-0.8.0/datatable-0.8.0-cp35-cp35m-linux_x86_64.whl# If you have Python 3.6pip install https://s3.amazonaws.com/h2o-release/datatable/stable/datatable-0.8.0/datatable-0.8.0-cp36-cp36m-linux_x86_64.whl
很遗憾的是，目前 datatable 包还不能在 Windows 系统上工作，但 Python 官方也在努力地增加其对 Windows 的支援。更多的资讯可以检视 Build instructions 的说明。
地址：https://datatable.readthedocs.io/en/latest/install.html
资料读取
这里使用的资料集是来自 Kaggle 竞赛中的 Lending Club Loan Data 资料集, 该资料集包含2007-2015期间所有贷款人完整的贷款资料，即当前贷款状态 (当前，延迟，全额支付等) 和最新支付资讯等。整个档案共包含226万行和145列资料，资料量规模非常适合演示 datatable 包的功能。# Importing necessary Librariesimport numpy as npimport pandas as pdimport datatable as dt
首先将资料载入到 Frame 物件中，datatable 的基本分析单位是 Frame，这与Pandas DataFrame 或 SQL table 的概念是相同的：即资料以行和列的二维阵列排列展示。
datatable 读取%%timedatatable_df = dt.fread("data.csv")____________________________________________________________________CPU times: user 30 s, sys: 3.39 s, total: 33.4 s Wall time: 23.6 s
如上图，fread() 是一个强大又快速的函式，能够自动检测并解析文字档案中大多数的引数，所支援的档案格式包括 .zip 档案、URL 资料，Excel 档案等等。此外，datatable 解析器具有如下几大功能：
能够自动检测分隔符，标题，列型别，引用规则等。能够读取多种档案的资料，包括档案，URL，shell，原始文字，档案和 glob 等。提供多执行绪档案读取功能，以获得最大的速度。在读取大档案时包含进度指示器。可以读取 RFC4180 相容和不相容的档案。
pandas 读取
下面，使用 Pandas 包来读取相同的一批资料，并检视程式所执行的时间。%%timepandas_df= pd.read_csv("data.csv")___________________________________________________________CPU times: user 47.5 s, sys: 12.1 s, total: 59.6 sWall time: 1min 4s
由上图可以看到，结果表明在读取大型资料时 datatable 包的效能明显优于 Pandas，Pandas 需要一分多钟时间来读取这些资料，而 datatable 只需要二十多秒。
帧转换 (Frame Conversion)
对于当前存在的帧，可以将其转换为一个 Numpy 或 Pandas dataframe 的形式，如下所示：
numpy_df = datatable_df.to_numpy()pandas_df = datatable_df.to_pandas()
下面，将 datatable 读取的资料帧转换为 Pandas dataframe 形式，并比较所需的时间，如下所示：
%%timedatatable_pandas = datatable_df.to_pandas()___________________________________________________________________CPU times: user 17.1 s, sys: 4 s, total: 21.1 sWall time: 21.4 s
看起来将档案作为一个 datatable frame 读取，然后将其转换为 Pandas dataframe比直接读取 Pandas dataframe 的方式所花费的时间更少。因此，通过 datatable 包汇入大型的资料档案再将其转换为 Pandas dataframe 的做法是个不错的主意。
type(datatable_pandas)___________________________________________________________________pandas.core.frame.DataFrame
帧的基础属性
下面来介绍 datatable 中 frame 的一些基础属性，这与 Pandas 中 dataframe 的一些功能类似。print(datatable_df.shape) # (nrows, ncols)print(datatable_df.names[:5]) # top 5 column namesprint(datatable_df.stypes[:5]) # column types(top 5)______________________________________________________________(2260668, 145)('id', 'member_id', 'loan_amnt', 'funded_amnt', 'funded_amnt_inv')(stype.bool8, stype.bool8, stype.int32, stype.int32, stype.float64)
也可以通过使用 head 命令来打印出输出的前 n 行资料，如下所示：
datatable_df.head(10)
注意：这里用颜色来指代资料的型别，其中红色表示字串，绿色表示整型，而蓝色代表浮点型。
统计总结
在 Pandas 中，总结并计算资料的统计资讯是一个非常消耗内存的过程，但这个过程在 datatable 包中是很方便的。如下所示，使用 datatable 包计算以下每列的统计资讯：datatable_df.sum() datatable_df.nunique()datatable_df.sd() datatable_df.max()datatable_df.mode() datatable_df.min()datatable_df.nmodal() datatable_df.mean()
下面分别使用 datatable 和Pandas 来计算每列资料的均值，并比较二者执行时间的差异。
datatable 读取%%timedatatable_df.mean()_______________________________________________________________CPU times: user 5.11 s, sys: 51.8 ms, total: 5.16 sWall time: 1.43 s
Pandas 读取pandas_df.mean()__________________________________________________________________Throws memory error.
可以看到，使用 Pandas 计算时丢掷内存错误的异常。
资料操作
和 dataframe 一样，datatable 也是柱状资料结构。在 datatable 中，所有这些操作的主要工具是方括号，其灵感来自传统的矩阵索引，但它包含更多的功能。诸如矩阵索引，C/C++，R，Pandas，Numpy 中都使用相同的 DT[i，j] 的数学表示法。下面来看看如何使用 datatable 来进行一些常见的资料处理工作。
选择行/列的子集
下面的程式码能够从整个资料集中筛选出所有行及 funded_amnt 列：
datatable_df[:,'funded_amnt']
这里展示的是如何选择资料集中前5行3列的资料，如下所示：
datatable_df[:5,:3]
帧排序
datatable 排序
在 datatable 中通过特定的列来对帧进行排序操作，如下所示：
%%timedatatable_df.sort('funded_amnt_inv')_________________________________________________________________CPU times: user 534 ms, sys: 67.9 ms, total: 602 msWall time: 179 ms
Pandas 排序%%timepandas_df.sort_values(by = 'funded_amnt_inv')___________________________________________________________________CPU times: user 8.76 s, sys: 2.87 s, total: 11.6 sWall time: 12.4 s
可以看到两种包在排序时间方面存在明显的差异。
删除行/列
下面展示如何删除 member_id 这一列的资料：
del datatable_df[:, 'member_id']
分组 (GroupBy)
与 Pandas 类似，datatable 同样具有分组 (GroupBy) 操作。下面来看看如何在 datatable 和 Pandas 中，通过对 grade 分组来得到 funded_amout 列的均值：
datatable 分组%%timefor i in range(100): datatable_df[:, dt.sum(dt.f.funded_amnt), dt.by(dt.f.grade)]____________________________________________________________________CPU times: user 6.41 s, sys: 1.34 s, total: 7.76 sWall time: 2.42 s
pandas 分组%%timefor i in range(100): pandas_df.groupby("grade")["funded_amnt"].sum()____________________________________________________________________CPU times: user 12.9 s, sys: 859 ms, total: 13.7 sWall time: 13.9 s
f 代表什么
在 datatable 中，f 代表 frame_proxy，它提供一种简单的方式来引用当前正在操作的帧。在上面的例子中，dt.f 只代表 dt_df。
过滤行
在 datatable 中，过滤行的语法与GroupBy的语法非常相似。下面就来展示如何过滤掉 loan_amnt 中大于 funding_amnt 的值，如下所示。
datatable_df[dt.f.loan_amnt>dt.f.funded_amnt,"loan_amnt"]
储存帧
在 datatable 中，同样可以通过将帧的内容写入一个 csv 档案来储存，以便日后使用。如下所示：
datatable_df.to_csv('output.csv')
有关资料操作的更多功能，可检视 datatable 包的说明文件
地址：https://datatable.readthedocs.io/en/latest/using-datatable.html
总结
在资料科学领域，与预设的 Pandas 包相比，datatable 模组具有更快的执行速度，这是其在处理大型资料集时的一大优势所在。然而，就功能而言，目前 datatable 包所包含的功能还不如 pandas 完善。相信在不久的将来，不断完善的 datatable 能够更加强大。
译者 | linstancy
责编 | Jane
出品 | Python大本营（id：pythonnews）
本文所涉及的程式码可以从 Github 或 binder 上获取：
Github 地址：https://github.com/parulnith/An-Overview-of-Python-s-Datatable-package)binder 地址：https://mybinder.org/v2/gh/parulnith/An-Overview-of-Python-s-Datatable-package/master?filepath=An%20Overview%20of%20Python%27s%20Datatable%20package.ipynb
