资源|简单快捷的数据处理 数据科学需要注意的命令行

选自Medium

作者：Kade Killary

机器之心编译

参与：

Nurhachu Null、思源

对很多数据科学家而言，他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上，这个说法没有任何错误，毕竟这就是这些工具存在的原因。然而，对于分隔符转换这样的简单任务而言，这些工具往往是大材小用，我们可以直接使用命令行快速处理。

命令行应该是每个开发者都希望掌握的，尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率，因此命令行还是计算机技术中的一个很棒的历史课。例如，awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的，Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天，每年仍然能够出现与 awk 相关的新书。因此，我们可以相对保守地假设：一项针对命令行才能的投资在任何新近的时间内都不会贬值。

我们将会涉及以下内容

• 
  

  ICONV



• 
  

  HEAD



• 
  

  TR



• 
  

  WC



• 
  

  SPLIT



• 
  

  SORT & UNIQ



• 
  

  CUT



• 
  

  PASTE



• 
  

  JOIN



• 
  

  GREP



• 
  

  SED



• 
  

  AWK

ICONV（用来转换文件的编码方式）

文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码，然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里，iconv 是一个拯救者，它能以一种编码的文本为输入，输出另一种编码的文本。

# Converting -f (from) latin1 (ISO-8859-1)

# -t (to) standard UTF_8

iconv -f ISO

-8859

-1

-t UTF

-8

< input.txt > output.txt

可选参数：

• 
  

  iconv -l 列出所有已知的编码字符集合



• 
  

  iconv -c 忽略不能转换的非法字元，静默地丢弃

HEAD（用于显示文件的开头内容）

如果你是一个频繁使用 Pandas 的用户，那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容，当然我们也可以选择不同的参数确定打印的行数或字元数。

# Prints out first 10 lines

head filename.csv

# Print first 3 lines

head -n

3

filename.csv

可选参数：

• 
  

  head -n <数字> 打印特定数目的行数



• 
  

  head -c <字元数> 打印特定数目的字元

TR（对字元进行替换、压缩和删除）

tr 与转译比较类似，它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符：

# Converting a tab delimited file into commas

cat tab_delimited.txt | tr

"\t"

","

comma_delimited.csv

tr 的另一个功能是由我们控制的内置 [:class:] 参数，这些用法包括：

• 
  

  [:alnum:] 所有的字母和数字



• 
  

  [:alpha:] 所有的字母



• 
  

  [:blank:] 所有的水平空格



• 
  

  [:cntrl:] 所有的控制字元（非打印）



• 
  

  [:digit:] 所有的数字



• 
  

  [:graph:] 所有的可打印字元，不包含空格



• 
  

  [:lower:] 所有的小写字母



• 
  

  [:print:] 所有的可打印字元，包含空格



• 
  

  [:punct:] 所有的标点符号



• 
  

  [:space:] 所有的水平或垂直空格



• 
  

  [:upper:] 所有的大写字母



• 
  

  [:xdigit:] 所有的十六进制字元

我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序，我们可以用它来检查 README 文档。

cat README.md | tr

"[:punct:][:space:]"

"
"

| tr

"[:upper:]"

"[:lower:]"

| grep . | sort | uniq -c | sort -nr

使用基本正则表达式的另一个例子是：

# Converting all upper case letters to lower case

cat filename.csv | tr

"[A-Z]"

"[a-z]"

可选参数：

• 
  

  tr -d 删除字元



• 
  

  tr -s 压缩字元（将连续重复的字元用一个字元表示）



• 
  

   空格



• 
  

  f 换页符



• 
  

  v 垂直制表符



• 
  

  NNN 八进制字元 NNN

WC（用来计数的命令）

它的值主要来自于 -l flag，它会提供文档的行数。

# Will return number of lines in CSV


wc -l gigantic_comma.csv

这个工具可以方便地确认各种命令的输出。所以，如果我们转换了文件中的分隔符，那么运行 wc -l 就可以查看总行数是不是相同，不同就是出了问题。

可选参数：

• 
  

  wc -c 打印 Bytes 数目



• 
  

  wc -m 打印出字元数



• 
  

  wc -L 打印出最长行的字元数



• 
  

  wc -w 打印出单词数目

SPLIT（把一个大文件分割成小文件的命令）

文件大小可以使用这个命令大幅度改变。根据任务的不同，分割文件可能会有所帮助，所以就有了 split 命令。split 的基本语法如下：

# We will split our CSV into new_filename every 500 lines

split -l

500

filename.csv new_filename_

# filename.csv

# ls output

# new_filename_aaa

# new_filename_aab

# new_filename_aac

两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名，您需要运行下面的 find 命令。它会改变当前路径下的所有文件名，给每个文件后面扩展.csv，所以，谨慎使用。

find . -type f -

exec

mv

"{}"

"{}"

.csv ;

# ls output

# filename.csv.csv

# new_filename_aaa.csv

# new_filename_aab.csv

# new_filename_aac.csv

可选参数：

• 
  

  split -b 通过确定的字节大小分割



• 
  

  split -a 生成长度为 N 的后缀



• 
  

  split -x 使用十六进制后缀分割

SORT & UNIQ（sort：文件排序；uniq：报告或忽略文件中的重复行，与 sort 结合使用）

这两个命令提供了唯一的单词计数，这是因为 uniq 仅仅在重复的相邻行上运行。因此，这就是在输出之前进行排序的原因。一个有趣的注意事项是：sort -u 会与 sort file.txt | uniq 有着相同的结果。

对于数据科学家而言，排序具是一种潜在有用的能力：即基于特定列对整个 CSV 文件进行排序的能力。

# Sorting a CSV file by the second column alphabetically

sort -t, -k2 filename.csv

# Numerically

sort -t, -k2n filename.csv

# Reverse order

sort -t, -k2nr filename.csv

这里的-t 选项将逗号作为我们的分隔符，通常会采用空格或者制表符。此外，-k flag 用于指定关键词。

可选参数：

• 
  

  sort -f 忽略大小写



• 
  

  sort -r 以相反的顺序排序



• 
  

  sort -R 乱序



• 
  

  uniq -c 统计出现的次数



• 
  

  uniq -d 仅仅打印重复行

CUT（cut 命令用来显示行中的指定部分，删除文件中指定字段。）

cut 用于删除列。举例来说，如果我们要删除第一列和第三列，可以使用 cut：

cut -d, -f

1

,

3

filename.csv

选择除了第一列之外的每一列：

cut -d, -f

2

- filename.csv

与其他命令结合使用的时候，cut 作为一个过滤器：

# Print first 10 lines of column 1 and 3, where "some_string_value" is present

head filename.csv | grep

"some_string_value"

| cut -d, -f

1

,

3

找到第二列中某个特定值出现的次数：

cat filename.csv | cut -d, -f

2

| sort | uniq | wc -l

# Count occurences of unique values, limiting to first 10 results

cat filename.csv | cut -d, -f

2

| sort | uniq -c | head

PASTE（用于将多个文件按照列队列进行合并）

paste 是一个简洁命令，具有一个有趣的功能。如果您有两个需要合并的文件，并且它们已经排序，paste 能够实现这些功能。

# names.txt

adam
john
zach

# jobs.txt

lawyer
youtuber
developer

# Join the two into a CSV

paste -d

","

names.txt jobs.txt > person_data.txt

# Output

adam,lawyer
john,youtuber
zach,developer

更具 SQL 风格的变体，请参见下文。

JOIN（连接并合并文件）

join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列，并且只能在一个字段上进行匹配。默认情况下，join 将尝试使用第一列作为匹配键。对于不同的结果，必须使用以下语法:

# Join the first file (-1) by the second column

# and the second file (-2) by the first

join -t,

-1

2

-2

1

first_file.txt second_file.txt

标准 join 是内部连接。但是，外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志，如果找到丢失的字段，它可以用来替换值。

# Outer join, replace blanks with NULL in columns 1 and 2

# -o which fields to substitute - 0 is key, 1.1 is first column, etc...

join -t,

-1

2

-a

1

-a2 -e

" NULL"

-o

"0,1.1,2.2"

first_file.txt second_file.txt

虽然不是最便于用户使用的命令，但是绝望的时候自有绝望的措施。

可选参数：

• 
  

  join -a 打印不能匹配的行



• 
  

  join -e 替换丢失的输入字段



• 
  

  join -j 等价于 -1 FIELD -2 FIELD

GREP（这是一种强大的文本搜索工具）

全面搜索正则表达式并打印（grep），这很可能是最出名的命令。grep 有很多强大的能力，尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域，它充当着其它命令的细化机制。

# Recursively search and list all files in directory containing "word"

grep -lr

"word"

.

# List number of files containing word

grep -lr

"word"

. | wc -l

统计包含单词/模式的总行数

grep -c

"some_value"

filename.csv

# Same thing, but in all files in current directory by file name

grep -c

"some_value"

*

使用|运算子进行多值操作

grep

"first_value|second_value"

filename.csv

可选参数：

• 
  

  alias grep="grep --color=auto" 使 grep 色彩化



• 
  

  grep -E 使用扩展的正则表达式



• 
  

  grep -w 只匹配全字元



• 
  

  grep -l 打印出匹配的文件名



• 
  

  grep -v 反转匹配

SED（流编辑器）

sed 是一个逐行运行的流编辑器。它擅长替换，但是也可以用于所有的重构（refactoring）。

最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值，并用新值替换。如果没有/gour 命令，终端将在第一次出现这个值之后停止。

为了快速体验这种能力，让我们来举个例子。若我们有以下文件:

balance,name
$

1

,

000

,john
$

2

,

000

,jack

我们想做的第一件事就是去掉美元符号。-i flag 指的是位置，""标志指的是零长度的文件扩展名，然后覆盖初始文件。理想情况下，我们可以单独测试其中的每一个，然后输出到新文件。

sed -i

""

"s/$//g"

data.txt

# balance,name

# 1,000,john

# 2,000,jack

接下来，我们处理 balance 中的逗号

sed -i

""

"s/([0-9]),([0-9])/12/g"

data.txt

# balance,name

# 1000,john

# 2000,jack

AWK

（不仅仅是一个命令）

awk 不仅仅是一个简单的命令：它是一种成熟的语言。在本文所涉及的所有内容中，awk 是最酷的。如果你发现自己对 awk 印象深刻，也可以找更多的资源。

 awk 的用例包括：

• 
  

  文本处理



• 
  

  格式化文本报告



• 
  

  执行数学运算



• 
  

  执行字元串操作

最新版的 awk 可以与 grep 并行使用。

awk

"/word/"

filename.csv

或者使用一些技巧将 grep 和 cut 结合起来。这里，对于所有我们要查找的 word 行，awk 打印第三列和第四列和分隔符。-F，仅将分隔符改为逗号。

awk -F,

"/word/ { print $3 " " $4 }"

filename.csv

awk 内置了许多优秀的变数。例如，NF -字段数，NR -记录数。要在文件中获取第五十三条记录，代码如下:

awk -F,

"NR == 53"

filename.csv

一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。

awk -F,

" $1 == "string" { print NR, $0 } "

filename.csv

# Filter based off of numerical value in second column

awk -F,

" $2 == 1000 { print NR, $0 } "

filename.csv

多数值表达式：

# Print line number and columns where column three greater

# than 2005 and column five less than one thousand

awk -F,

" $3 >= 2005 && $5 <= 1000 { print NR, $0 } "

filename.csv

对第三列求和：

awk -F,

"{ x+=$3 } END { print x }"

filename.csv

对第一列等于‘something’的所有行，对它们的第三列求和。

awk -F,

"$1 == "something" { x+=$3 } END { print x }"

filename.csv

得到文件的维度：

awk -F,

"END { print NF, NR }"

filename.csv

# Prettier version

awk -F,

"BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR }"

filename.csv

打印出现两次的行：

awk -F,

"++seen[$0] == 2"

filename.csv

删除重复的行：

# Consecutive lines

awk

"a !~ $0; {a=$0}"

]

# Nonconsecutive lines

awk

"! a[$0]++"

filename.csv

# More efficient

awk

"!($0 in a) {a[$0];print}

使用内置函数 gsub() 替换多值：

awk

"{gsub(/scarlet|ruby|puce/, "red"); print}"

这个 awk 命令将合并多个 CSV 文件，忽略文件头，然后将其附加到末尾。

awk

"FNR==1 && NR!=1{next;}{print}"

*.csv > final_file.csv

需要缩减大量文件？awk 可以在 sed 的帮助下处理这个问题。具体而言，这个命令可以基于行数将 一个大文件拆分为多个小文件。

sed

"1d;$d"

filename.csv | awk

"NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}"

# Example: splitting big_data.csv into data_(n).csv every 100,000 lines

sed

"1d;$d"

big_data.csv | awk

"NR%100000==1{x="data_"++i".csv";}{print > x}"

结语

命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外，还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学，可以多找一些详细的资源。

原文链接：

https://medium.com/@kadek/command-line-tricks-for-data-scientists-c98e0abe5da

本文为机器之心编译，

转载请联系本公众号获得授权

。

?------------------------------------------------

加入机器之心（全职记者/实习生）：hr@jiqizhixin.com

投稿或寻求报道：

content

@jiqizhixin.com

广告&商务合作：bd@jiqizhixin.com