csvtk命令行版极简dplyr

csvtk命令行版极简dplyr

11 min read

写在前面

什么时候写 csvtk 呀,csvtk 也借鉴了些 datamash 的东西。

之前写 datamash 的使用教程,收到了一位读者的私信,内容如上。

话说这位读者不是别人,正是大名鼎鼎 seqkit 和 csvtk 的开发者 shenwei356 (github ID),江湖人称「爪哥」。我从来没有问过他为什么 ID 有个数字后缀「356」,我私以为是一年 365 天里有 356 天他都在写程序,剩下的几天过年放假。说到爪哥,如果你看到这篇文章之前不知道他我不怪你,但是今天以后希望他可以每天都和你在一起。

爪哥用两个工具就让自己在生物信息领域有了一席之地。其中 seqkit 是用来处理 fasta/q 文本的工具,这篇文章要写的 csvtk 是处理 c/tsv 文本的工具。如果你感觉我的说法夸张了,不妨想想每天接触到的各种文件,无论是 gff 还是 bed 还是 sam 甚至是 vcf,其本质都是 tsv 格式,再加上 seqkit 针对的 fasta 和 fastq。如果你能熟练使用这两个工具,今后的每一天就都会感受到爪哥无微不至的关怀。我经常在敲完一行命令后会在心里大喊一声「爪哥NB」。

csvtk 特点

熟悉 Linux 的人谈到命令行的文本处理,定会奉上文本处理「三剑客」:awk,sed,grep。csvtk 并不想抢他们的风头,而是可以无痛的整合到各种处理流程中。它凭借自己的特点,让命令行里的文本处理更容易。

csvtk 的特点之一是对 header 的识别和处理,它可以让你省去很多原本在使用 awk 等命令时针对 header 行的代码。既然考虑到了 header,特点之二就是支持通过列名来进行列的选择,这里的选择还包括反选模糊选择。除此之外,之所以说便于和其他流程的整合,还因为它可以直接处理标准输入和压缩文本,同时这个软件本身不需要编译也没有任何其它依赖,非常容易安装,conda 可以直接搞定。

csvtk 本身支持多线程以及若干子命令,用起来会发现通常其速度和效率比在 python 和 R 中输入很多行代码都要高。如果这些依旧不能打动你,csvtk 还有一个神奇的功能:直接用一行代码在命令行里画图。真 6。

csvtk 介绍

csvtk 有三十多个子命令,基本上可以理解为是命令行版极简 dplyr 加若干 linux 命令的增强整合。子命令按照类别和功能分类,可以分为如下几类,其中结尾带有+的子命令是我常用的和值得尤其关注的。

文本信息类

格式转化类

集合操作类

这一类命令是操作的重点,有很多子命令,其中部分类似于 unix 中对应的命令但又有所区别。

文本编辑类

如果你熟悉 R 中的 dplyr,这类型的子命令中有不少都会让你感觉熟悉。

画图

借助 gonum 中的 plot 包,csvtk 还可以直接画一些基本的统计图,这功能其实已经超越 dplyr 向着 ggplot2 挺进了。画图相关命令可以根据文件后缀自动确定输出类型。

plot 支持 boxplot, histogram, line 和 scatter 四种图,图的主要元素都可以设置,支持的输出格式包括 eps/pdf/svg/tiff/jpg/png,对应如下三个命令:

csvtk 示例

因为篇幅的原因,这里仅展示几个使用示例,更多更详细的内容可以直接参考爪哥写的使用文档。另外本文使用的数据也来自官方测试数据。

描述统计量

csvtk 的 summary 命令有两个亮点,第一是支持对文本和数值的多种分组统计;第二个是可以过滤对应字段的非数值内容(比如N/A)。

$ cat digitals2.csv
f1,f2,f3,f4,f5
foo,bar,xyz,1,0
foo,bar2,xyz,1.5,-1
foo,bar2,xyz,3,2
foo,bar,xyz,5,3
foo,bar2,xyz,N/A,4

针对上述数据,按照第一列和第二列进行分组,同时计算第四列和第五列的和,排除非数值内容,以易读方式输出结果。命令如下:

$ cat digitals2.csv | \
csvtk summary -i -f f4:sum,f5:sum -g f1,f2 | \
csvtk pretty

f1    f2     f4:sum   f5:sum
bar   xyz    7.00     106.00
bar   xyz2   4.00     4.00
foo   bar    6.00     3.00
foo   bar2   4.50     5.00

一键变漂亮

上面已经用到的pretty命令可以让输出的结果更加易读。

$ cat names.csv
id,first_name,last_name,username
11,Rob,Pike,rob
2,Ken,Thompson,ken
4,Robert,Griesemer,gri
1,Robert,Thompson,abc

$ cat names.csv |csvtk pretty
id   first_name   last_name   username
11   Rob          Pike        rob
2    Ken          Thompson    ken
4    Robert       Griesemer   gri
1    Robert       Thompson    abc

$ cat names.csv |csvtk pretty -r
id   first_name   last_name   username
11          Rob        Pike        rob
 2          Ken    Thompson        ken
 4       Robert   Griesemer        gri
 1       Robert    Thompson        abc

无需排序快速去重

之前曾经讨论一个大文本去重的问题,从当时的结果来看,对于大文本在 linux 中排序是去重的主要限速步骤。但是在 csvtk 中,可以不通过排序而直接进行去重。针对当时的问题,对于一个 3,741,430 行的文本,先排序再去重需要 30s 左右的时间,而使用 csvtk uniq 仅需要两三秒。

time awk 'OFS="\t" { if($1>$2){print $2,$1,$3} else {print} }' howtouniq.txt \
    | csvtk uniq -H -t -f 1,2 > howtouniq.txt.awk-csvtk

#real    0m2.674s
#user    0m5.660s
#sys     0m0.482s

复杂条件筛选数据

csvtk 中的 filter2 支持使用复杂条件筛选数据,类似于 awk。首先支持 + - / * & | ^ ** % 等运算,也支持> >= < <= == != =~ !~,同时还可以使用|| && 对多个条件进行组合。例如:


$ cat names.csv
id,first_name,last_name,username
11,"Rob","Pike",rob
2,Ken,Thompson,ken
4,"Robert","Griesemer","gri"
1,"Robert","Thompson","abc"
NA,"Robert","Abel","123"

$ cat names.csv | csvtk filter2 -f '$id > 3 || $username=="ken"'
id,first_name,last_name,username
11,Rob,Pike,rob
2,Ken,Thompson,ken
4,Robert,Griesemer,gri

快速添加新列

使用mutate2可以按照复杂运算快速添加新的内容,支持的操作和filter2一致。

比如拼接字符串:

$ cat names.csv  \
    | csvtk mutate2 -n full_name -e ' $first_name + " " + $last_name ' \
    | csvtk pretty
id   first_name   last_name   username   full_name
11   Rob          Pike        rob        Rob Pike
2    Ken          Thompson    ken        Ken Thompson
4    Robert       Griesemer   gri        Robert Griesemer
1    Robert       Thompson    abc        Robert Thompson
NA   Robert       Abel        123        Robert Abel

甚至还可以通过三元运算符进行判断填空:

cat digitals.tsv | csvtk mutate2 -t -H -e '$1 > 5 ? "big" : "small" '
4       5       6       small
1       2       3       small
7       8       0       big
8       1,000   4       big

单行命令快速出图

在测试数据中,有一组数据包含不同组别的序列长度和 GC 含量,可以通过plot hist绘制长度的直方图,通过plot box绘制每组的 GC 含量箱线图。


$ zcat grouped_data.tsv.gz | head -n 5 | csvtk -t pretty
Group     Length   GC Content
Group A   97       57.73
Group A   95       49.47
Group A   97       49.48
Group A   100      51.00

csvtk -t plot hist grouped_data.tsv.gz -f 2 --title Histogram -o histogram.png

csvtk -t plot box grouped_data.tsv.gz -g "Group" -f "GC Content" --width 3 --title "Box plot" > boxplot.png

one more thing

文末还是要说回开发者。爪哥是一个非常勤奋的人,可以看看他的 GitHub,嗯,真绿。csvtk 最近一次 commit 是在 8 天前,seqkit 最近一次 commit 也是在 8 天前。

所以,如果你在使用过程中有什么问题和需求,不妨去给他提几个 issue,没准他一顺手就实现了你的想法。


本文作者:思考问题的熊

版权声明:本博客所有文章除特别声明外,均采用 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议 (CC BY-NC-ND 4.0) 进行许可。

扫码即刻沟通

前一篇

我的私人学术报告准备清单

后一篇

每周文献-190622-ATAC-seq和转录本从头组装新方法