花式挑出两个文档中相同的行

在我们的工作或学习您可能会碰到这样的情况,需要去比较两个文本文件,挑出两个文件中相同的或者不相同的行,可能大家在碰到这样的需求时,可能会想着用两层循环去遍历这两个文件,然后做比较。用这种思路去解决问题,不管用shell还是Python一定是可行的。笔者在这里介绍几种高效、简单的方式。

笔者用a.txt和b.txt这两个文件来加以说明如果找出两个文件中相同的行。

花式挑出两个文档中相同的行

花式挑出两个文档中相同的行

从这两个文档里可以看出它们有两同的部分也有不相同的部分。

1.思路:使用cat将两个文档连接起来,然后用sort进行计数,再用awk将计数为2的过滤出来

2.使用comm(有的系统上的名字叫common),comm可以找出两个文件中各自独有和共同拥有的行,不过comm比较两个文件之前需要对两个文件进行排序。

以下是排序后的结果

将两个文件进行comm比较后,可以看到第一列只显示了c.txt独自拥有的行,第二列显示d.txt拥有的行。第三列显示是的两个文件共有的行。

通过使用-1 -2的参数可以去掉第一列和第二列。

3.使用纯粹的awk来完成

解释一下这行命令的意思,NR和FNR的意思相近,NR,表示awk开始执行程序后所读取的数据行数。FNR,与NR功用类似,不同的是awk每打开一个新文件,FNR便从0重新累计。所以NR==FNR表示如果是第一个文件,即c.txt,NR>FNR表示如果是第二个文件即d.txt。a[$0]就是以每行内容为index的一个hash表;由于执行了++,它的初值变成了0。如果你打印了a[$0],你会发现它其实就是行数的重复次数,后面的NR>FNR&&a[$0],在d.txt文件中并且匹配到与c.txt文件相同的行打印该行(行为语句为空,表示打印该行)。

小结:使用第一种和第二种方法来处理文本比较高效,使用纯粹的awk看起来比较复杂,但awk处理起来文本更加灵活多变,理解awk在此处的用法对awk的学习是有帮助的。

 

相关新闻

历经多年发展,已成为国内好评如潮的Linux云计算运维、SRE、Devops、网络安全、云原生、Go、Python开发专业人才培训机构!