去除重复行（awk 小技巧）

[wkx9dragon]

这两天看了一个小技巧，觉得不错，发来共享一下。
如果有两个文件，比如两个不同时间存的excel表，先导出为csv（逗号分隔文本文件），文件。如果两个文件中有大量重复文件，并且新文件不包含老文件，怎么办。脚本语言awk威力就出来了。
一句话解决
awk '!a[$0]++' file1.csv file2.csv >> newFile.csv

引用：http://bbs.chinaunix.net/thread-3618620-1-1.html