Linux命令-uniq

uniq命令用于删除文件中重复行，只留下每条记录的唯一样本。

uniq 命令的所有参数及其详细说明：
去重相关
参数 说明 示例
-c 显示每行的重复次数 uniq -c file.txt
-d 只显示重复的行 uniq -d file.txt
-u 只显示唯一的行 uniq -u file.txt

比较相关
参数 说明 示例
-i 忽略大小写进行比较 uniq -i file.txt

输入/输出相关
参数 说明 示例
-f 跳过前面的 个字段进行比较 uniq -f 2 file.txt （跳过前两字段）
-s 跳过每行开头的 个字符进行比较 uniq -s 5 file.txt （跳过前5字符）

其他选项
参数 说明 示例
-w 只比较每行的前 个字符 uniq -w 10 file.txt （比较前10字符）

组合使用示例
统计每行的重复次数：

uniq -c file.txt

只显示重复的行：

uniq -d file.txt

只显示唯一的行：

uniq -u file.txt

忽略大小写进行比较：

uniq -i file.txt

跳过前两字段进行比较：

uniq -f 2 file.txt

跳过每行开头的5个字符进行比较：

uniq -s 5 file.txt

只比较每行的前10个字符：

uniq -w 10 file.txt