站长资源操作系统
linux awk删除文本重复行需要注意强制类型转换的问题
简介希望删除IP地址前三段相同的多余重复行。测试文本如下：# cat 1.txt2.1.10.12.1.10.22.11.0.12.11.0.2如果数组下标不加引号，在这个特殊的情况下会被强制转换为数字，最终导致统计失败：# awk 'BEGIN{FS=OFS="."}{if(!a[$1.$2.
希望删除IP地址前三段相同的多余重复行。测试文本如下：
# cat 1.txt 2.1.10.1 2.1.10.2 2.11.0.1 2.11.0.2
如果数组下标不加引号，在这个特殊的情况下会被强制转换为数字，最终导致统计失败：
# awk 'BEGIN{FS=OFS="."}{if(!a[$1.$2.$3]++)print}' 1.txt
2.1.10.1
# awk -F '.' '{a[$1.$2.$3]++;}END{for(i in a)print i" "a[i]}' 1.txt
2110 4
数组下标加上引号之后，一切恢复正常：
# awk 'BEGIN{FS=OFS="."}{if(!a[$1"."$2"."$3]++)print}' 1.txt
2.1.10.1
2.11.0.1
# awk -F '.' '{a[$1"."$2"."$3]++;}END{for(i in a)print i" "a[i]}' 1.txt
2.11.0 2
2.1.10 2
扩展阅读：
http://www.gnu.org/software/gawk/manual/html_node/Variable-Typing.html
上一篇：使用awk的next命令的方法
下一篇：Linux下的链接文件详解