AWK 文本分析工具核心总结
大家好,欢迎来到程序视点
!我是你们的老朋友.小二!
AWK 文本分析工具核心总结
1. AWK 简介
-
定义:AWK 是一种强大的文本分析工具,擅长数据扫描、处理及生成报告。
-
版本:awk(原始版)、nawk(增强版)、gawk(GNU 版,最常用)。
-
核心功能:逐行读取文本,默认以空格分隔字段(域),支持自定义分隔符,对切片后的数据进行处理。
2. 基本语法与调用方式
-
语法结构:
awk '{pattern + action}' filename
-
pattern
:匹配模式(如正则表达式)。 -
action
:匹配后执行的操作(如打印、计算)。
-
-
调用方法:
- 命令行直接调用:
awk -F '分隔符' '命令' 输入文件
-
脚本调用:将 AWK 命令写入可执行文件,首行指定解释器(如
#!/bin/awk
)。 - 加载脚本文件:
awk -f 脚本文件 输入文件
- 命令行直接调用:
3. 核心功能示例
-
提取字段:
# 显示文件每行的第1列(默认空格分隔) awk '{print $1}' file # 指定冒号分隔符(如处理 /etc/passwd) awk -F: '{print $1}' /etc/passwd
-
添加表头与表尾:
awk -F: 'BEGIN {print "Name,Shell"} {print $1","$7} END {print "End"}' /etc/passwd
-
条件过滤:
# 匹配含 "root" 的行 awk -F: '/root/' /etc/passwd # 正则匹配(root 开头) awk -F: '/^root/' /etc/passwd
4. 内置变量
变量 | 用途 |
---|---|
$0 | 当前整行记录 |
$1, $2… | 第1、2…个字段 |
NF | 当前行的字段数 |
NR | 当前行号 |
FS | 输入字段分隔符(默认空格) |
OFS | 输出字段分隔符(默认空格) |
FILENAME | 当前文件名 |
5. 进阶功能
-
自定义变量与统计:
# 统计行数 awk '{count++; print $0} END {print "Total:", count}' file # 初始化变量 awk 'BEGIN {count=0} {count++} END {print count}' file
-
条件与循环:
# 条件判断(过滤非4096字节的文件) ls -l | awk '{if ($5 != 4096) size+=$5} END {print size/1024 "KB"}' # 循环遍历数组 awk -F: '{name[NR]=$1} END {for (i=1; i<=NR; i++) print i, name[i]}' /etc/passwd
6. 输出格式化
- **
printf
替代print
**:支持类似 C 语言的格式化输出。awk '{printf("Line %d: %s\n", NR, $0)}' file
7. 典型应用场景
-
日志分析(提取特定字段)。
-
数据统计(如文件大小总和、行数统计)。
-
格式化报告生成(添加表头、表尾、分隔符)。
总结
AWK 的核心价值在于其 字段处理能力 和 灵活的脚本编程,适用于结构化文本的快速分析。通过内置变量、条件判断、循环和数组,可实现复杂的数据处理任务,是 Linux 系统管理及数据分析的利器。
更详细文档参考:GNU AWK 手册
最后
【程序视点】助力打工人减负,从来不是说说而已!后续小二哥会继续详细分享更多实用的工具和功能。
如果这篇文章对你有帮助的话,别忘了【在看】【点赞】支持下哦~