11、Linux 文本流处理命令

1. |管道符

管道符（Pipe） 是一个极为强大的功能，符号为 |（竖线），用于将一个命令的输出直接作为另一个命令的输入，实现多个命令的“串联协作”，大幅提升数据处理效率

a. 基本作用

管道符的核心逻辑是“数据流转”：

• 左侧命令的标准输出（stdout） 会被“捕获”，不再直接显示在屏幕上；
• 这些输出会作为右侧命令的标准输入（stdin），供右侧命令处理。

简单说：命令A | 命令B 等价于“用命令B处理命令A的输出”。

b. 解决的问题

没有管道符时，若要对一个命令的输出做二次处理，需要先将输出保存到临时文件（如 命令A > temp.txt），再用另一个命令读取文件（如 命令B < temp.txt），最后删除临时文件

管道符直接省略了临时文件步骤，让多个命令“实时协作”，简化操作并提高效率。

c. 常用示例

i. 基础示例：筛选文件

用 ls -l 列出文件详情，再通过 grep 筛选出 .txt 文件：

ls -l | grep ".txt"

• 左侧 ls -l 输出当前目录所有文件的详细信息（权限、大小、名称等）
• 管道符 | 将这些输出传递给右侧的 grep ".txt"
• grep 从输入中筛选出包含 .txt 的行（即所有文本文件的详情）

ii. 排序与统计：处理文本数据

用 cat 读取文件内容，sort 排序，再用 wc 统计行数：

cat numbers.txt | sort -n | wc -l

• cat numbers.txt：读取文件内容（假设是一列数字）
• sort -n：对输入的数字进行数值排序（-n 表示按数字而非字符串排序）；
• wc -l：统计排序后的总行数（即文件中数字的个数）。

iii. 进程筛选与统计：查看特定进程数量

用 ps aux 列出所有进程，grep 筛选出 nginx 进程，再统计数量：

ps aux | grep "nginx" | grep -v "grep" | wc -l

• ps aux：输出系统中所有进程的详细信息
• grep "nginx"：筛选出包含“nginx”的进程行（但会包含当前 grep nginx 自身的进程）
• grep -v "grep"：排除包含“grep”的行（去掉自身进程）
• wc -l：统计剩余行数（即实际运行的 nginx 进程数量）

iiii. 文本处理链：提取特定字段并去重

用 ls -l 列出文件，awk 提取文件大小字段，sort 排序后 uniq 去重：

ls -l | awk '{print $5}' | sort -n | uniq

• ls -l：输出文件详情（第5列是文件大小，单位字节）
• awk '{print $5}'：提取每行的第5个字段（即文件大小）
• sort -n：按数值排序大小
• uniq：去除重复的大小值（只保留唯一值）

d. 管道符的特性与注意事项

i. 仅传递“标准输出（stdout）”，不传递“标准错误（stderr）”

默认情况下，管道符只处理左侧命令的标准输出（正常输出），若左侧命令产生错误信息（stderr），会直接显示在屏幕上，不会传递给右侧命令。

例如，若 ls 访问不存在的目录，错误信息会直接输出，不会被 grep 处理：

ls /invalid_dir | grep "txt"  # 输出：ls: cannot access '/invalid_dir': No such file or directory（错误信息直接显示）

解决方法：若要让错误信息也通过管道传递，需用 2>&1 将 stderr 重定向到 stdout：

ls /invalid_dir 2>&1 | grep "error"  # 此时错误信息会被传递给grep，筛选出包含“error”的行

ii. 管道中的命令“并行执行”

管道两侧的命令会同时启动，左侧命令的输出会实时传递给右侧命令（不需要等左侧命令执行完）。这也是管道效率高的原因（边产生数据边处理）

iii. 可连接多个命令,形成“命令链”

管道符支持串联多个命令（理论上无上限），每个命令的输出作为下一个的输入，例如：

命令1 | 命令2 | 命令3 | ... | 命令N

iii. 与重定向的区别

• 管道符（|）：用于命令之间的数据传递（stdout → stdin）
• 重定向（>、>>、<）：用于命令与文件之间的数据传递（如 stdout → 文件，文件 → stdin）

例如：

ls -l > file.txt  # 重定向：将ls的输出写入file.txt（不显示在屏幕）
ls -l | grep "txt"  # 管道：将ls的输出传递给grep处理（不写入文件）

2. xargs

xargs 是一个将标准输入转换为命令行参数的工具

a. 基本作用

把通过管道（|）传来的输入数据（通常是多行文本、文件名列表等）拆分成 “命令参数”，传递给后续命令执行

# 标准用法：左侧命令的输出 → xargs → 作为右侧命令的参数
命令A | xargs [选项] 命令B

• xargs 会从标准输入（通常是管道传来的 命令A 的输出）读取数据，默认以“空白字符（空格、换行、制表符）”分割成多个参数；
• 然后将这些参数附加到 命令B 后面，执行 命令B 参数1 参数2 ...。

b. 解决的问题

常用于解决 “命令无法直接从管道读取输入” 的问题，很多 Linux 命令（如 rm、cp、mv、echo 等）不直接从标准输入（stdin）读取数据，而是需要通过“命令行参数”接收输入。例如：

• 直接用管道传递给 rm 会失败：echo "file.txt" | rm（rm 不读标准输入，无法识别 file.txt）
• 但用 xargs 转换后可行：echo "file.txt" | xargs rm（xargs 将 file.txt 转为 rm 的参数，等价于 rm file.txt）。

c. 常用示例

i. 基础用法：将输入转为参数

# 示例：echo输出的字符串被xargs转为echo的参数
echo "hello world" | xargs echo
# 等价于：echo hello world → 输出：hello world# 示例：多行输入被转为多个参数
echo -e "a\nb\nc" | xargs echo
# 等价于：echo a b c → 输出：a b c

ii. -n N：限制每次传递的参数个数

默认情况下，xargs 会将所有输入参数一次性传给命令。-n N 可指定“每次只传递 N 个参数”，分多次执行命令。

# 示例：每次传递1个参数给echo
echo -e "a\nb\nc" | xargs echo
# 执行过程：
# 第一次：echo a → 输出：a
# 第二次：echo b → 输出：b
# 第三次：echo c → 输出：c

iii. -I 符号：自定义参数替换符号（适合参数在命令中间）

默认情况下，xargs 会将参数附加在命令末尾。若需要将参数放在命令中间或开头，可用 -I 符号 定义替换符号（通常用 {}），xargs 会将输入数据替换到符号位置。

# 示例：将每个.txt文件复制到backup目录（参数在cp中间）
ls *.txt | xargs -I {} cp {} /backup/{}
# 假设当前有a.txt、b.txt，等价于：
# cp a.txt /backup/a.txt
# cp b.txt /backup/b.txt

iiii. -0：处理含特殊字符的输入（如空格、引号）

默认情况下，xargs 以“空白字符”分割参数，若输入中包含空格（如文件名 my file.txt），会被误拆分为两个参数（my 和 file.txt）。
-0 选项可让 xargs 以“null 字符（\0）”分割参数，配合 find -print0（输出以 null 结尾）可安全处理特殊文件名。

# 示例：删除.txt文件，即使文件名包含空格也能正常删除（安全方式）
find . -name "*.txt" -print0 | xargs -0 rm -f
# -print0：find输出的文件名以null结尾（而非换行）
# -0：xargs以null分割参数，避免空格导致的拆分错误

iiiii. -p：执行前提示确认（安全操作）

执行危险命令（如 rm、mv）时，-p 选项会让 xargs 先显示要执行的命令，等待用户输入 y 确认后再执行，防止误操作。

# 示例：删除文件前提示确认
ls *.log | xargs -p rm -f  
# 输出提示：rm -f a.log b.log ?... 输入y才执行

iiiiii. -t：执行前打印命令（调试用）

-t 选项会在执行命令前，先将完整命令打印到屏幕，方便调试参数是否正确。

# 示例：打印执行的命令
echo "a.txt b.txt" | xargs -t rm -f  
# 先输出：rm -f a.txt b.txt（显示要执行的命令），再实际执行