1.1 三大输出流#

Linux 每个命令运行时，都有 3 个数据流：

1. 标准输入 stdin：命令读取的内容（好比人的耳朵，接收数据）

2. 标准输出 stdout：命令正常打印的内容（好比嘴巴，输出内容）

3. 标准错误 stderr：命令报错的红色错误信息

1.2 管道规则#

1. 只转发 标准输出 (stdout)
2. 默认不转发 错误信息 (stderr)
3. 格式固定：

1
命令1 | 命令2 | 命令3

数据流向： 命令 1 打印的内容 → 自动变成 命令 2 的输入 → 命令 2 处理完 → 传给命令 3

2.1 示例一#

1
ls -la | grep "txt"

1. ls -la：列出当前文件夹所有文件 + 详细信息（这是左边输出）

2. |：把上面列出的所有内容，传给右边

3. grep "txt"：筛选出包含 txt 字符串的行

2.2 示例二#

1
ps aux | grep python | wc -l

1. ps aux：列出系统所有正在运行的进程

2. 第一层|：全部进程信息传给 grep

3. grep python：只筛选出和 python 相关的进程

4. 第二层|：筛选后的内容传给 wc

5. wc -l：统计行数（也就是统计 python 进程数量）

3.1 错误日志筛选 + 去重#

1
cat /var/log/syslog | grep "ERROR" | sort | uniq

分步拆解：

1. cat /var/log/syslog：读取系统日志文件全部内容

2. grep "ERROR"：只保留包含 ERROR 的错误日志

3. sort：把日志内容按字母 / 时间排序

4. uniq：去掉完全重复的日志行

3.2 统计每种错误出现次数#

1
cat /var/log/syslog | grep "ERROR" | sort | uniq -c | sort -nr

新增参数解释：

• uniq -c：去重 + 在每行前面加上出现次数

• sort -nr：

  • -n：按数字排序

  • -r：倒序（错误最多的排最上面）

4.1 为什么需要 xargs？#

• 管道 | 传递的是内容（文本），当做「输入」

• 很多命令（rm、mkdir、curl）不接收文本输入，只接收「参数」

• xargs 作用：把管道传过来的文本，转换成 命令的参数

4.2 示例#

1
find . -name "*.log" | xargs rm

1
cat urls.txt | xargs -P 4 -I {} curl -s {}

5.1 核心作用#

有些命令不支持管道，就用 < 把命令输出伪装成临时文件

1
diff <(cat file1.txt) <(cat file2.txt)

• diff：对比两个文件差异
• <(cat file1.txt)：把 file1 内容，假装成一个文件

*等价写法（管道版）：

1
cat file1.txt | diff - <(cat file2.txt)

这里的 - 代表：读取管道传来的stdout的内容

5.2 进程替换与文件重定向#

• 进程替换 <(...)

1
# 将命令输出伪装成文件，传给需要文件参数的命令
2
cat <(echo "hello world")
3
# 等价于: cat /dev/fd/63 （bash创建的临时管道文件描述符）
4

5
# 实际应用：对比两个命令输出
6
diff <(ls dir1) <(ls dir2)
7

8
# 写入文件（通过 cat 中转）
9
cat <(echo "content") > output.txt

原理：Bash 创建命名管道（FIFO）或 /dev/fd 文件，让 cat 以为是普通文件。

• 输入重定向 <

1
# 从文件读取，写入另一个文件（相当于复制）
2
cat < input.txt > output.txt
3

4
# 等价于
5
cat input.txt > output.txt
6

7
# 结合 Here Document
8
cat << 'EOF' > output.txt
9
line 1
10
line 2
11
EOF

6.1 默认问题#

管道只传正常输出，报错信息会直接打印屏幕，不走管道。

6.2 两个核心数字#

• 1 = 标准输出（正常内容）

• 2 = 标准错误（报错内容）

6.3 示例#

1
find /root 2>/dev/null | grep "file"

1
find /root 2>&1 | grep "Permission"

7.1 作用#

一份数据两用：

1. 屏幕上正常显示

2. 同时保存到文件

7.2 基础用法#

1
cat file.txt | tee backup.txt | grep "keyword"

流程：

1. 读取 file.txt

2. tee backup.txt：

   • 复制一份内容存入 backup.txt

   • 同时把内容继续往后传给管道

3. 最后 grep 筛选关键词

7.3 追加写入#

1
echo "新内容" | tee -a log.txt

• -a：append 追加，不会删掉文件原有内容

8.1 基础用法#

1
sed [opts] 'cmd' 文件
2
sed [opts] -e 'cmd_1' -e 'cmd_2' 文件

• 基础示例 (将每行第一个匹配的foo替换为bar)

1
sed 's/foo/bar/' file

• ori

1
foo is great
2
another foo here foo
3
no match here
4
foofoo test

• dest

1
bar is great
2
another bar here foo
3
no match here
4
barfoo test

8.2 核心命令#

1
# 基本替换：每行第一个匹配
2
sed 's/foo/bar/' file
3

4
# 全局替换（g）：每行所有匹配
5
sed 's/foo/bar/g' file
6

7
# 替换第 N 个匹配
8
sed 's/foo/bar/2' file      # 替换每行第 2 个
9
sed 's/foo/bar/2g' file   # 从第 2 个开始，替换后面所有
10

11
# 使用分隔符（当替换路径等含/的内容时）
12
sed 's#/usr/local#/opt#g' file    # 用 # 代替 /
13
sed 's|/home/user|/data|g' file    # 用 | 代替 /

1
# 删除指定行
2
sed '3d' file          # 删除第 3 行
3
sed '1,5d' file        # 删除 1-5 行
4
sed '$d' file          # 删除最后一行
5

6
# 删除匹配行
7
sed '/pattern/d' file              # 删除含 pattern 的行
8
sed '/^#/d' file                   # 删除注释行（以#开头）
9
sed '/^$/d' file                   # 删除空行

1
# 默认 sed 会打印所有行，p 会额外打印匹配行（导致重复）
2
sed '/pattern/p' file    # 匹配行出现两次
3

4
# -n 静默模式，只打印指定内容
5
sed -n '/pattern/p' file         # 只打印匹配行
6
sed -n '5,10p' file              # 打印 5-10 行（类似 head/tail）
7
sed -n '1~2p' file               # 打印奇数行（从1开始，步长2）

1
# i：行前插入
2
sed '3i\This is new line' file
3

4
# a：行后追加
5
sed '3a\This is new line' file
6

7
# c：替换整行
8
sed '3c\Replace line 3' file
9

10
# 匹配后操作
11
sed '/pattern/a\New line after match' file

8.3 常用选项#

8.4 实用组合示例#

1
# 1. 原地修改文件（危险操作，建议先备份）
2
sed -i 's/localhost/127.0.0.1/g' config.conf
3

4
# 2. 删除文件中的 Windows 换行符 (^M)
5
sed -i 's/\r$//' file.txt
6

7
# 3. 提取特定行范围到另一个文件
8
sed -n '100,200p' log.txt > extracted.txt
9

10
# 4. 多命令组合
11
sed -e 's/foo/bar/g' -e 's/hello/hi/g' file
12

13
# 5. 从管道读取（无输入文件）
14
cat file | sed 's/foo/bar/g'
15
# 更优写法（避免无用猫）
16
sed 's/foo/bar/g' < file
17

18
# 6. 复杂：删除空行和注释，提取有效配置
19
sed '/^#/d; /^$/d' config.ini
20

21
# 7. 使用扩展正则（更简洁）
22
sed -r 's/(foo|bar)/baz/g' file    # 无需转义 ()

8.5 注意事项#

9.1 匿名管道 |#

• 临时生效，命令结束就消失

• 只能一条命令行里多个命令连用

9.2 命名管道 FIFO (好玩)#

可以跨两个终端、跨进程传数据

1
# 1. 创建一个管道文件
2
mkfifo mypipe
3

4
# 2. 第一个终端：往管道写数据（后台运行 &）
5
echo "测试数据" > mypipe &
6

7
# 3. 第二个终端：读取管道数据
8
cat < mypipe