Linux命令行通过组合grep、sed、awk等工具实现高效文本处理。首先用cat或grep查找匹配内容，如grep -oE提取IP地址；接着用sed进行替换、删除等编辑操作，支持原地修改；对于结构化数据，cut按分隔符提取列，awk则可执行复杂逻辑，如条件筛选和字段处理；最后通过sort排序、uniq去重并统计频率，wc统计行数与字数，形成完整处理链。管道连接各命令，实现从筛选到分析的自动化流程。
Linux命令行在文本处理方面，简直是效率的代名词。它提供了一系列强大而灵活的工具，让你能够以非凡的速度和精准度，对文件内容进行查找、筛选、替换、提取乃至更复杂的转换操作。核心思想在于将这些小而精的工具通过管道（
|
）连接起来，形成一个处理流水线，解决从简单到复杂的各种文本挑战。
解决方案
要驾驭Linux命令行进行文本处理，你需要理解其“小工具，大用处”的哲学。这意味着每个命令通常只做一件事，但做得非常出色。当你需要完成一项复杂的任务时，不是寻找一个全能的超级工具，而是将多个简单工具串联起来。
例如，一个典型的文本处理流程可能包括：
- 读取文件内容： 使用
cat
或
less
将文件内容输出到标准输出。
- 过滤或查找： 使用
grep
根据特定模式筛选出感兴趣的行。
- 编辑或转换： 使用
sed
对筛选出的文本进行替换、删除或插入操作。
- 提取数据： 使用
awk
或
cut
提取行中的特定字段或列。
- 排序和去重： 使用
sort
对数据进行排序，再用
uniq
去除重复项。
- 统计： 使用
wc
统计行数、字数或字符数。
这些命令通过管道符
|
连接，将前一个命令的输出作为后一个命令的输入，构建出强大的文本处理链。这种组合的灵活性和效率，在我日常处理日志文件、配置文件或数据报告时，简直是不可或缺的。
如何快速筛选和查找特定文本模式？
当我需要从大量文本中快速定位某个关键词或符合特定格式的数据时，
grep
是我第一个想到的工具。它简直就是命令行里的“文本侦探”。
最基础的用法是
grep "模式" 文件名
，它会找出文件中所有包含该模式的行。但
grep
的真正威力在于它对正则表达式的支持。比如，如果你想找文件中所有以数字开头的行，可以使用
grep "^[0-9]" 文件名
。如果想找包含“error”或“warning”的行，
grep -E "error|warning" 文件名
就能搞定。我个人觉得，一旦你掌握了正则表达式，几乎没有什么是
grep
找不到的。
除了基本的模式匹配，
grep
还提供了很多实用的选项：
-
-i
：忽略大小写进行匹配。
-
-v
：反转匹配，显示不包含模式的行。
-
-n
：显示匹配行的行号。
-
-A N
,
-B N
,
-C N
：显示匹配行之后（After）、之前（Before）或周围（Context）的N行，这在调试日志时特别有用，能让你快速了解上下文。
-
-r
：递归地在目录及其子目录中搜索文件。
-
-o
：只显示匹配的文本本身，而不是整行，这在提取特定数据时非常方便。
举个例子，假设你想从一个日志文件中找出所有IP地址，并只显示IP地址本身，你可以这样写：
grep -oE 'b([0-9]{1,3}.){3}[0-9]{1,3}b' access.log
这里
-o
确保只输出匹配到的IP地址，而
-E
允许使用扩展正则表达式来匹配IP地址的模式。
怎样对文本内容进行修改和转换？
如果说
grep
是查找，那
sed
就是修改。
sed
是一个流编辑器，它逐行读取输入，根据你提供的规则对每一行进行操作，然后将结果输出。对我来说，
sed
在批量替换、删除或插入文本时，是效率的保证。
最常见的
sed
用法是替换文本。比如，将文件中所有的“旧字符串”替换成“新字符串”：
sed 's/旧字符串/新字符串/g' 文件名
这里的
s
表示替换（substitute），
g
表示全局替换（global），即一行中所有匹配项都替换。如果没有
g
，它只会替换每行的第一个匹配项。
如果你想直接修改文件内容而不是输出到标准输出，可以使用
-i
选项进行“原地编辑”：
sed -i 's/旧字符串/新字符串/g' 文件名
需要注意的是，
-i
在不同系统上的行为可能略有差异，有时为了安全，我会先备份文件
cp 文件名 文件名.bak
再进行操作。
sed
还可以用来删除行。例如，删除所有包含“error”的行：
sed '/error/d' 文件名
这里的
d
表示删除（delete）。
插入或追加内容也很有用。比如，在文件的第一行插入一个标题：
sed '1i这是一个新的标题' 文件名
或者在文件末尾追加一行内容：
sed '$a这是文件末尾的追加内容' 文件名
sed
刚上手时可能会觉得有点晦涩，特别是它的地址选择和命令语法，但一旦你理解了流编辑器的概念，会发现它在批量处理文件时简直是神来之笔。
如何高效地处理结构化数据或列式文件？
在处理CSV、TSV或任何以特定分隔符组织的结构化文本数据时，
cut
和
awk
是我的首选工具。它们能让你轻松地提取、重排或基于特定列进行复杂的数据操作。
cut
命令 适用于简单的列提取。如果你只是想从一个文件中取出第几列或某几列，
cut
是最快的选择。
-
-d
：指定字段分隔符（delimiter）。
-
-f
：指定要提取的字段（field）。
例如，一个CSV文件
data.csv
包含“姓名,年龄,城市”，你想提取姓名和城市：
cut -d',' -f1,3 data.csv
这会以逗号为分隔符，提取第一列和第三列。
awk
命令 则更强大，它不仅仅是提取列，更像是一个迷你编程语言。它能让你在命令行里完成一些非常复杂的逻辑判断和数据汇总。
awk
默认以空格或制表符作为字段分隔符，并将每个字段存储在
$1
,
$2
,
$3
等变量中，
$0
代表整行。
假设
data.txt
文件内容是：
John 30 NewYork Alice 25 London Bob 35 Paris
你想打印出所有年龄大于30的人的姓名和城市：
awk '{if ($2 > 30) print $1, $3}' data.txt
这里
$2
代表第二列（年龄），
$1
代表第一列（姓名），
$3
代表第三列（城市）。
如果你的文件是逗号分隔的，你需要用
-f
选项指定分隔符：
awk -F',' '{print $1, $3}' data.csv
awk
还能在处理文件之前和之后执行代码块，这通过
BEGIN
和
END
关键字实现。例如，在输出数据前打印一个标题，并在结束后打印总计：
awk 'BEGIN {print "姓名 城市"} {print $1, $3} END {print "处理完成"}' data.txt
awk
是我个人最喜欢也最常用到的工具之一，它的效率和灵活性是其他工具难以比拟的。刚开始用它，可能会觉得有点像在写脚本，但它的强大功能绝对值得投入时间去学习。
如何对文本进行排序、去重和统计？
在文本处理的后期，我们常常需要对数据进行整理，比如排序、去除重复项，或者做一些基本的统计。
sort
,
uniq
, 和
wc
是完成这些任务的黄金搭档。
sort
命令 顾名思义就是用来排序的。它默认按字母顺序升序排列行。
-
sort 文件名
：按默认方式排序。
-
sort -r 文件名
：反向排序（降序）。
-
sort -n 文件名
：按数值大小排序，而不是按字符串排序。
-
sort -k N 文件名
：按第N个字段进行排序。这在处理多列数据时非常关键。
例如，如果你想根据
data.txt
中的年龄（第二列）进行排序：
sort -k2n data.txt
这里的
-k2
表示按第二个字段排序，
n
表示数值排序。
uniq
命令 用于报告或过滤掉文件中重复的行。但要注意，
uniq
只会检测相邻的重复行，所以在使用
uniq
之前，通常需要先用
sort
对文件进行排序。
-
sort 文件名 | uniq
：去除重复行。
-
sort 文件名 | uniq -c
：统计每行出现的次数，并在行首显示计数。
比如，你想知道一个日志文件中哪些IP地址访问次数最多：
grep -oE 'b([0-9]{1,3}.){3}[0-9]{1,3}b' access.log | sort | uniq -c | sort -nr | head -n 10
这个命令链首先提取所有IP地址，然后排序，接着统计每个IP出现的次数，再按次数降序排序，最后显示出现次数最多的前10个IP。
wc
命令 则是用来统计文件中的行数、字数和字符数。
-
wc -l 文件名
：统计行数。
-
wc -w 文件名
：统计字数。
-
wc -c 文件名
：统计字符数。
这些工具看似简单，但它们组合起来的力量不容小觑。在日常工作中，我发现这些基础命令的灵活运用，往往能比编写复杂的脚本更快、更有效地解决文本处理问题。它们是真正提升命令行效率的基石。
linux 正则表达式 access 编程语言 工具 csv 配置文件 linux命令 正则表达式 less print if sort Error 字符串 递归 delete linux 自动化 Access