如何熟悉Linux的管道?

Linux基础

1 基础知识

1.1 管道的介绍

– 管道为Pipeline的翻译
– 管道是类Unix系统使用极其广泛的进程通讯机制
– 管道是将标准输入和标准输出链接起来的进程
– 管道把前一个进程的输出作为下一个进程的输入
– 管道由道格拉斯·麦克罗伊为Unix命令行而发明
– 管道因为与物理管道相似而得名

1.2 管道的分类

1.2.1 匿名管道

– 匿名管道是计算机进程间的一种先进先出通讯机制(不支持异步读写操作)
– 匿名管道两个可以实现全双工通讯
– 匿名管道可由父进程创建,然后由其创建的多个子进程继承
– 匿名管道由于没有名称,所以只能用于本地计算机通讯不能用于网络通讯
– 匿名管道生存期不超过创建管道进程的生存期

1.2.2 命名管道

– 命名管道是计算机进程间的一种先进先出通讯机制(不支持异步读写操作)
– 命名管道是类Unix系统传统管道(匿名管道)的扩展
– 命名管道生存期可以与操作系统运行期一样长

1.2.3 网络管道

– 命令“netcat”和“socat”可以将管道链接到TCP/IP套接字

2 最佳实践

2.1 匿名管道的使用

2.1.1 简单的使用

ls /etc/ | grep init.d

范例解析,
前进程“ls”列出“/etc”目录的内容
后进程“grep”根据关键字“init.d”过滤前进程列表后得到想要的结果

2.1.2 合并错误流

ls cmdschool.org | grep "No such file or directory"

上例,命令“ls”找不存在的文件而报错(错误流),如想用管道传递错误会失败,正确方式是把标准错误流合并到标准输出流中再传递,详细如下,

ls cmdschool.org 2>&1 | grep "No such file or directory"

2.1.3 Pipemill

ls -l /tmp/ | while read var1 var2 var3 var4 var5 var6 var7 var8; do
        echo "$var1 $var2 $var3 $var4 $var5 $var6 $var7 $var8"
done

注:Pipemail中文翻译为“制管机”,用法是管道配合“while”循环以及“read”读取管道传递的多个变量并利用。

2.2 命名管道的使用

2.2.1 从命令管道中压缩数据

mkfifo my_pipe

以上创建命名管道“my_pipe”,然后我们使用gzip压缩传给管道“my_pipe”的数据,范例如下,

gzip -9 -c < my_pipe > out.gz

然后,我们使用另一个shell独立地发送数据到管道“my_pipe”

cat file > my_pipe

使用完成后,我们可以使用如下命令清理命名管道,

rm my_pipe

2.2.2 解压数据到命名管道

mkfifo -m 0666 /tmp/myPipe
gzip -d < file.gz > /tmp/myPipe

然后从命令管道中读取,

LOAD DATA INFILE '/tmp/myPipe' INTO TABLE tableName;

2.2.3 循环获取命名管道

mkfifo -m 0666 /tmp/myPipe

以上创建命令管道,然后使用如下循环监视命令管道,

#!/bin/bash

myFifo="/tmp/myPipe"
while true; do
        if read line; then
                echo $line
        fi
        sleep 0.001s
done < "$myFifo"

然后,我们用另外一个shell往命名管道中写入数据可以观察到效果,

ls /tmp/* >> /tmp/myPipe

注:使用“sleep”语句防止CPU过高,请根据实际情况调整暂停时间。

2.2.4 命名管道控制线程高并发执行

#!/bin/bash

thread=3

fifoFile="/tmp/$$.fifo"
mkfifo $fifoFile
exec 9<>$fifoFile
rm -f $fifoFile

for ((i=0;i<$thread;i++)); do
    echo >&9
done

for ((;;)); do
    read -u 9
    {
        echo "$$ infinite loops [ hit CTRL+C to stop]"
        sleep 1s
        echo >&9
    } &
done
wait
exec 9>&-

脚本解析如下,
– 变量“thread”,定义每次并发的线程数
– 命令“mkfifo”,创建命名管道文件(命名管道具有先进先出的特性,且每一行读取后就自动删除)
– 命令“exec”,即第一个执行使用文件描述符(FD)“9”关联创建的管道问题,后面可以使用文件描述符直接访问
– 命令“rm”,删除创建的命名管道文件(不删除也可以,非必须操作)
– 命令“for”,即第一个循环根据变量“thread”的定义通过文件描述符往管道中写入相应的空行,范例为3个空行
– 命令“for”,即第二个循环无限地执行循环内的代码
– 命令“read”,配合“{}&”并发地读取命名管道中每行,由于范例管道只有3行,所以3行同时读取后只能等待新的写入
– 命令“echo”,即第一个打印代表执行代码,范例只输出“脚本名称”加“infinite loops [ hit CTRL+C to stop]”提示
– 命令“sleep”,暂停1秒(可以不暂停),范例暂停的目的只为脚本演示效果明显且易于理解
– 命令“echo”,即第二个打印空行到命名管道(透过关联的文件描述符),否则管道中没有新行则命令“read”只能等待
– 命令“wait”,等待前面的命令“for”完全结束
– 命令“exec”,即第二个执行解除文件描述符“9”和变量“fifoFile”定义的管道文件的关联
注:
– 文件描述符可以使用的数量取决于Linux系统“ulimit”的定义设置(可以修改,理论上可以定义无限)
– 命令“exec”原则上支持关联“0~9”的文件描述符,但由于“0~2”被标准输入、标准输出和标准错误流占用因此无法使用。

参阅文档
==================

管道
———-
https://zh.wikipedia.org/wiki/%E7%AE%A1%E9%81%93_(Unix)

匿名管道
————
https://zh.wikipedia.org/wiki/%E5%8C%BF%E5%90%8D%E7%AE%A1%E9%81%93

命令管道
—————
https://zh.wikipedia.org/wiki/%E5%91%BD%E5%90%8D%E7%AE%A1%E9%81%93

没有评论

发表评论

Linux基础
如何修改应用打开的文件数?

1 前言 一个问题,一篇文章,一出故事。 生产环境中很多程序都需要设置打开的文件数两,于是整理此文。 …

Linux基础
如何排查Windows客户端网络故障?

1 前言 一个问题,一篇文章,一出故事。 笔者有个朋友需要排查网络故障,由于无法远程协助,故整理此文 …

Linux基础
如何修改onlyoffice缓存配置?

1 前言 一个问题,一篇文章,一出故事。 笔记的生产环境的onlyoffice需要修改onlyoff …