shell编程技巧

一、声明

原文地址: 《运维必备:编写 Bash Shell 运维必备:编写 Bash Shell 脚本的最佳实践脚本的最佳实践》

文章内容主要来自对微信公众号高效运维《运维必备:编写 Bash Shell 脚本的最佳实践》。基于我的理解重新撰写一部分、引用了一部分、然后重新排版后有了这篇学习笔记。

转载请注明原文链接、本文链接与作者。

二、开头使用main函数

用C语言写的程序,会有一个函数入口,即main函数。shell中可以通过一些技巧来实现此功能,已达到脚本程序更强的可读性。

#!/usr/bin/env bash

func1(){
    #do sth
}

func2(){
    #do sth
}

main(){
    func1
    func2
}

main "$@"

三、开头写明解释器

脚本语言在执行的时候需要有解释器,在程序的第一行加上以下的内容。作用是指定默认解释器。运行脚本时未指定解释器,则使用此解释器。
下面是常用的一个解释器/bin/bash。
#! 是shebang,有关shebang可以看这篇文章. shebang

#!/bin/bash

除了/bin/bash外,还有其它的一些解释器,下面的命令可以查看本机支持的解释器。

[root@vm172-31-0-6 ~]# cat /etc/shells
/bin/sh
/bin/bash
/usr/bin/sh
/usr/bin/bash

当直接使用./a.sh来执行这个脚本的时候,如果没有shebang,那么它就会默认用$SHELL指定的解释器,否则就会用shebang指定的解释器。

四、代码有注释

注释是写程序必须多常识了,这里摘取了原文的几个shell注释的内容。
shebang
脚本的参数
脚本的用途
脚本的注意事项
脚本的写作时间,作者,版权等
各个函数前的说明注释
一些较复杂的单行命令注释

五、参数要规范

当脚本需要参数的时候:
1. 要判断参数是否规范。
2. 要由合适的回显内容,方便脚本使用者了解参数的功能。

这里引用原文的一个示例,下面的程序是判断脚本是否传递了需要的参数。

if [[ $# != 2 ]];then
    echo "Parameter incorrect."
    exit 1
fi

六、变量和魔数

source /etc/profile
export PATH=”/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:/apps/bin/”

这种定义方式有一个很常见的用途,最典型的应用就是,当我们本地安装了很多java版本时,我们可能需要指定一个java来用。那么这时我们就会在脚本开头重新定义JAVA_HOME以及PATH变量来进行控制。
同时,一段好的代码通常是不会有很多硬编码在代码里的“魔数”的。如果一定要有,通常是用一个变量的形式定义在开头,然后调用的时候直接调用这个变量,这样方便日后的修改。

七、缩进有规矩

缩进主要有两种,”soft tab”和”hard tab”. 这里建议使用”soft tab” 空格进行缩进,因为不同的文本编辑器对\t的占用格式不同。
soft tab缩进:使用n个空格进行缩进(n通常是2或4)。
hard tab缩进:真实的\t字符

八、命名有标准

文件名规范,以.sh结尾,方便识别
变量名字要有含义,不要拼错
统一命名风格,写shell一般用小写字母加下划线

九、太长要分行

代码太长的时候,可以使用反斜杠来分行,注意在反斜杠前有个空格。

./configure \
prefix=/usr \
sbin-path=/usr/sbin/nginx \
conf-path=/etc/nginx/nginx.conf \

十、分行方式二:heredocs

所谓heredocs,也可以算是一种多行输入的方法,即在”<<”后定一个标识符,接着我们可以输入多行内容,直到再次遇到标识符为止。
使用heredocs,我们可以非常方便的生成一些模板文件:

cat>>/etc/rsyncd.conf << EOF
log file = /usr/local/logs/rsyncd.log
transfer logging = yes
log format = %t %a %m %f %b
syslog facility = local3
EOF

十一、编码要统一

写脚本尽量使用UTF-8编码。对中午有更好的支持。
这里还尤其需要注意一点,就是当我们是在windows下用utf-8编码来写shell脚本的时候,一定要注意这个utf-8是否是有BOM的。
默认情况下windows判断utf-8格式是通过在文件开头加上三个EF BB BF字节来判断的,但是在Linux中默认是无BOM的。
因此如果我们是在windows下写脚本的时候,一定要注意将编码改成Utf-8无BOM,一般用notepad++之类的编辑器都能改。
否则,在Linux下运行的时候就会识别到开头的三个字符,从而报一些无法识别命令的错。

windows系统换行符默认是\r\n而unix下是\n,对于这个问题可以使用dos2unix,unix2dos解决。

十二、日志和回显

记录日志,方便出问题排查,以及记录一些信息。
回显,合适的回显,可以让程序用起来更方便。

十三、密码要移除

不要再脚本中写密码

十四、代码有效率

在使用命令的时候要了解命令的具体做法,尤其当数据处理量大的时候,要时刻考虑该命令是否会影响效率。
比如下面的两个sed命令:

sed -n '1p' file
sed -n '1p;1q' file

他们的作用一样,都是获取文件的第一行。但是第一条命令会读取整个文件,而第二条命令只读取第一行。当文件很大的时候,仅仅是这样一条命令不一样就会造成巨大的效率差异。
当然,这里只是为了举一个例子,这个例子真正正确的用法应该是使用head -n1 file命令。

十五、注意作用域

shell中默认的变量作用域都是全局的,比如下面的脚本:

#!/usr/bin/env bash

var=1
func(){
    var=2
}
func
echo $var

他的输出结果就是2而不是1,这样显然不符合我们的编码习惯,很容易造成一些问题。
因此,相比直接使用全局变量,我们最好使用local readonly这类的命令,其次我们可以使用declare来声明变量。这些方式都比使用全局方式定义要好。

十六、查询脚本路径

正确查询脚本路径的两种方法:

script_dir=$(cd $(dirname $0) && pwd)
script_dir=$(dirname $(readlink -f $0 ))

十七、使用新写法

这里的新写法不是指有多厉害,而是指我们可能更希望使用较新引入的一些语法,更多是偏向代码风格的,比如
尽量使用func(){}来定义函数,而不是func{}
尽量使用[[]]来代替[]
尽量使用$()将命令的结果赋给变量,而不是反引号
在复杂的场景下尽量使用printf代替echo进行回显
事实上,这些新写法很多功能都比旧的写法要强大,用的时候就知道了。

十八、输出处理

将无用的内容输出到/dev/null
/dev/null和/dev/zero

echo "123123123123" >> /dev/null 2>&1

十九、其它技巧

路径尽量保持绝对路径,绝多路径不容易出错,如果非要用相对路径,最好用./修饰

优先使用bash的变量替换代替awk sed,这样更加简短

简单的if尽量使用&& ||,写成单行。 比如[[ x > 2]] && echo x

当export变量时,尽量加上子脚本的namespace,保证变量不冲突

会使用trap捕获信号,并在接受到终止信号时执行一些收尾工作

使用mktemp生成临时文件或文件夹

会利用命令的返回值判断命令的执行情况

使用文件前要判断文件是否存在,否则做好异常处理

不要处理ls后的数据(比如ls -l | awk ‘{ print $8 }’),ls的结果非常不确定,并且平台有关

读取文件时不要使用for loop而要使用while read

使用cp -r命令复制文件夹的时候要注意如果目的文件夹不存在则会创建,如果存在则会复制到该文件的子文件夹下

二十、参考资料

运维必备:编写 Bash Shell 脚本的最佳实践

/dev/null 和 /dev/zero的区别

释伴:Linux 上的 Shebang 符号(#!)

Previous Post

linux获取程序运行绝对路径

Next Post

linux环境变量

Related Posts