關於 Linux 下的 crontab,你不知道的那些知識點

實際工作中,crontab 出現的問題是多種多樣的,下面就深入介紹下 crontab 在具體工作中容易出現的問題和解決問題的辦法。

一、crontab 能幹啥

crond 是 linux 下用來週期性的執行某種任務或等待處理某些事件的一個守護進程,與 windows 下的計劃任務類似,當安裝完成操作系統後,默認會安裝此服務工具,並且會自動啓動 crond 進程,crond 進程每分鐘會定期檢查是否有要執行的任務,如果有要執行的任務,則自動執行該任務。

Linux 下的任務調度分爲兩類,系統任務調度和用戶任務調度。

系統任務調度:系統週期性所要執行的工作,比如寫緩存數據到硬盤、日誌清理等。

用戶任務調度:用戶定期要執行的工作,比如用戶數據備份、定時郵件提醒等。用戶可以使用 crontab 工具來定製自己的計劃任務。所有用戶定義的 crontab 文件都被保存在 /var/spool/cron 目錄中。其文件名與用戶名一致。

關於 crontab 的用途,在企業實際應用中非常廣泛,常見的有定時數據備份、定時系統檢測、定時數據收集、定時更新配置、定時生成報表等等。

二、crontab 應用實例

1、crontab 使用格式

crontab 常用的使用格式有如下兩種:

crontab [-u user] [file]
crontab [-u user] [-e|-l|-r |-i]

選項含義如下:

2、crontab 文件語法

用戶所建立的 crontab 文件中,每一行都代表一項任務,每行的每個字段代表一項設置,它的格式共分爲六個字段,前五段是時間設定段,第六段是要執行的命令段,格式如下:

minute hour day month week command

其中:

在以上各個字段中,還可以使用以下特殊字符:

3、幾個 crontab 例子
0 /3 /usr/local/apache2/apachectl restart

表示每隔 3 個小時重啓 apache 服務一次。

30 3 6 /webdata/bin/backup.sh

表示每週六的 3 點 30 分執行 / webdata/bin/backup.sh 腳本的操作。

0 0 1,20 fsck /dev/sdb8

表示每個月的 1 號和 20 號檢查 / dev/sdb8 磁盤設備。

10 5 /5 * echo "">/usr/local/apache2/log/access_log

表示每個月的 5 號、10 號、15 號、20 號、25 號、30 號的 5 點 10 分執行清理 apache 日誌操作。

三、系統級任務調度 / etc/crontab

在 / etc 目錄下有一個 crontab 文件,這個就是系統任務調度的配置文件。

/etc/crontab 文件包括下面幾行:

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/
# run-parts
01 * * * * root run-parts /etc/cron.hourly
02 4 * * * root run-parts /etc/cron.daily
22 4 * * 0 root run-parts /etc/cron.weekly
42 4 1 * * root run-parts /etc/cron.monthly

從上面的示例文件可看出,crontab 的任務列表主要由兩部分組成:環境變量配置與定時任務配置。可能大家在工作中更多是隻用到了任務配置部分。

前四行是用來配置 crond 任務運行的環境變量,第一行 SHELL 變量指定了系統要使用哪個 shell,這裏是 bash,第二行 PATH 變量指定了系統執行命令的路徑,第三行 MAILTO 變量指定了 crond 的任務執行信息將通過電子郵件發送給 root 用戶,如果 MAILTO 變量的值爲空,則表示不發送任務執行信息給用戶,第四行的 HOME 變量指定了在執行命令或者腳本時使用的主目錄。第六至九行就是 crontab 執行格式的具體寫法。

四、crontab 調試解析神器

通常在使用 crontab 添加任務時,我們會依靠自己已有知識編寫定時語句。當需要測試語句是否正確時,還需要在服務器上不斷調試,,這種方式太不高效了。有沒有一款工具,只要我們給出語句,就能告訴具體執行時間以及對錯呢?還真有,下面介紹一款老外開發的 crontab 在線解析工具。

工具地址:https://crontab.guru

給出這個工具的截圖如下:

五、crontab 使用的各種坑

1、環境變量問題

當我們剛使用 crontab 時,運維老鳥們一般會告知所有命令儘量都使用絕對路徑,以防錯誤。這是爲什麼?這就和我們下面要談的環境變量有關了。

首先,獲取 shell 終端環境變量,內容如下:

[root@SparkWorker1 dylogs]# env
XDG_SESSION_ID=1629
HOSTNAME=SparkWorker1
TERM=linux
SHELL=/bin/bash
HISTSIZE=1000
SSH_CLIENT=172.16.213.132 50080 22
HADOOP_PREFIX=/opt/hadoop/current
CATALINA_BASE=/opt/hadoop/current/share/hadoop/httpfs/tomcat
SSH_TTY=/dev/pts/1
QT_GRAPHICSSYSTEM_CHECKED=1
USER=root
MAIL=/var/spool/mail/root
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/default/bin:/opt/hadoop/current/bin:/opt/hadoop/current/sbin:/root/bin
PWD=/data/dylogs
LANG=zh_CN.UTF-8
HOME=/root

要獲取 crontab 環境變量信息,可以設置如下計劃任務:

* * * * * /usr/bin/env > /tmp/env.txt

等待片刻,env.txt 輸出內容如下:

[root@SparkWorker1 dylogs]# cat /tmp/env.txt
XDG_SESSION_ID=1729
SHELL=/bin/sh
USER=root
PATH=/usr/bin:/bin
PWD=/root
LANG=zh_CN.UTF-8
SHLVL=1
HOME=/root
LOGNAME=root
XDG_RUNTIME_DIR=/run/user/0
_=/usr/bin/env

從上面輸出結果可知,shell 命令行的 PATH 值爲

PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/default/bin:/opt/hadoop/current/bin:/opt/hadoop/current/sbin:/root/bin

而 crontab 中的 PATH 值爲:

PATH=/usr/bin:/bin

對比 crontab 環境變量與 shell 終端環境變量的輸出,可以發現兩者的差異很大。大家可能遇到過,在 shell 命令行執行腳本都沒有問題,而放到 crontab 後卻執行異常,或者執行失敗,此時,我們就需要考慮是否命令涉及的環境變量在 crontab 和 shell 命令行間存在差異。

例如,我們在 crontab 中執行了如下定時任務:

20 16 * * * php autosave.php

而如果我們的 php 是安裝在 / usr/local/bin / 目錄下的話,那麼上面這個定時任務由於無法找到 php 命令,會運行失敗。

那麼,知道了環境變量問題,可能導致計劃任務無法正常執行,怎麼才能避免這個問題呢,這個交給大家一個終極大招,可以在 crontab 中加入如下配置,保證你的計劃任務執行不會出現環境變量問題:

* * * * * source /$HOME/.bash_profile && command

這個其實是在執行計劃任務命令之前,先加載了用戶環境變量信息,由此可保證所有環境變量都可正常加載。

2、定時時間配置誤區

時間是 crontab 的核心,稍微配置不當,就會出現問題,先看在整點時間設置時可能出現的錯誤,例如,設定每天 2 點執行一次任務,很多朋友可能這麼寫過:

* 2 * * * command

很明顯,這個時間寫法是錯誤的,當我們聽到每天 2 點執行一次某任務時,很多人會把重點放在 2 點,而忽略了執行一次的需求。上面這個定時任務他會在 2 點開始執行,每分鐘執行一次,總共執行 60 次。

正確的寫法應該是這樣的:

0 2 * * * command

這個才表示每天 2 點 0 分執行 command 對應的任務。

3、特殊符號 % 問題

% 在 crontab 中是特殊符號,具體含義如下:

第一個 % 表示標準輸入的開始,其餘 % 表示換行符,看下面兩個例子:

* * * * * cat >> /tmp/cat.txt 2>&1 % stdin out

查看 / tmp/cat.txt 的內容爲:

stdin out

再看下面這個例子:

* * * * * cat >> /tmp/cat1.txt 2>&1 % stdin out 1 % stdin out 2 % stdin out 3

查看 /tmp/cat1.txt 的內容如下:

stdin out 1
stdin out 2
stdin out 3

有輸出內容可知,第一個 % 表示標準輸入的開始,其餘 % 表示換行符。

既然 "%" 是特殊字符, 那麼在 crontab 中使用時,就要特別注意,怎麼使用這些特殊字符呢,很明顯,使用轉移字符即可,例如:

* * * * * cat >> /tmp/cat2.txt 2>&1 % Special character escape \%.

查看輸出 / tmp/cat2.txt 輸出內容如下:

Special character escape %.

可以看到,執行成功了,併成功避開這個坑了。

4、關於 crontab 的輸出重定向

在 crontab 執行的計劃任務中,有些任務如果不做輸出重定向,那麼原本會輸出到屏幕的信息,會以郵件的形式輸出到某個文件中,例如,執行下面這個計劃任務:

* * * * * /bin/date

這個計劃任務是沒有做輸出重定向的,他的主要用途是輸出時間,由於沒有配置輸出重定向,那麼這個時間信息默認將以郵件的形式輸出到/var/spool/mail/$USER(這個$USER對應的是系統用戶,這裏是 root 用戶)文件中,大致內容如下:

From root@SparkWorker1.localdomain Fri Sep 21 12:58:02 2022
Return-Path: <root@SparkWorker1.localdomain>
X-Original-To: root
Delivered-To: root@SparkWorker1.localdomain
Received: by SparkWorker1.localdomain (Postfix, from userid 0)
id F2745192AE; Fri, 21 Sep 2022 12:58:01 +0800 (CST)
From: "(Cron Daemon)" <root@SparkWorker1.localdomain>
To: root@SparkWorker1.localdomain
Subject: Cron <root@SparkWorker1> /bin/date
Content-Type: text/plain; charset=UTF-8
Auto-Submitted: auto-generated
Precedence: bulk
X-Cron-Env: <XDG_SESSION_ID=1820>
X-Cron-Env: <XDG_RUNTIME_DIR=/run/user/0>
X-Cron-Env: <LANG=zh_CN.UTF-8>
X-Cron-Env: <SHELL=/bin/sh>
X-Cron-Env: <HOME=/root>
X-Cron-Env: <PATH=/usr/bin:/bin>
X-Cron-Env: <LOGNAME=root>
X-Cron-Env: <USER=root>
Message-Id: <20220921045801.F2745192AE@SparkWorker1.localdomain>
Date: Fri, 21 Sep 2022 12:58:01 +0800 (CST)
2022年 09月 21日 星期五 12:58:01 CST

由此可見,輸出內容還是很多的,如遇到任務有大量輸出的話,會佔用大量磁盤空間,顯然,這個郵件輸出最好關閉,怎麼關閉呢,只需設置 MAILTO 環境變量爲空即可,上面的計劃任務,可做如下修改:

MAILTO=""
* * * * * /bin/date

這樣,就不會發郵件信息到 / var/spool/mail/$USER 下了,但是問題並沒有徹底解決,關閉 mail 功能後,輸出內容將繼續寫入到 / var/spool/clientmqueue 中,長期下去,可能佔滿分區的 inode 資源,導致任務無法執行。

爲了避免此類問題發生,建議任務都加上輸出重定向,例如,可以在 crontab 文件中設置如下形式,忽略日誌輸出:

0 */3 * * * /usr/local/apache2/apachectl restart >/dev/null 2>&1

其中,“/dev/null 2>&1” 表示先將標準輸出重定向到 / dev/null,然後將標準錯誤重定向到標準輸出,由於標準輸出已經重定向到了 / dev/null,因此標準錯誤也會重定向到 / dev/null,這樣日誌輸出問題就解決了。

5、調試 crontab 問題的一般思路

要解決 crontab 相關異常問題,可按照如下思路進行調試:

(1)通過 / var/log/cron 日誌確認任務是否執行

(2)如未執行則分析定時語句,是否是環境變量問題、特殊字符問題、時間配置問題、權限問題等。

(3)確認 crond 服務開啓,如果定時語句也正確,檢查 crond 服務是否開啓。

Systemd 方式 (centos7 及以上)

[root@SparkWorker1 spool]# systemctl status crond.service

SysVinit 方式 (centos7 以下)

[root@SparkWorker1 spool]# service crond status

(4)確認定時任務中命令是否執行成功

這個問題可通過輸出獲取錯誤信息進行調試,方法就是利用重定向獲取輸出,然後進行分析。舉例如下:

* * * * * python /usr/local/dyserver/dypos.py >> /tmp/dypos.log 2>&1

通過加上 “/tmp/dypos.log 2>&1”,就可以很快定位問題,因爲這個 dypos.py 腳本在執行的時候會把錯誤信息都輸出到 dypos.log 中,接着查看 dypos.log 文件,問題一目瞭然:

[root@SparkWorker1 spool]# cat /tmp/dypos.log
/bin/sh: python: 未找到命令
/bin/sh: python: 未找到命令

顯示 python 命令沒有找到,很明顯的就可以確定是環境變量的問題。這種方式定位問題非常有效。

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/cViBRiqwCf4JxTW0ee_hFg