cron + crontab + logrotate + 定时任务

[moooofly]

• Difference between Cron and Crontab?
• 被遗忘的Logrotate
• 使用logrotate管理nginx日志文件
• 运维中的日志切割操作梳理（Logrotate/python/shell脚本实现）
• 如何在Ubuntu 16.04上使用Logrotate管理日志文件

---

cron 配置文件

如下几个目录内容配合使用

• /etc/crontab - 这个文件负责安排由系统管理员制定的维护系统以及其他任务的 crontab ；
• /etc/cron.hourly - 每小时
• /etc/cron.daily - 每天
• /etc/cron.weekly - 每周
• /etc/cron.monthly - 每月

如下目录中的内容是通过 crontab -e 创建的（对应当前用户），不要手动创建；一般用于配合自定义的定时任务使用，比如按分钟、按小时进行日志轮转等；

• /var/spool/cron/crontabs/ - 这个目录下存放的是每个用户包括 root 的 crontab 任务，每个任务以创建者的名字命名；比如 root 建的 crontab 任务对应的文件就是 /var/spool/cron/crontabs/root ；

logrotate 配置文件

在基于包管理方式安装完后，出在相应位置出现如下配置文件

• /etc/cron.daily/logrotate
• /etc/logrotate.conf
• /etc/logrotate.d

[moooofly]

Difference between Cron and Crontab?

• cron is the general name for the service that runs scheduled actions.
• crond is the name of the daemon that runs in the background and reads crontab files.
• A crontab is a file containing jobs in the format minute hour day-of-month month day-of-week command.
• crontabs are normally stored by the system in /var/spool/<username>/crontab. These files are not meant to be edited directly. You can use the crontab command to invoke a text editor (what you have defined for the EDITOR env variable) to modify a crontab file.

在我的环境中 crontabs 使用的路径是 /var/spool/cron/crontabs/ ；

There are various implementations of cron. Commonly there will be per-user crontab files (accessed with the command crontab -e) as well as system crontabs in /etc/cron.daily, /etc/cron.hourly, etc.

In your first example you are scheduling a job via a crontab. In your second example you're using the at command to queue a job for later execution.

---

Specifically, When I schedule a job to be repeated : (Quoting from wiki)

1 0 * * *  printf > /var/log/apache/error_log

or executing a job only once

at -f myScripts/call_show_fn.sh 1:55 2014-10-14

---

Your first example would go in a crontab file. You'd add it via crontab -e. The second example uses the at command and would not be in a crontab.

You can use at with no cron daemon running. at is typically used for one-time actions while cron is for recurring tasks.

[moooofly]

被遗忘的Logrotate

问题：sharedscripts的作用是什么？

大家可能注意到了，我在前面Nginx的例子里声明日志文件的时候用了星号通配符，也就是说这里可能涉及多个日志文件，比如：access.log和error.log。说到这里大家或许就明白了，sharedscripts的作用是在所有的日志文件都轮转完毕后统一执行一次脚本。如果没有配置这条指令，那么每个日志文件轮转完毕后都会执行一次脚本。

问题：rotate和maxage的区别是什么？

它们都是用来控制保存多少日志文件的，区别在于rotate是以个数为单位的，而maxage是以天数为单位的。如果我们是以按天来轮转日志，那么二者的差别就不大了。

问题：为什么生成日志的时间是凌晨四五点？

前面我们说过，Logrotate是基于CRON运行的，所以这个时间是由CRON控制的，具体可以查询CRON的配置文件「/etc/crontab」，可以手动改成如23:59等时间执行：

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/

# run-parts
01 * * * * root run-parts /etc/cron.hourly
59 23 * * * root run-parts /etc/cron.daily
22 4 * * 0 root run-parts /etc/cron.weekly
42 4 1 * * root run-parts /etc/cron.monthly

如果使用的是新版CentOS，那么配置文件为：/etc/anacrontab。

问题：如何告诉应用程序重新打开日志文件？

以Nginx为例，是通过postrotate指令发送USR1信号来通知Nginx重新打开日志文件的。但是其他的应用程序不一定遵循这样的约定，比如说MySQL是通过flush-logs来重新打开日志文件的。更有甚者，有些应用程序就压根没有提供类似的方法，此时如果想重新打开日志文件，就必须重启服务，但为了高可用性，这往往不能接受。还好Logrotate提供了一个名为copytruncate的指令，此方法采用的是先拷贝再清空的方式，整个过程中日志文件的操作句柄没有发生改变，所以不需要通知应用程序重新打开日志文件，但是需要注意的是，在拷贝和清空之间有一个时间差，所以可能会丢失部分日志数据。

[moooofly]

使用logrotate管理nginx日志文件

例如如果我们想对docker日志进行压缩和分割，则可以设置如下：

# Installs logrotate configuration files
function setup-logrotate() {
  mkdir -p /etc/logrotate.d/
  cat >/etc/logrotate.d/docker-containers <<EOF
/var/lib/docker/containers/*/*-json.log {
    rotate 5
    copytruncate
    missingok
    notifempty
    compress
    maxsize 10M
    daily
    dateext
    dateformat -%Y%m%d-%s
    create 0644 root root
}
EOF

  # Configure log rotation for all logs in /var/log, which is where k8s services
  # are configured to write their log files. Whenever logrotate is ran, this
  # config will:
  # * rotate the log file if its size is > 100Mb OR if one day has elapsed
  # * save rotated logs into a gzipped timestamped backup
  # * log file timestamp (controlled by 'dateformat') includes seconds too. This
  #   ensures that logrotate can generate unique logfiles during each rotation
  #   (otherwise it skips rotation if 'maxsize' is reached multiple times in a
  #   day).
  # * keep only 5 old (rotated) logs, and will discard older logs.
  cat > /etc/logrotate.d/allvarlogs <<EOF
/var/log/*.log {
    rotate 5
    copytruncate
    missingok
    notifempty
    compress
    maxsize 100M
    daily
    dateext
    dateformat -%Y%m%d-%s
    create 0644 root root
}
EOF

}

-%s 会将 UNIX timestamp 引入作为文件后缀，这样就可以按秒区分文件了；

[moooofly]

运维中的日志切割操作梳理（Logrotate/python/shell脚本实现）

其他重要参数说明

compress                                   通过gzip 压缩转储以后的日志
nocompress                                不做gzip压缩处理
copytruncate                              用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
nocopytruncate                           备份日志文件不过不截断
create mode owner group             轮转时指定创建新文件的属性，如create 0777 nobody nobody
nocreate                                    不建立新的日志文件
delaycompress                           和compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress                        覆盖 delaycompress 选项，转储同时压缩。
missingok                                 如果日志丢失，不报错继续滚动下一个日志
errors address                           专储时的错误信息发送到指定的Email 地址
ifempty                                    即使日志文件为空文件也做轮转，这个是logrotate的缺省选项。
notifempty                               当日志文件为空时，不进行轮转
mail address                             把转储的日志文件发送到指定的E-mail 地址
nomail                                     转储时不发送日志文件
olddir directory                         转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir                                   转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts                           运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
prerotate                                 在logrotate转储之前需要执行的指令，例如修改文件的属性等动作；必须独立成行
postrotate                               在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
daily                                       指定转储周期为每天
weekly                                    指定转储周期为每周
monthly                                  指定转储周期为每月
rotate count                            指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
dateext                                  使用当期日期作为命名格式
dateformat .%s                       配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size            当日志文件到达指定的大小时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).
当日志文件 >= log-size 的时候就转储。 以下为合法格式：（其他格式的单位大小写没有试过）
size = 5 或 size 5 （>= 5 个字节就转储）
size = 100k 或 size 100k
size = 100M 或 size 100M

日志切割logrotate和定时任务crontab详解

常见配置参数小结：

daily ：指定转储周期为每天
weekly ：指定转储周期为每周
monthly ：指定转储周期为每月
rotate count ：指定日志文件删除之前转储的次数，0指没有备份，5 指保留5 个备份
tabooext [+] list：让logrotate不转储指定扩展名的文件，缺省的扩展名是：.rpm-orig, .rpmsave, 
v, 和 ~
missingok：在日志轮循期间，任何错误将被忽略，例如“文件无法找到”之类的错误。
size size：当日志文件到达指定的大小时才转储，bytes(缺省)及KB(sizek)或MB(sizem)
compress： 通过gzip压缩转储以后的日志
nocompress： 不压缩
copytruncate：用于还在打开中的日志文件，把当前日志备份并截断
nocopytruncate： 备份日志文件但是不截断
create mode owner group ： 转储文件，使用指定的文件模式创建新的日志文件
nocreate： 不建立新的日志文件
delaycompress： 和 compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress： 覆盖 delaycompress选项，转储同时压缩。
errors address ： 专储时的错误信息发送到指定的Email 地址

ifempty ：即使是空文件也转储，这个是logrotate 的缺省选项。
notifempty ：如果是空文件的话，不转储
mail address ： 把转储的日志文件发送到指定的E-mail地址

nomail ： 转储时不发送日志文件
olddir directory：储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统

noolddir： 转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript： 在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行

[moooofly]

其他

每1分钟切割一次

注意：日志里要有内容，因为前面定义空的日志文件是不切割的

*/1 * * * * /usr/sbin/logrotate -vf /etc/logrotate.d/tomcat >>/var/log/tomcat/oldlog/cutting.log

每2小时切割一次

0 */2 * * * /usr/sbin/logrotate -vf /etc/logrotate.d/tomcat >> /root/chenjiaxin/cutting.log

[moooofly]

如何在Ubuntu 16.04上使用Logrotate管理日志文件