Azkaban 调研

待验证的问题

1. Azkaban 能否避免一个作业的并发调度，即当前一个作业还在运行中，该作业再次到达调度时间时能否被控制不调度 ？
2. 一个作业是否能适配多条调度规则，如每小时调度一次，同时在每天12:30调度一次 ？
3. 多条调度规则之间是否可以控制，当调度冲突时的处理策略是什么 ？

问题1

不可以。

确实设置调度规则为串行调度后会按照串行调度，在上一个作业没有运行完毕后，不会再调度相同的作业，哪怕到达了调度时间。 但是需要注意的是，这里的作业执行完毕是指对 Azkaban 而言，如果我们用异步 shell 脚本或其他 detach 模式提交 Flink 作业到 Yarn 上，一旦作业提交后对 Azkaban 而言，作业就已经运行完毕了。所以，Azkaban 是不会保证 Yarn 上的作业还没有执行完不再并发调度的。

问题2

不可以。

Azkaban 支持 crontab 表达式调度作业，一条 crontab 表达式只能支持一种模式的调度规则，但是如果一个作业每小时调度一次，同时要求该作业每天12:30调度一次，这种一条 crontab 表达式是做不到的。可以使用取巧的方式，比如通过嵌套流的方式实现类似功能，新建一个 flow ，然后该 flow 里面有个嵌套流节点，去嵌套一个同样的作业 ，新建的flow是每小时调度，然后该flow下嵌套flow单独设置为12:30。但是这种使用模式下，就相当于存在了两个相同的作业，这对于作业状态的控制会变得复杂，如问题1和问题3。

问题3

不可以。

假设一个作业每小时调度一次，然后每天12:30调度一次。当时间到达12:30的时候，发现作业还在运行中，即12点（每小时）时候调度的作业还没有运行完毕，那么12:30的这次调度会如何执行呢？

在 Azkaban 中， 计划执行时间相同的时候， Azkaban 会保证严格串行(假如已设置串行调度)。这样的情况是计划执行时间都不相同，在 Azkaban 看来完全是独立的两次调度，没有任何联系，即无论每小时调度作业的运行状态如何，12:30的这次调度肯定会调度。

结论

综上， Azkaban 调度系统一般使用于通用的批作业调度，不适合这类对调度规则要求足够灵活的场景。