很多企业都会有运行批处理任务的需求，而且这些批处理任务可能都是不同类型的工作，比如有的是处理数据的，有的是进行媒体编码的，有的是进行机器学习模型训练的。这些批处理任务通常都是通过消息进行触发，也就是说需要处理数据或者其他任务的时候，程序发起方会发送一个或者多个消息到一个特定的队列里，然后由监控该队列的应用程序发起任务处理。
本文描述了一种基于容器化的，在 Amazon ECS 平台上搭建的、并行批处理任务的、通用的解决方案。