无限流指的是无尽的流数据,在大数据凌晨的背景下,随着海量用户数据不断积累,正在迅速膨胀。无限流数据的处理方式与一般批量数据处理方式不同。无限流因为数据源的不间断更新,要求技术有更高的实时性和低延迟。与批处理不同,无限流数据处理是一种实时处理方式,即处理数据时必须非常快速,对实时性的要求非常高,例如在金融领域中,某些算法要求10ms内完成处理。
无限流数据的片段性和离散性大,意味着针对每个数据之间的额外处理技术就变得至关重要。例如自然语言处理,图像处理等领域都要求准确快速的实时性和处理能力。
当前随着商业应用的普及,无限流的应用场景也越来越广,分布在诸如金融、游戏、物联网等多个领域,因此对无限流数据处理技术的高效和质量的要求也越来越高。