云计算原生开源数据分析SPL高效处理 T+0 时延场景

T+0问题

实时数据分析涉及最新的生成数据，在业务规模较小时无需依赖当前生产数据库即可轻松完成此类分析任务；但随着系统规模不断扩大，在现有生产数据库中进行大规模的数据分析可能会导致系统性能受限甚至影响核心业务的操作效率；因此我们建议将历史数据分析的数据单独存储并建立独立的数据仓库以避免对实时生产业务造成干扰；这也是为何常采用冷热数据分离策略的原因所在

分离数据后将导致T+0问题的出现。
当数据按拆分存入两个数据库时，在进行全量数据查询时需要跨越多个数据库系统。
此外，
用于交易的生产库大多采用能够保证事务一致性的关系型数据库（RDB），而被分离出来的冷数据（通常是大量且不再修改的数据）则主要使用专门的分析型数据库或数据平台存储。
令人遗憾的是现有的跨库查询技术在实践中往往面临诸多挑战和问题。

传统的跨库查询机制通常会将远程数据库的数据传输至本地环境，并在此地执行大部分的数据处理和计算任务。这一过程往往效率低下。此外这种机制还存在数据传输不稳定的问题，并且无法处理大规模对象的操作其扩展性较差等显著缺陷。

实际上，在分库后如何应对T+0查询的问题并非难以解决。只