携程机票数据仓库系统工程发展路径

一、前言

伴随着大数据技术的迅速发展，
针对海量数据存储与计算问题的各种解决方案层出不穷，
生产环境与大数据环境之间的相互作用愈发紧密。
在承载海量数据并实现业务逆转方面发挥重要作用的数据仓库，
在其功能定位上主要负责促进数据从生产环境中迁移至大数据环境中，并通过该环境下进行处理从而支持业务应用及决策制定方面发挥着关键作用。

数据仓库的主题涵盖范围、运行效率、使用便捷性和灵活性及数据质量都是评估其优劣的关键考量因素。携程机票部门的数据仓库持续探索并致力于实现这些目标。

二、携程机票数据仓库技术栈

该机票数据仓库建设主要依托公司公共部门的大数据平台，并结合部分自研的开源存储系统，在此基础上开发了基于开源组件的数据同步工具和运维工具。

2.1 数仓技术演进历史

该部门的数据仓库起始于2008年，在那个时期的主要生产环境数据落地工作中主要依赖于SQLServer这一数据库系统。其处理的对象通常是规模较小的数据量，并因此选择了上述提到的这些解决方案：包括SQLServer在内的几种常用的数据仓解决方案；同时用于构建数据分析模型以及报表定制工作的SAP商业对象模型（BO）平台。

随着机票业务系统的规模不断扩大，在引入消息中间件Kafka用于存储日志数据后

于2014年，公司在公共部门首先实现了Hadoop集群的部署工作，并成功引入了