客户需求

通过数据仓库的建设，打破数据孤岛、形成数据合力、建设数据质量体系，支撑全行数据应用。解决数据加载耗时越来越长，无法满足目标系统对数据的时效性要求；解决只能处理结构化数据，无法满足多样化（半结构、非结构化）格式数据处理需求。

解决方案

基于大数据计算引擎进行信息统计，同时使用实时处理工具进行线上日志的实时解析比对及处理；实现大数据的批量处理和快速检索，大大减少数据加载耗时，通过分布式计算避免I/O瓶颈，支持线性扩展，支持非结构化数据的存储和处理，对数据进行统一整合，实现多租户管理；使用流程工具调用每天的批处理业务，提供稳定高效的批处理性能，以及高并发，且支持全文索引下的毫秒级查询。

应用效果

数据仓库从传统Oracle库迁移到大数据数仓后，并行入库任务性能提升7.34倍，并行任务最多提升46.6倍；在核心存储过程性能方面，总体核心作业性能提升了5.7倍；大数据量批处理性能从小时级降低到分钟级甚至秒级；对内数据仓库将全行数据进行归集并整合，为全行业务应用提供数据服务；对外提供了涉及营销与风控的价值数据，比如客户画像、欺诈名单等。