从ClickHouse迁移ByteHouse,某金融机构实现亿级数据秒级响应

2024-05-21 17:33:46

来源:看点时报

随着数字经济的快速发展,数字金融作为数字经济的重要支撑和驱动力,得到了各界的高度重视。在2023年12月,国家数据局等十七部门联合印发《“数据要素×”三年行动计划(2024—2026年)》,就数据要素×金融服务场景,提出要提升金融服务水平。

数据驱动在金融领域中的重要作用不言而喻。从业人员需要处理和分析大量的数据,以做出业务决策、管理风险、提高效率并创新产品和服务。数据驱动的方法可以帮助金融机构更好地了解客户需求、市场趋势和风险,从而制定更有效的策略和产品,也能更好识别和评估风险,提高风险管理的准确性和效率。

要高效利用数据进行决策,也离不开扎实的数据基础设施建设,拥有一款高性能的数据分析和处理引擎更能提升数据决策的准确性和实效性,帮助金融机构快速洞察数据中的关键信息和趋势。

在某金融机构的精准营销场景中,业务人员通过引入ByteHouse作为分析引擎,在人群圈选中实现秒级反馈结果,将合适的金融产品和服务推送给最有可能感兴趣和需要的客户,有效提升了营销效果和效率。

起初,该金融机构主要采用Flink将埋点日志数据写入ClickHouse,并对数据进行多表聚合处理,最终圈选人群包进行广告触达。但随着业务数据体量日渐庞大,类型愈加复杂,数据容量达到几十T,日增上亿量级,最大数据表的行数百亿级别,以上方案面临着数据重复且多表关联性能差的问题,并且查询耗时长、更新慢,在一定程度上阻碍了业务发展。

从ClickHouse迁移到ByteHouse之后,该金融机构业务查询场景中的多表关联查询效率提升三倍以上,在人群圈选场景中达到秒级结果响应。在简单查询场景中,Bytehouse 较 ClickHouse 性能也提高了30倍,且数据准确率有明显提升。

据介绍,ByteHouse是火山引擎推出的一款云原生数据仓库,具备实时、高性能的数据计算能力,提供自研查询优化器等功能,实现随用随取、弹性可扩展。其中,ByteHouse 自研HaUniqueMergeTree表引擎,保留了 ClickHouse 高效的查询性能,还能支撑实时去重,帮助业务更轻松地开发实时分析应用。

近期ByteHouse发布的白皮书更是揭秘了ByteHouse高性能特性,以TPC-H 数据集举例,在相同硬件和软件环境下,ByteHouse 查询效率高于本次基准测试产品几十倍。这一高性能特性,也为精准营销、行为分析、实时监控等场景中的数据分析和应用保驾护航。

不仅仅是金融行业落地,火山引擎ByteHouse还与中国地震台网中心、莉莉丝游戏、极客邦科技等诸多行业企业达成了深度合作,凭借新一代的云原生架构,高效方便的运维模式,以及高性能更灵活的实时查询能力,为企业夯实数字化地基,推动企业的数智化转型升级。(作者:冯媛)

标签: ClickHouse 迁移 ByteHouse 金融机构 实现亿 级数 秒级 响应

下一篇: 最后一页
上一篇: 顺鑫团队里程碑式跨越:云健源项目引领健康科技与新能源领域新纪元