随着数字化转型持续推进以及国产化进程不断加速,国产搜索引擎数据库的重要性也在不断提升。目前,搜索引擎领域呈现出数据体量规模增加、时效性要求变高、检索场景多样化、国产化替代需求加剧等新趋势。
Transwarp Scope是星环科技自主研发的企业级分布式搜索引擎,提供PB级海量数据的交互式多维检索分析服务,支持百万级高并发和毫秒级低延时检索业务,覆盖模糊匹配,精确查询,多维检索等各类检索类场景,满足数据检索多样化需求。
近日,星环科技分布式搜索引擎Transwarp Scope 正式发布V2.5版本,通过存储深度优化和分布式架构升级,可实现单实例100+TB数据的稳定存储和100+节点的稳定运行,读写分离的特性进一步提升高并发检索的稳定性。此外,新版本还提供了更友好的Elastisearch兼容度支持,消除国产化替换痛点,并提供低成本平滑迁移的解决方案和跨集群灾备的容灾方案,助力企业构建稳定可靠、安全易用的自主可控搜索平台。
低成本实现Elasticsearch国产化替代和升级
Transwarp Scope聚焦于Elasticsearch检索场景平替,高度兼容Elasticsearch接口,可实现Elasticsearch业务的平滑迁移,如日志检索、全文检索以及数据智能等场景,并在产品稳定性、扩展性、高性能、高可用、成本等方面具有明显的优势。
例如,某运营商有基于Hbase的主键精确查询和基于Elasticsearch的全景查询2套业务。在全景查询场景中,客户采用实时和离线2套集群,数据流转复杂,并且随着数据量的高速增长,系统稳定性经常出现问题。当集群出现问题时,Elasticsearch重启需要小时级别,集群恢复速度慢。在性能问题方面,读写资源无法隔离,拖累查询性能。
因此,该用户利用星环科技分布式搜索引擎Transwarp Scope替换掉了Elasticsearch,实现了实时和离线业务的统一,通过bulkload和实时流计算引擎Slipstream实现了数据的统一存储和查询。
入库方面,过去15+TB的日增离线数据可以快速加载到Scope当中,省去了两套Elasticsearch集群的快照同步步骤,入库性能提升4倍。过去T+1模式入库逻辑直接通过微批的方式实现了分钟级延迟,集群的重启时间从6-10小时压缩到了分钟级,大幅度降低了业务中断时间。集群规模上,将过去两套Elasticsearch集群整合成统一的大集群,并且保障100+节点稳定运行,系统架构更加简单,运维成本更低。
此外,Transwarp Scope已完成与主流信创生态厂商的适配互认工作,支持适配长城飞腾、华为泰山、龙芯等服务器架构,以及麒麟,UOS等操作系统,在传统搜索业务的功能外,同时提供多租户、联邦检索等多样化功能,充分满足国产化替换需求。混合部署的特性,支持不同芯片架构、操作系统在同一集群中部署和使用, 大化利用硬件资源,让用户实现国产化平滑替代。
