Transwarp Scope

大规模分布式搜索引擎

自主可控的搜索引擎产品
观看视频 transwarp
transwarp
transwarp
观看视频 transwarp
产品简介
Transwarp Scope是星环第二代搜索引擎软件，可应用于表单、日志、视频、图像、文本文件等各类非结构化数据的对象存储与检索场景。Scope保留了底层的Lucene框架和工具层，对上层进行了全自主研发改造，扬弃了开源产品中的那些带来瓶颈和限制的模型，用更贴合海量数据大集群场景的模型来代替，打造出了自主可控的搜索引擎产品。
transwarp
Transwarp Scope的目标与优势
transwarp transwarp
高效
以提高数据流转速率为核心目标，提升产品的读写等基础产品能力，对比开源具备更大的写入量。更高查询量，更快的查询性能。
transwarp transwarp
稳定
保证集群从规模，单机容量，吞吐等多方面提升的情况下，集群的稳健运行
transwarp transwarp
易运维
降低运维门槛，以更直观和更便捷的方式交给客户的运维人员
transwarp transwarp
开放
ES生态的接入，可自适应插件的使用
选择Transwarp Scope的理由
完备的数据库能力支持
支持统计信息与基于代价的查询优化，提供SQL接口，降低业务开发难度
transwarp transwarp
支持跨数据中心多活部署
提供RTO与RPO约等于0的跨数据中心容灾能力。
transwarp transwarp
支持三种数据接入模式
支持实时、微批、离线三种数据接入模式，兼顾数据时效性与入库性能
transwarp transwarp
单集群千级别节点规模
单实例百TB数据存储容量，单集群千级别节点规模
transwarp transwarp
适配现代大容量服务器
多进程架构，突破单jvm限制，适配于现代大容量服务器
transwarp transwarp
完备的数据安全管控能力
支持多种身份验证方式，支持细粒度权限验证，支持传输层加密
transwarp transwarp
创新的同时接轨开源
支持开源的各类常用接口，并适配开源插件，满足客户的开发需求
transwarp transwarp
技术场景
表单
表单数据处理
日志
日志收集分析
检索
各类数据检索场景
  • transwarp
    表单
  • transwarp
    日志
  • transwarp
    检索
应用案例
  • 某安全行业客户
  • 某银行征信中心
transwarp
客户需求
○ 在线部分在大量入库的场景下保证查询性能，支撑海量离线数据入库需求以满足日增需求
○ 同时支持高性能各类检索和多条件检索
transwarp
解决方案
○ 经过相关调研与测试，使用星环的搜索引擎Scope可以比较好的处理该问题，在实时入库上，Scope可以通过微批等方式确保数据入库时对资源的消耗量，确保查询业务不受影响，满足各类检索查询
○ 在离线入库上，Scope特有的入库方式可以多线程高吞吐的方式很好的将数据入库到数据库中
transwarp
项目成果
入库没有积压，满足了单日几十TB级别的入库需求，查询达到业务预期水准
相关产品推荐

星环科技,构建明日数据世界