近日，日志易 3.0 版本正式释出。大版本号都改了，正如你所预料的，这次功能升级带来的经验增幅也是上了一个大大的新台阶呢！
早在去年，日志易自研引擎就已展露锋芒。新版本全面采用自研 Beaver 搜寻分析引擎，并发写入效率提升了 400%-500%，查询效能提升了 50%，统计效能提升了 100%-200%。
1为何要自研搜寻分析引擎？
在现有的日志分析解决方案中，基于搜索引擎进行日志分析，可实时接收最新产生的日志资料并进行索引，供使用者进行实时搜寻和统计分析。
实时日志搜索引擎技术相对一些传统技术（如数据库等），主要特点是支援全文检索，搜寻更快，处理资料的效能更强，实时性也更好。
然而，业界通用的开源日志搜索引擎存在很多问题。首先，开源引擎是一个通用的搜索引擎，难以满足日志处理的一些特殊需求；其次使用 Java 开发，内存消耗及效能上存在较多优化空间；再者程式码量大，程式码维护优化难度较大；且由于开源原因，人力维护成本较高。
基于以上若干原因，日志易团队自研了一套搜寻分析引擎，命名为 Beaver。这个自研引擎是用 C++ 开发的，主要是速度更快，内存控制更优，可节省 50% 以上的开发维护成本。
2自研搜寻分析引擎优势
自研搜寻分析引擎 Beaver 实时性高。开源引擎是准实时搜索引擎，需要把资料重新整理到档案系统快取上才可以看到资料，如果重新整理频繁，则会造成内存压力过大，I/O 压力过大。而 Beaver 是个实时档案系统，内存控制借鉴了 Linux 核心的内存管理算法，只要有资料接入就可以搜寻，灵活的同时又保证了速度。
自研搜寻分析引擎 Beaver 并发写入效率提升了 500%。开源引擎为了防止资料紊乱，Segment 写时由单个执行绪写入。Beaver 则是全程异步，且并发度可以调节，I/O 和 CPU 消耗更低，写入速度大大增加。
此外，由于 Global ordinal 优化，自研搜寻分析引擎 Beaver 搜寻效能提升了 50%，统计效能提升了 200%；自研引擎 Beaver 对 Replica 策略进行调整，大大减小了因副本导致的资源消耗，同时保证了资料的可靠性；自研引擎 Beaver 在搜寻的同时进行分层 Merge，降低单节点的压力，以及 OOM 的可能性，丛集的扩充套件性得到有效提升；由于采用了更严格有效的内存控制策略，自研引擎 Beaver 能同时开启更多索引；自研引擎 Beaver 还采用了更有效的冷热索引分级控制，降低了索引的膨胀率。
根据测试环境和生产环境的使用资料，同样入库和查询条件下， Beaver 比开源引擎节省了一半的硬件成本。
◆ ◆ ◆ ◆ ◆
3.0 除了全面采用自研引擎之外，搜寻页面也进行了优化，语法高亮和缩排使得 SPL 语句显示更加友好清晰；Agent 采集端也增加了一些更加强大的功能，能够支援对 SQL Server 事件日志的解析；新版本中，告警型别支援装置切分；另外，新版本中视觉化及 Galaxee 大屏展示也新增了很多控制元件。
欲了解 3.0 版本更多惊喜新功能，联络您的专业服务支援人员，或点选文末“http://rizhiyisearch.mikecrm.com/WObFW1t”填写试用申请，届时将会有专业工程师为您提供支援～
Beaver 来袭，高效能日志分析走起！
