Skip to main content

自建ES的利与弊

· 8 min read
Ethan
引言

自己搭建Elasticsearch确实是一件相对简单的事情,特别是对于有一定技术基础的人来说。通过下载适当的安装包,按照官方文档或者一些优秀的教程进行步骤操作,就可以比较轻松地搭建起一个基本的Elasticsearch集群。

然而,尽管搭建过程可能相对简单,但在实际应用中,烦恼也会随之而来。

Elasticsearch on Windows

很多初学者为了图方便把Elasticsearch生产集群部署在windows上,导致集群的性能低下和不稳定性增加。

内核差异: Windows和Linux操作系统在内核设计和优化上存在显著差异。Linux内核针对服务器工作负载进行了优化,包括网络、磁盘I/O等方面,而Windows则更多地关注桌面用户和通用应用程序的需求。

文件系统: Elasticsearch对文件系统的使用非常频繁,包括索引数据的存储和搜索过程中的临时文件创建等。Linux的文件系统(如Ext4)在处理大量小文件时通常比Windows的NTFS文件系统更高效。

线程管理: Linux内核采用了完全抢占式调度模型,即任何时刻都可以强制性地中断当前运行的线程,并调度其他线程执行。这种调度模型可以更好地利用多核处理器,并提高系统的响应速度和并发性能。而Windows内核的线程调度算法可能更为保守,并不能适应Elasticsearch的高并发处理。

内存管理:Linux操作系统具有高度灵活的内存管理和调度机制。例如虚拟内存、页面置换算法、内存压缩等,以优化内存的使用和管理。Linux内核可以根据系统的负载情况和应用程序的需求,动态地分配和回收内存资源,以确保系统的性能和稳定性。Windows操作系统的内存调度策略和页面置换算法可能较为传统,并未采用最新的优化算法,从而会限制Elasticsearch对内存的利用率和性能。

结论

综合考虑 Linux操作系统更适合作为运行生产级Elasticsearch的平台,能够为Elasticsearch提供更好的性能和稳定性支持。

Linux部署优化

讲完了windows,在Linux下自建Elasticsearch时,也会面临一些潜在的挑战和坑,特别是对于初学者或者缺乏经验的用户。Linux内核有许多参数可以调整,以优化系统的性能和稳定性。例如,可以调整文件描述符限制、内核参数(如vm.max_map_count、vm.swappiness等)和TCP参数等。

  • 文件系统选择:在选择文件系统时,可以考虑使用性能较好的文件系统,如XFS或者ext4。同时,调整文件系统的挂载选项和缓冲策略,以提高磁盘IO性能。
  • JVM调优:Elasticsearch运行在Java虚拟机(JVM)上,因此需要对JVM进行调优以提高其性能。可以调整JVM的堆内存大小、垃圾回收器类型和参数,以及线程栈大小等。
  • Swappiness设置:在Linux系统上,可以通过调整swappiness值来控制内存页交换的频率。对于Elasticsearch来说,通常希望尽量减少内存交换,因此可以将swappiness值调整为较低的值。
  • 网络调优:针对Elasticsearch集群的通信和数据传输,可以调整Linux系统的网络参数以优化网络性能。这包括调整TCP缓冲区大小、TCP拥塞控制算法和网络队列大小等。
  • 安全设置:在优化操作系统时,也需要考虑安全性。确保系统的防火墙规则、用户权限和访问控制设置是合理的,并且系统是最新的补丁和安全更新。
  • 定时任务和系统服务:确保系统中没有不必要的定时任务和系统服务运行,以减少对系统资源的占用。可以禁用不需要的服务或者将其调整为按需启动。
  • 监控和日志管理:部署监控工具来实时监控系统的运行状况,并配置日志管理策略以便及时发现和解决问题。这包括收集和分析Elasticsearch的日志、指标和事件等。

总结

总结来说,对于许多不太熟悉的用户来说,选择更为专业的Elasticsearch Serverless是一个更好的选择。

  • 简化管理: 用户无需自行搭建和管理Elasticsearch集群,减少了部署和维护的工作量,降低了运维成本。
  • 弹性伸缩: Serverless架构可根据实际需求自动伸缩,无需手动调整集群规模,提供了更高的弹性和灵活性。
  • 成本节约: 用户仅需根据实际使用的资源量付费,避免了长期绑定资源造成的资源浪费,节约了成本。
  • 高可用性: Elasticsearch Serverless通常由云服务提供商管理,具备高可用性和可靠性,降低了单点故障的风险。
  • 专注业务需求: 用户可以更专注于业务需求,无需过多关注底层基础设施的管理和维护,提高了开发和运营效率。

综上所述,选择Elasticsearch Serverless能够帮助用户简化管理、提高弹性、节约成本、提高可用性,并使用户能够更专注于业务需求,从而获得更好的开发和使用体验。