Doris故障排查与运维

如果遇到Doris集群性能下降的情况，你会如何进行故障排查？

• 查看日志：首先检查FE和BE的日志文件，特别是ERROR和WARNING级别的日志，以快速定位问题。
• 监控指标：利用Doris自带的监控工具或第三方监控系统，查看集群的CPU、内存、磁盘I/O、网络带宽等关键指标，分析是否存在资源瓶颈。
• 查询分析：分析慢查询日志，找出执行效率低下的查询语句，并进行优化。
• 查看执行计划： 根据执行计划分析最耗时的stage， 进一步分析具体的原因和问题
• 集群状态：检查集群的元数据一致性、节点健康状态、数据分布情况等，确保集群正常运行。

Apache Doris是如何处理数据一致性的？

Apache Doris通过其分布式架构和元数据管理机制来保证数据的一致性。
具体来说，Doris使用Raft协议来维护FE节点之间的元数据一致性。

在FE集群中，一个FE节点被选为Leader，负责处理元数据的变更，并将变更信息同步给所有Follower节点。这样，即使某个FE节点发生故障，其他节点也能保证元数据的最新状态，从而保证数据的一致性。

在BE层面，Doris通过多副本机制来保证数据的高可用性和容错性。每个Tablet都会存储在多个BE节点上，这些副本之间会进行数据的同步和校验，以确保数据的一致性。当某个BE节点发生故障时，其他副本可以接替其工作，继续提供服务。

性能优化手段

分区与分桶

根据数据的时间或业务特征进行分区，可以提高查询效率和数据加载速度。同时，使用分桶（Hash、Range等）可以进一步优化数据分布和查询性能。

索引/前缀索引/bitmap索引

虽然Doris本身是一个列式存储数据库，但在某些场景下，可以通过创建物化视图或使用Zookeeper进行外部索引来提高查询效率。

查询优化器:join order，runtime filter，谓词下推

利用Doris的查询优化器，合理编写SQL语句，避免复杂的子查询和不必要的JOIN操作，可以减少查询的响应时间。

资源调配

合理配置FE和BE的硬件资源，如CPU、内存、磁盘等，以及调整Doris的配置参数，如并发数、缓存大小等，以满足不同业务场景的需求。