前置代理及加密网关技术

该方案的总体技术思路即在数据库之前增加一道安全代理服务，对数据库访问的用户都必须经过该安全代理服务，在此服务中实现如数据加解密、存取控制等安全策略。然后安全代理服务通过数据库的访问接口实现数据存储。

安全代理服务存在于客户端应用与数据库存储引擎之间，负责完成数据的加解密工作，加密数据存储在安全代理服务中。

利弊分析

前置代理及代理网关加密技术，迈不过去的"坎"。

1. 由于在安全增强代理中需要存储加密数据，因此要解决与数据库存储数据的一致性问题，这基本不可实现。
2. 数据的联合检索问题：由于在数据库内、外都存在数据，这些数据的联合检索将变得很困难；SQL语法的完全兼容也非常困难。
3. 数据库协议开发无法透明问题：数据库协议虽然存在标准，但事实上每个不同的数据库版本都会进行若干变更、扩展和增强，使用了这些特性的用户必须进行改造。不同的数据库产品协议可能也不一样。同时在安全代理中对数据库通讯协议的模拟非常困难。
4. 数据库的优化处理、事务处理、并发处理等特性都无法使用：查询分析、优化处理、事务处理、并发处理工作都需要在安全增强器中完成，无法使用数据库在并发处理和查询优化上的优势，系统的性能和稳定性更多地依赖于安全代理。
5. 存在巨大的工作量和很高的技术复杂度。需要提供非常复杂的数据库管理功能。如：SQL命令解析、通讯服务、加密数据索引存储管理、事务管理等。
   • 此外还有对于对存储过程、触发器、函数等存储程序的实现支持也非常困难，基本无法支持。

思考几个问题

1. 数据库性能优化都有哪些方式？

• 合理的索引？
• 分表？
• 读写分离?
• JOIN代替子查询?
• ？？？

2. 2000亿数据的表A和500万数据的表B进行Join查询， 再根据某个字段的分组聚合得到查询结果。OLTP/OLAP数据库是如何在这个数据体量下获得高性能查询的？

存储模型

在数据库存储上，通常有两类存储模型：

• 行式存储NSM（N-ary Storage Model）
• 列式存储DSM（Decomposition Storage Model）

安全威胁简介

数据泄露对每个企业都构成威胁，其损失不仅超出了敏感数据、机密数据和品牌损害带来的实际损失或披露范围，公司还承担了与补救和多年法律责任索赔相关的重大财务成本。

数据脱敏是指对敏感信息进行处理，使其失去原有含义，从而保护个人隐私和敏感信息的安全。
数据脱敏技术主要是为了兼顾数据安全与数据使用，采用专业的数据脱敏算法。

StarRocks的数据加密保护机制

1. 透明数据加密：StarRocks支持透明数据加密（TDE），即在数据写入磁盘之前进行加密，并在读取时自动解密，对用户完全透明。这样，即使数据被非法窃取，也无法被解读。
2. 传输加密：StarRocks支持在数据传输过程中使用SSL/TLS协议进行加密，确保数据在传输过程中的安全。
3. 访问控制：StarRocks提供了严格的访问控制机制，包括身份验证和权限管理，确保只有授权用户可以访问数据。

RFC5802 认证机制实际上是SCRAM(Salted Challenge Response Authentication Mechanism,是指Salted质询响应身份验证机制或者基于盐值的质询响应身份验证机制)标准流程中的协议。
SCRAM 是一套包含服务器和客户端双向确认的用户认证体系,配合信道绑定可以避免中间人攻击。

Apache Kafka, Samza, and the Unix Philosophy of Distributed Data

Apache Calcite A Foundational Framework for Optimized

What every systems programmer should know about concurrency

Seasoned programmers are familiar with tools like mutexes, semaphores, and condition variables. But what makes them work? How do we write concurrent code when we can’t use them, like when we’re working below the operating system in an embedded environment, or when we can’t block due to hard time constraints? And since your system transforms your code into things you didn’t write, running in orders you never asked for, how do multithreaded programs work at all? Concurrency — especially on modern hardware — is a complicated and unintuitive topic, but let’s try to cover some fundamentals.