常见需求开发方案及思路

常见需求开发解决方案与思路

• Dao层
• Controller层
• Service层
• Cache层
• 其他

Dao层

如何查询千万数据量：

• 查询大数据量用途：
  ①迁移数据
  ②导出数据
  ③批量处理数据

• 处理大规模数据查询方式：
  ①传统查询方法采用一次性加载500万条数据至JVM内存区域（或分批加载）。
  ②流处理机制通过长连接实现客户端维护一个游标变量（即服务端维护一个独立指针），逐条将数据从远程服务器加载至本地JVM内存区域。
  ③基于游标的查询模式与上述类似，在客户端设置一个fetchSize参数值（如1024），指定每轮最多可获取的数据条数（即服务端返回最多1024条记录）。

• 常规查询：
  ①对于单表中的500万数据量而言，
  没有人会一次性加载至内存中，
  通常不会将全部数据一次性加载至内存中，
  因为这会导致内存溢出问题。
  因为如果一次性加载所有数据到内存中，
  由于数据总量过大，
  会导致系统出现性能问题或崩溃。
  ②虽然这种方式相对简单，
  但如果不启用 LIMIT 深分页优化，
  可能导致线上数据库服务器出现问题，
  或者需要等待较长时间才能完成查询操作。

    @SneakyThrows
    @Override
    public void pageQu