Mybatis-plus 流式查询

## 1. 简述
传统查询是一次性取出所有数据然后处理，对上百万的数据突出两个问题：1. 处理时间长，阻塞数据库IO; 2. 一次性占用内存多，易OOM;
流式查询则使用数据库游标，查一行处理一行，消耗内存较少，不阻塞数据库IO,在大数据处理场景中推荐使用。

## 2. DAO层的流式处理函数的声明
```java
/**
 * (Order)表数据库访问层
 *
 * @author liudong
 * @since 2020-09-15 17:07:13
 */
@Mapper
public interface OrderDao extends BaseMapper<OrderDO> {

/**
	 * ResultType对象=ResultHandler需要处理的对象=SQL查询结果
	 * 其余参数和正常一样，用@Param标记并传递
	 */
    @Select("select * from Order where code=#{obj.code}")
    @Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)
    @ResultType(OrderDO.class)
    void streamDoHandler(@Param("obj") OrderDO order, ResultHandler<OrderDO> handler);

}
```

## 3. 流式处理的使用
```java

public class OrderService {

@Resource
    private OrderDao orderDao;

public synchronized void doHandle(Consumer<OrderDO> consumer) {
		OrderDO order = new OrderDO();
		order.setCode("test");
        orderDao.streamDoHandler(order, resultContext -> {
                OrderDO order = resultContext.getResultObject();
				// 处理函数，我此处用lambda从而让可以将处理函数单独拆出来
				consumer.accept(order);
				// 当然，你也可以直接在此处理
                System.out.println(order);
        });
    }
}
```

## 4. 一些踩坑
**Oracle的fetchSize建议设置成1000，MySQL的fetchSize建议设置成Integer.MIN_VALUE**

sharding-sphere的执行引擎对数据库的连接方式提供了两种：内存限制模式和连接限制模式。参考：[sharding-sphere](https://shardingsphere.apache.org/document/current/cn/features/sharding/principle/execute)，在内存限制模式中（也就是要使用流式查询的场景），对于每一张表的查询，都需要创建一个数据库连接，如果跨库跨表查询操作很多，这对数据库连接数的消耗将会非常大。这是为什么要这么限制呢？
原来mysql本身并没有FetchSize方法, 它是通过使用CS阻塞方式的网络流控制实现。服务端不会一下发送大量数据到客户端撑爆客户端内存,这种实现方式比起商业数据库Oracle使用客户端、服务器端缓冲块暂存查询结果数据来说，简直是弱爆了！这样带来的问题：如果使用了流式查询，**一个MySQL数据库连接同一时间只能为一个ResultSet对象服务，并且如果该ResultSet对象没有关闭，势必会影响其他查询对数据库连接的使用！**此为大坑，难怪sharding-sphere费劲心思要提供两种数据库连接模式，如果应用对数据库连接的消耗要求严苛，那么流式查询就不再适合。

那么有什么解决办法呢？
根据官方文档的建议，给结果集设置 forward-only, read-only 以及将 fetch size 设置为 Integer.MIN_VALUE, 即表明让 MySQL 以流式传输结果集中的数据. 在此之后, 将逐行检索使用该语句创建的任何结果集.
这种方法有一些注意事项. 您必须先读取结果集中的所有行 (或将其关闭), 然后才能对连接发出任何其他查询, 否则将引发异常.如果使用流式结果, 如果您想保持对生成结果集的语句所引用的表的并发访问, 请尽快处理它们.
另一种选择是每次使用基于游标的流来检索一组行. 这可以通过将连接属性 useCursorFetch 设置为 true, 然后调用 setFetchSize(int) 来设置每次要获取的行数:
```
conn = DriverManager.getConnection("jdbc:mysql://localhost/?useCursorFetch=true", "user", "s3cr3t");
stmt = conn.createStatement();
stmt.setFetchSize(100);
rs = stmt.executeQuery("SELECT * FROM your_table_here");
```

参考资料：
[深入了解MySQL的流式查询机制](https://blog.csdn.net/nym232/article/details/89240054)
[MySQL 流式查询的用法和坑](https://segmentfault.com/a/1190000042050623)
[connector-j-reference-implementation-notes](https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-reference-implementation-notes.html)