问题:现发现要抽取Doris这个大表,查不动。
1)分页的话涉及排序,切深度分页问题
2)使用Statement的流式游标设置fetchSize=1000,好像没效果。
从过写demo尝试,sql指定日期,报错日志,看着是全量读取。
2024-08-06 10:56:12,129 WARN (mysql-nio-pool-6866|302902) [ConnectProcessor.handleQueryException():469] Process one query failed because IOException:
java.io.IOException: Write mysql packet failed.[write=473508, needToWrite=2097048]
at org.apache.doris.mysql.MysqlChannel.realNetSend(MysqlChannel.java:401) ~[doris-fe.jar:1.2-SNAPSHOT]
at org.apache.doris.mysql.MysqlChannel.flush(MysqlChannel.java:429) ~[doris-fe.jar:1.2-SNAPSHOT]
at org.apache.doris.mysql.MysqlChannel.writeBuffer(MysqlChannel.java:459) ~[doris-fe.jar:1.2-SNAPSHOT]
请问,有没有什么好的建议、方式