本机内存32g,已用17g,剩余安全可用13g左右。创建了一个异步物化视图,查看任务,一直失败,报ERROR 1105 (HY000): errCode = 2, detailMessage = (10.16.10.8)[MEM_LIMIT_EXCEEDED]PreCatch error code:11, [E11] Allocator mem tracker check failed, [MEM_LIMIT_EXCEEDED]failed alloc size 1.03 MB, memory tracker limit exceeded, tracker label:Query#Id=f78208b15e064527-a84c5c0b04c04fcf, type:query, limit 100.00 MB, peak used 99.29 MB, current used 99.25 MB. backend 10.16.10.8, process memory used 2.65 GB. exec node:<execute:<ExecNode:VHASH_JOIN_NODE (id=4)>>, can set exec_mem_limit=8G
to change limit, details see be.INFO.(官网复制的,类似的错误)
能看的出来是内存不够,我即使加大,也会报FullGc啥的,应该是我的物化视图首次创建全量刷新内存太大了。
我的问题是,我这两张表的关联(140w数据)就占用这么多g,那几千万几亿的数据,到时候又需要多少内存,这个难道没有分批方法吗,只能堆内存吗?我不懂是否有其他办法解决首次全量的问题,