博客
关于我
MySQL——全表查询对数据库的影响
阅读量:798 次
发布时间:2023-03-28

本文共 970 字,大约阅读时间需要 3 分钟。

摘要

我的主机内存只有 100G,现在要对一个 200G 的大表做全表扫描,会不会把数据库主机的内存用光了?

这个问题确实值得担心,被系统 OOM(out of memory)可不是闹着玩的。但是,反过来想想,逻辑备份的时候,可不就是做整库扫描吗?如果这样就会把内存吃光,逻辑备份不是早就挂了?所以说,对大表做全表扫描,看来应该是没问题的。但是,这个流程到底是怎么样的呢?


一、全表扫描对 server 层的影响

假设,我们现在要对一个 200G 的 InnoDB 表 db1. t,执行一个全表扫描。当然,你要把扫描结果保存在客户端,会使用类似这样的命令:

mysql -h$host -P$port -u$user -p$pwd -e "select * from db1.t" > $target_file

你已经知道了,InnoDB 的数据是保存在主键索引上的,所以全表扫描实际上是直接扫描表 t 的主键索引。这条查询语句由于没有其他的判断条件,所以查到的每一行都可以直接放到结果集里面,然后返回给客户端。

那么,这个“结果集”存在哪里呢?实际上,服务端并不需要保存一个完整的结果集。取数据和发数据的流程是这样的:

  • 读取数据:服务端会通过索引逐行读取数据,并将其传递给客户端。由于 InnoDB 是基于索引优化的,读取数据时会优先利用索引,而不是直接读取数据文件。

  • 处理数据:每一行数据会被解析并发送给客户端,而不是一次性加载到内存中。

  • 发送数据:数据会被逐行发送到客户端,减少了内存的压力。

  • 因此,全表扫描虽然会占用一定的内存,但由于数据是按需传输的,通常不会导致服务器内存不足。


    优化建议

    如果担心全表扫描对内存的影响,可以采取以下优化措施:

  • 分批处理:避免一次性读取全部数据,可以通过分批获取数据,减少内存压力。

  • 优化索引:确保主键索引的结构合理,避免过大的索引占用内存。

  • 使用适当的性能优化参数:例如设置 key_buffer_sizesort_buffer_size,以提高读取性能。

  • 定期优化数据库:通过删除旧数据、优化索引和执行碎片整理等操作,减少内存占用。

  • 监控数据库性能:通过工具监控数据库的内存使用情况,并根据需要调整配置。

  • 通过以上方法,可以有效地减少全表扫描对数据库内存的影响,确保数据库运行的稳定性。

    转载地址:http://eahfk.baihongyu.com/

    你可能感兴趣的文章
    Objective-C实现外观模式(附完整源码)
    查看>>
    Objective-C实现多尺度MSR算法(附完整源码)
    查看>>
    Objective-C实现多种方法求解定积分(附完整源码)
    查看>>
    Objective-C实现多组输入(附完整源码)
    查看>>
    Objective-C实现多项式函数在某个点的评估算法(附完整源码)
    查看>>
    Objective-C实现多项式哈希算法(附完整源码)
    查看>>
    Objective-C实现大位数乘法(附完整源码)
    查看>>
    Objective-C实现大根堆(附完整源码)
    查看>>
    Objective-C实现奇偶检验码(附完整源码)
    查看>>
    Objective-C实现奇偶转置排序算法(附完整源码)
    查看>>
    Objective-C实现奇异值分解SVD(附完整源码)
    查看>>
    Objective-C实现子集总和算法(附完整源码)
    查看>>
    Objective-C实现字符串autocomplete using trie(使用 trie 自动完成)算法(附完整源码)
    查看>>
    Objective-C实现字符串boyer moore search博耶摩尔搜索算法(附完整源码)
    查看>>
    Objective-C实现字符串IP地址转DWORD地址(附完整源码)
    查看>>
    Objective-C实现字符串jaro winkler算法(附完整源码)
    查看>>
    Objective-C实现字符串manacher马拉车算法(附完整源码)
    查看>>
    Objective-C实现字符串wildcard pattern matching通配符模式匹配算法(附完整源码)
    查看>>
    Objective-C实现字符串word patterns单词模式算法(附完整源码)
    查看>>
    Objective-C实现字符串Z 函数或 Z 算法(附完整源码)
    查看>>