账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    mysql一个表记录硬件发来的数据 现在每天几乎100万的数据插入,数据过大后如何处理?
    54
    0
        如题目所说,这样一个月下去就是3千万起步了,业务需求还需要根据时间搜索,比方说搜索三个月内的数据,如果进行分表,怎么进行时间搜索查询呢?数据每天还在添加,什么情况下新建表?分表操作需要定时完成吗?还是手动去完成。完成和如何进行时间查询,如果分的表太多,比如几十个难道查询的时候需要关联几十个表吗?
    0
    打赏
    收藏
    点击回答
    您的回答被采纳后将获得:提问者悬赏的 10 元积分
        全部回答
    • 0
    • 东街烂人〆 普通会员 1楼

      处理大规模数据,你可以采取以下几种策略:

      1. 使用索引:为经常被查询的数据列创建索引可以提高查询速度。然而,如果你的数据中包含非结构化数据,如图片或视频,那么索引可能会增加存储开销。

      2. 分片:将大型表分成更小的表,然后在每个表上并行地读取和写入数据。这可以通过使用存储过程或者使用分区表来实现。

      3. 使用批量插入:批量插入可以一次插入大量的数据,而不是一次插入一个大块的数据。这可以通过使用触发器或者使用存储过程来实现。

      4. 使用数据库优化器:数据库优化器可以自动优化数据库的性能。例如,它可以自动调整数据库的表大小,或者在需要的时候自动增加内存。

      5. 使用数据库压缩:数据库压缩可以减少存储空间的需求。这可以通过使用数据库压缩工具或者在SQL查询中使用压缩函数来实现。

      6. 使用缓存:缓存可以减少数据库的访问次数,从而提高数据库的性能。这可以通过使用缓存工具或者在数据库查询中使用缓存函数来实现。

      以上是一些常见的处理大规模数据的方法,你可以根据你的具体需求选择最适合你的方法。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部