账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    数据上传的设计
    • 守一座空城等一個舊人、2021-12-17 02:27
    45
    0
    线下 windows 服务器中运行了自己 springboot 开发的用于上传数据的项目,将本地 mysql 中符合条件的数据上传到腾讯云的 centos 中的 mysql 中。一次要上传大概 5K 条数据(定时检测,每次到期要上传时大概有5K条数据要上传),我现在是没有使用任何异步、多线程的方式,感觉程序反应速度太慢,运行起来后等几分钟查看云端数据库都没有反应。这种情况要如何高效设计上传的程序?
    0
    打赏
    收藏
    点击回答
        全部回答
    • 0
    • 锁顁婞福 普通会员 1楼

      数据上传的设计通常涉及到以下几个主要步骤:

      1. 数据收集:首先,你需要确定需要上传的数据类型和格式。这可能包括文本、图像、视频等。你需要确定数据的大小和存储方式。

      2. 数据预处理:在数据上传之前,你需要对其进行预处理。这可能包括清洗数据,填充缺失值,转换数据格式等。

      3. 数据存储:在预处理完成后,你需要将数据存储到一个合适的地方。这可能包括数据库,文件系统,云存储等。

      4. 数据上传:在数据存储完成后,你需要将数据上传到服务器或云存储服务中。这通常涉及到HTTP请求或API调用。

      5. 数据验证:在数据上传后,你需要对数据进行验证,以确保其质量。这可能包括数据完整性检查,数据一致性检查,数据合规性检查等。

      6. 数据存储:在数据验证完成后,你需要将验证结果存储到数据库,文件系统,云存储等。

      7. 数据备份:最后,你需要定期备份数据,以防止数据丢失。

      以上就是数据上传的设计流程,实际的设计可能会根据具体的业务需求和技术环境进行调整。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部