账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    关于spark及时查询的方案
    56
    0

    你好,我想请教个问题,目前我们这有个需求是这样的,客户用的CDH集群,数据主要是存放在kudu中的,用户想要做spark的及时查询,不同cdh自带的impala是因为可能数据源比较多,所以选择spark来做,我需要个类似于web页面提交任务请求,然后放到spark中执行,然后将结果返回给web端的页面有没有什么好的方案或者demo,客户要求低延迟的,对数据的响应要求比较高。谢谢!### 问题描述

    问题出现的环境背景及自己尝试过哪些方法

    相关代码

    // 请把代码文本粘贴到下方(请勿用图片代替代码)

    你期待的结果是什么?实际看到的错误信息又是什么?

    0
    打赏
    收藏
    点击回答
    您的回答被采纳后将获得:提问者悬赏的 11 元积分
        全部回答
    • 0
    • 恩,我狠笨 普通会员 1楼

      Spark是一个开源的大数据处理框架,可以处理各种类型的分布式数据。关于Spark的及时查询,以下是一些可能的方案:

      1. 使用Spark的窗口函数:Spark提供了窗口函数,如COUNT、SUM、AVG等,可以方便地进行实时查询。例如,可以使用窗口函数对实时数据进行汇总,以便在需要时快速获取结果。

      2. 使用Spark的临时表:Spark提供了一个临时表功能,可以将实时数据存储在临时表中,然后在需要时加载到内存或数据库中。这样,可以减少磁盘I/O和网络I/O,提高查询效率。

      3. 使用Spark的分布式缓存:Spark的分布式缓存可以在多个节点之间共享缓存,以提高数据的读取速度。例如,可以使用Spark的分布式缓存来存储实时数据,然后在需要时快速从缓存中获取数据。

      4. 使用Spark的Spark SQL:Spark SQL提供了SQL查询功能,可以方便地执行SQL查询。使用Spark SQL可以快速获取实时数据,并在需要时更新SQL查询。

      5. 使用Spark的监控工具:Spark提供了监控工具,可以监控Spark的运行状态,包括CPU、内存、磁盘I/O等,以确保Spark的运行效率。使用这些监控工具,可以及时发现和解决问题,提高Spark的运行效率。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部