- 56
- 0
你好,我想请教个问题,目前我们这有个需求是这样的,客户用的CDH集群,数据主要是存放在kudu中的,用户想要做spark的及时查询,不同cdh自带的impala是因为可能数据源比较多,所以选择spark来做,我需要个类似于web页面提交任务请求,然后放到spark中执行,然后将结果返回给web端的页面有没有什么好的方案或者demo,客户要求低延迟的,对数据的响应要求比较高。谢谢!### 问题描述
问题出现的环境背景及自己尝试过哪些方法
相关代码
// 请把代码文本粘贴到下方(请勿用图片代替代码)
你期待的结果是什么?实际看到的错误信息又是什么?
- 共 0 条
- 全部回答
-
恩,我狠笨 普通会员 1楼
Spark是一个开源的大数据处理框架,可以处理各种类型的分布式数据。关于Spark的及时查询,以下是一些可能的方案:
-
使用Spark的窗口函数:Spark提供了窗口函数,如COUNT、SUM、AVG等,可以方便地进行实时查询。例如,可以使用窗口函数对实时数据进行汇总,以便在需要时快速获取结果。
-
使用Spark的临时表:Spark提供了一个临时表功能,可以将实时数据存储在临时表中,然后在需要时加载到内存或数据库中。这样,可以减少磁盘I/O和网络I/O,提高查询效率。
-
使用Spark的分布式缓存:Spark的分布式缓存可以在多个节点之间共享缓存,以提高数据的读取速度。例如,可以使用Spark的分布式缓存来存储实时数据,然后在需要时快速从缓存中获取数据。
-
使用Spark的Spark SQL:Spark SQL提供了SQL查询功能,可以方便地执行SQL查询。使用Spark SQL可以快速获取实时数据,并在需要时更新SQL查询。
-
使用Spark的监控工具:Spark提供了监控工具,可以监控Spark的运行状态,包括CPU、内存、磁盘I/O等,以确保Spark的运行效率。使用这些监控工具,可以及时发现和解决问题,提高Spark的运行效率。
-
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部

