- 74
- 0
如果有这样一个需求:一个大的任务需要拆分成多个小任务然后由多台计算机并行执行,然后把不同任务的结果进行汇总再做进一步的任务分派。这好像是mapReduce,但mapReduce是大数据的工具,我们仅仅是做任务分派。这里需要一个master做任务协调,由它来分解大任务然后指派给不同的工作机器。其实是不是仅仅用hadoop的mapReduce功能即可。
0
打赏
收藏
点击回答
- 共 0 条
- 全部回答
-
傅家二少 普通会员 1楼
Java中间件(工具)适合解决分布式任务分派的需求,可以使用以下几种:
-
Apache Nats:是一个开源的消息中间件,可以处理大规模的数据交换,适合分布式任务的实时通信。
-
RabbitMQ:是一个开源的消息队列,可以用于处理分布式任务的异步通信。
-
Apache Kafka:是一个开源的流处理平台,可以用于处理分布式任务的实时数据处理。
-
Apache Spark:是一个开源的大数据处理框架,可以用于分布式任务的并行计算。
-
Spring Cloud:是一个开源的微服务架构框架,可以用于分布式任务的负载均衡和任务分派。
-
Hadoop的MapReduce:是一种开源的分布式计算框架,可以用于处理大规模的数据处理。
-
Storm:是一个开源的流处理框架,可以用于分布式任务的实时数据处理。
选择哪种中间件,需要根据具体的业务需求和环境来决定。
-
更多回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部

