账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    序列化后的数据,怎么从Spark读出并转成DataSet或者DataFrame?
    • 2020-01-01 00:00
    • 11
    102
    0

    想用spark分析zipkin输出的数据,结果第一步就出现困难... =。=

    在kafka中有Span类型的数据,格式是Bytes[],需要通过SpanBytesDecoder这么一个类转换成Span类型,我这么在Spark Structured Streaming处理,成DataSet<Span>或者DataFrame

    val df = spark.readStream
          .format("kafka")
          .option("kafka.bootstrap.servers", "node1:9092, node2:9092, node3:9092")
          .option("subscribe", "zipkin")
          .option("group.id", "my-group-id")
          .load()
    0
    打赏
    收藏
    点击回答
    您的回答被采纳后将获得:提问者悬赏的 11 元积分
        全部回答
    • 共 0 条
    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部