集团主站
欢迎来到成都达内官方网站!达内—美国上市公司 亿元级外企IT培训企业!
成都it培训哪家好
成都it培训哪家好
全国服务监督电话:400-111-8989  |   联系客服   |
当前位置:主页 > 培训课程 > 大数据 >

成都大数据学习路线:scala json fastjson json4s

发布者: 成都达内     浏览次数:     发布时间:2020-09-24 10:56:22

成都大数据学习路线:最近有个spark任务涉及到scala操作json,大概流程是这样:从hbase取数据,每条数据先parse json,然后删除一个多余的key,最后在弄成json字符串,输出到hdfs。...

  最近有个spark任务涉及到scala操作json,大概流程是这样:从hbase取数据,每条数据先parse json,然后删除一个多余的key,最后在弄成json字符串,输出到hdfs。

  成都大数据学习路线:scala json fastjson json4s

  json大概长这样,{“@type”:{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}],"@value":[]}

  逻辑不复杂,读取hbase的部分在此略去,json相关代码如下,用fastjson解析json

  package dev.json

  import com.alibaba.fastjson.JSON

  object Course1 {

  def main(args: Array[String]): Unit = {

  val key = "key-to-remove"

  val s =

  """

  |{"@type":{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}],"@value":[]}

  |""".stripMargin

  val obj = JSON.parseObject(s)

  obj.remove(key)

  val out = obj.toJSONString

  println(out)

  }

  }

  然后就是一顿报错

  Exception in thread "main" com.alibaba.fastjson.JSONException: expect ':' at 2, actual "

  at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:296)

  at com.alibaba.fastjson.parser.DefaultJSONParser.parse(DefaultJSONParser.java:1401)

  at com.alibaba.fastjson.parser.DefaultJSONParser.parse(DefaultJSONParser.java:1367)

  at com.alibaba.fastjson.JSON.parse(JSON.java:183)

  at com.alibaba.fastjson.JSON.parse(JSON.java:193)

  at com.alibaba.fastjson.JSON.parse(JSON.java:149)

  at com.alibaba.fastjson.JSON.parseObject(JSON.java:254)

  at dev.json.Course1$.main(Course1.scala:12)

  at dev.json.Course1.main(Course1.scala)

  以前用fastjson从来没碰到这样的问题,一顿百度,然后才知道是里面包含了@type的key,autotype is not supported,阿里出于安全考虑,@type容易注入一些不安全操作,所以抛出错误。查了一些资料,总算是修复了,需要加上一些选项,把所在包添加白名单,从而关闭对@type的解析。代码如下:

  package dev.json

  import com.alibaba.fastjson.JSON

  import com.alibaba.fastjson.parser.{Feature, ParserConfig}

  object Course1 {

  // 添加包白名单

  ParserConfig.getGlobalInstance.addAccept("dev.json")

  def main(args: Array[String]): Unit = {

  val key = "key-to-remove"

  val s =

  """

  |{"@type":{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}],"@value":[]}

  |""".stripMargin

  // 关闭特殊key检查

  val obj = JSON.parseObject(s, Feature.DisableSpecialKeyDetect)

  obj.remove(key)

  val out = obj.toJSONString

  println(out)

  }

  }

  然后结果就可以正常解析,输出如下:

  {"@value":[],"@type":{"data":[],"name":"application-content","version":"1.0.2"}}

  这次报错,加上前段时间因为fastjson漏洞事件,公司要求紧急升级fastjson版本,瞬间对fastjson印象不那么好了,说不定哪天就全面禁止在项目中使用fastjson。所以顺便尝试了jackson的scala版本,json4s。json4s使用起来也不那么顺手,但也够用。上面的功能,用json4s重写了一个版本。

  package dev.json

  import org.json4s.DefaultFormats

  import org.json4s.JsonDSL._

  import org.json4s.jackson.JsonMethods._

  object Course2 {

  implicit val formats = DefaultFormats

  def main(args: Array[String]): Unit = {

  val key = "key-to-remove"

  val s =

  """

  |{"@type":{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}],"@value":[]}

  |""".stripMargin

  val obj = parse(s)

  if (null != obj) {

  val obj2 = obj.removeField(_._1.equals(key))

  val out = compact(render(obj2))

  println(out)

  }

  }

  }

(责任编辑:范老师)
最新开班
  • 成都Java培训班
    免费试听名额发放中...
  • 成都C++培训班
    免费试听名额发放中...
  • 成都PHP培训班
    免费试听名额发放中...
  • 成都网络工程培训班
    免费试听名额发放中...
  • 成都Unity3D培训班
    免费试听名额发放中...
  • 成都大数据培训班
    免费试听名额发放中...
  • 成都uid培训班
    免费试听名额发放中...
  • 成都会计培训班
    免费试听名额发放中...
  • 成都Python培训班
    免费试听名额发放中...
  • 成都嵌入式培训班
    免费试听名额发放中...
  • 成都web培训班
    免费试听名额发放中...
  • 成都软件测试培训班
    免费试听名额发放中...
在线留言
提交

校区地址:成都市锦江区东大街紫东楼端35号明宇金融广场19楼1906室

联系电话:400-111-8989

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市高新区奥克斯广场蜀锦路209号一楼商铺

联系电话:400-111-8989

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都锦江区东大街芷泉街229号东方广场C座3楼303

联系电话:400-111-8989

公交路线:芷泉街(188路;115路;515路;236路;505路;501路;84路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市武侯区佳灵路3号红牌楼广场2号写字楼11楼1115号

联系电话:400-111-8989

公交路线:红牌楼东(11路;92路;100路;111路;139路;g28路;快速公交K1/K2) 地铁路线:红牌楼站(地铁3号线)

校区地址:成都市锦江区红星路二段70号四川日报大厦502-2

联系电话:400-111-8989

公交路线:市二医院站(6路;49路;102路;5路;37路;g92路;) 地铁路线:地铁市二医院(地铁3号线)

校区地址:成都市锦江区东大街芷泉段229号东方广场C座16层

联系电话:400-111-8989

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:四川省成都市武侯区高新科技孵化园9号园区E座7楼

联系电话:400-111-8989

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

了解达内动态
关注成都达内教育公众号

首页 | 关于达内 | 课程中心 | 专家师资 | 视频教程 | 学员空间 | 校企合作 | 新闻资讯 | 就业指导 | 网站地图

2016-2025 达内时代科技集团有限公司 版权所有 京ICP证8000853号-56 蜀ICP备18021046号-3