V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
senx0000
V2EX  ›  数据库

数据库大字段 json 内容提取最佳实践

  •  1
     
  •   senx0000 · 250 天前 · 1724 次点击
    这是一个创建于 250 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目前数据库是 oracle 11g ,不支持 json 之类的函数,现在想把一个表里 clob 字段存储的 json 格式内容中的 key 和 value 提取出来存到另一个表,json 有多层如{"a":{"b":"c"}},表里数据量是百万级,如何实现能保证速度不能太慢?
    我能想到的是写个批处理程序,有没有相应的框架或者更快的方案推荐?
    9 条回复    2024-04-23 16:26:49 +08:00
    hemingway
        1
    hemingway  
       250 天前   ❤️ 1
    百万级还好吧,如果是我做,思路:把源表的数据导出到文件,写一个处理程序处理这个文件得到你要的数据给是,然后导入到新表
    javalaw2010
        2
    javalaw2010  
       250 天前
    用你熟悉的语言快速写个批量处理的程序,这个量级,你有找别的方案的时间,数据都导完了。
    senx0000
        3
    senx0000  
    OP
       250 天前
    如果是亿级数据呢?感觉应该有现成的方案。
    SuperMari0
        4
    SuperMari0  
       250 天前
    正则?
    zw1one
        5
    zw1one  
       250 天前
    json 数据,要不直接切换到 MongoDB ?
    dode
        6
    dode  
       249 天前
    oracle 原生支持 json 运算,处理吗
    Jasckcc
        7
    Jasckcc  
       249 天前
    使用 PL/SQL 编写存储过程:
    编写一个 PL/SQL 存储过程来解析和提取 JSON 数据,然后将提取出的数据插入到目标表中
    realJamespond
        8
    realJamespond  
       249 天前
    不放 elk 搞起?
    dada88xyxy
        9
    dada88xyxy  
       248 天前
    可以试试用 kettle 来做,读取后再写入
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2854 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 08:26 · PVG 16:26 · LAX 00:26 · JFK 03:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.