在Mysql或Oracle数据库中加载一个大的json文件


Load a big json file in Mysql or Oracle database

在工作中,我们为其他服务提供文件。它们的大小在5个月到500个月之间。我们想使用 Json 而不是 XML,但我想知道我们的客户如何在他们的数据库Oracle或Mysql中以简单的方式上传这些文件。我的意思是,我在 Web APi 或函数或工具上找不到 Mysql 或 oracle 来做到这一点。我知道很容易通过数据来加载一个小的 Json 文件,解码每个对象或数组,并将它们放在数据库中的正确位置。但是有没有其他方法可以做到这一点,比如 Oracle 中的 sqlloader ?如果是这样,我们文件的大小是不是太大而无法生成 JSON 文件,例如在 JAVA 中?我想自动执行此加载作业可能很困难,特别是因为像这样的数组:

{"employees":[
    {"firstName":"John", "lastName":"Doe", "salaryHistory":[1000,2000,3000]},
    {"firstName":"Anna", "lastName":"Smith", "salaryHistory":[500,800]},
    {"firstName":"Peter", "lastName":"Jones", "salaryHistory":[400]}
]}

薪水历史必须产生问题,因为它们的大小不同,而且数据不是疯狂的在同一表中。欢迎任何想法或帮助!

编辑

我正在寻找一种解决方案,将每个数据放在表的良好列中,我不需要在简单表的单列中存储 Json 结构。

喜欢这个:表员工:列是id,名字,姓氏和表工资历史:列有id,订单,工资

并且每个数据都必须放在好列中,例如名字中的"John",姓氏中的"Doe",然后在新的表工资历史中出现"1000",在另一行新的工资历史中出现"2000"等等。

从MySQL 5.7开始,有一种新的数据类型:JSON。查看此处了解更多详情。

甲骨文 12c 示例:

create table transactions (
   id      number not null primary key,
   trans_msg       clob,
   constraint 
   check_json check (trans_msg is json)
);

常规插入:

insert into transactions
values
(
   sys_guid(),
   systimestamp,
'{
   "TransId"         :   3,
   "TransDate"       :   "01-JAN-2015",
   "TransTime"       :   "10:05:00",
   "TransType"       :   "Deposit",
   "AccountNumber"   :   125,
   "AccountName"     :   "Smith, Jane",
   "TransAmount"     :   300.00,
   "Location"        :   "website",
   "CashierId"       :   null,
   "ATMDetails"      :   null,
   "WebDetails"      : {
                     "URL"   : "www.proligence.com/acme/dep.htm"
              },
   "Source"   :   "Transfer",
   "TransferDetails"   :
            {
               "FromBankRouting"   : "012345678",
               "FromAccountNo"   : "1234567890",
               "FromAccountType"   : "Checking"
            }
}'
)
/

SQL*加载器控制文件和数据文件:

load data into table transactions
fields terminated by ','
(
  trans_id    sequence(max,1),
  fname       filler char(80),
  trans_body  lobfile(fname) terminated by EOF
)