使用 Splunk 查询 json 数据答案

【问题标题】：Query json data using Splunk使用 Splunk 查询 json 数据
【发布时间】：2017-03-19 13:17:50
【问题描述】：

我们在 azure 存储（表和 blob）中有 json 格式的压缩数据我想将数据 ETL 到关系数据库，以便可以选择对数据运行 sql 查询我有一个将数据解压缩为 json 文件的实用程序，我通过SSIS包到ETL从excel到sql server（在将json转换为excel后使用pivot）有没有更简单的方法可以使用 splunk 达到相同的目的？请注意，我的 json 架构有点复杂 json 示例：

{
"columns": [
{
  "name": "database_name",
  "values": [
    "sales",
    "salesr",
    "sal"

  ],
  "encd": 0,
  "type": 0
},
{
  "name": "machine_name",
  "values": [
    "ISRVMN823",
    "ISRVMN825",
    "ISRVMN822"

  ],
  "encd": 0,
  "type": 0
},
{
  "name": "program_name",
  "values": [
    "SQLAgent - TSQL JobStep (Job 0x8701D9C6BFB3A146B9E6AB0602F5B4C3 : Step 1)",
    "SQLAgent - TSQL JobStep (Job 0xE3521B34CED03441B971A36E8EF5210B : Step 1)",
    "SQLAgent - TSQL JobStep (Job 0x4BBA5C65C5AF78469A7FE9B765BE430E : Step 1)"

  ],
  "encd": 0,
  "type": 0
}
],
"submission_time": 1483617753706,
"ds_id": "ISRVMN889",
"identity_broker": "00_yr",
"connection_name": "ISRVMN822SQL2012NY",
"table_name": "pass_unique_stat_5m",
"version": "1.0.0",
"duration": 300,
"sample_time": 1483617300000
}

我想在关系数据库中得到如下内容：

或其他查询数据的方式

谢谢

【问题讨论】：

标签： sql-server json excel ssis splunk

【解决方案1】：

给你:)

您可以忽略第一部分，这只是我将您的数据硬编码到搜索中

| makeresults
| eval json = "{
\"columns\": [
{
  \"name\": \"database_name\",
  \"values\": [
    \"sales\",
    \"salesr\",
    \"sal\"

  ],
  \"encd\": 0,
  \"type\": 0
},
{
  \"name\": \"machine_name\",
  \"values\": [
    \"ISRVMN823\",
    \"ISRVMN825\",
    \"ISRVMN822\"

  ],
  \"encd\": 0,
  \"type\": 0
},
{
  \"name\": \"program_name\",
  \"values\": [
    \"SQLAgent - TSQL JobStep (Job 0x8701D9C6BFB3A146B9E6AB0602F5B4C3 : Step 1)\",
    \"SQLAgent - TSQL JobStep (Job 0xE3521B34CED03441B971A36E8EF5210B : Step 1)\",
    \"SQLAgent - TSQL JobStep (Job 0x4BBA5C65C5AF78469A7FE9B765BE430E : Step 1)\"

  ],
  \"encd\": 0,
  \"type\": 0
}
],
\"submission_time\": 1483617753706,
\"ds_id\": \"ISRVMN889\",
\"identity_broker\": \"00_yr\",
\"connection_name\": \"ISRVMN822SQL2012NY\",
\"table_name\": \"pass_unique_stat_5m\",
\"version\": \"1.0.0\",
\"duration\": 300,
\"sample_time\": 1483617300000
}"
| spath input=json path=columns{} | rename columns{} as cols | table cols
| mvexpand cols
| spath input=cols | rename values{} as values | table name values
| transpose header_field=name | fields - column

【讨论】：