教你在命令行操作 JSON

jq是一個靈活的輕量級命令行 JSON 處理器，你可以使用jq命令對 JSON 進行過濾、遍歷或者結構轉換等操作

項目主頁位於：https://stedolan.github.io/jq/

你也可以在線體驗：https://jqplay.org/

官方文檔參考：https://stedolan.github.io/jq/manual/#Basicfilters

下面來讓我們快速入門一下吧

基礎

$ jq -h
jq - commandline JSON processor [version 1.6]

Usage: jq [options] <jq filter> [file...]
 jq [options] --args <jq filter> [strings...]
 jq [options] --jsonargs <jq filter> [JSON_TEXTS...]

常見的用法是jq [options] <jq filter> [file...]，例如

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq '.foo'
{
  "bar": {
    "baz": 123
  }
}

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq -c '.foo.bar'
{"baz":123}

其中-c 爲options，'.foo' 即爲filter，兩者都會在下文介紹

參數 [options]

🌲 -r   output raw strings, not JSON texts

字符串默認帶引號，使用-r可以移除字符串的引號

$ echo '{"foo": "bar"}' | jq '.foo'
"bar"

$ echo '{"foo": "bar"}' | jq -r '.foo'
bar

🌲 -c    compact instead of pretty-printed output

jq 默認輸出格式化之後的 json，如果希望能在一行輸出使用 -c

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq  '.foo | .bar'
{
  "baz": 123
}

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq -c '.foo | .bar'
{"baz":123}

過濾器

🌲 .    輸出原始的 JSON 數據

因爲 jq 默認是格式化的，所以這個filter可以當作格式化

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq  '.'
{
  "foo": {
    "bar": {
      "baz": 123
    }
  }
}

鏈接符

先看下連接符，具體 filter 的含義下面會介紹。兩個連接符都是用來組合不同 filter 來完成特定功能的

🌲 ,    使用多個 filter

需要注意的是使用,每一個 filter 產生的輸出都是一行

$ echo '{"user":"stedolan", "projects": ["jq", "wikiflow"]}' | jq '.user, .projects[]'
"stedolan"
"jq"
"wikiflow"

🌲 |    管道

jq '.a.b.c' 、 jq '.a | .b | .c'  jq '.a' | jq '.b' | jq '.c'是一樣的

如果第一個 filter 產生多個結果，那麼下一個 filter 會對每一個結果都執行。因此.[] | .foo 取出數組中的每一個 "foo"

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[] | .name'
"JSON"
"XML"

對象操作

🌲 .foo, .foo.bar    獲取對象 key 的值

'.foo'代表獲取foo這個 key

'.foo.bar' 代表獲取foo對象中的bar，它和上文介紹的 .foo|.bar相同

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq  '.foo'
{
  "bar": {
    "baz": 123
  }
}

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq  '.foo.bar'
{
  "baz": 123
}

⚠️ 如果對象的 key 包含特殊字符或者以數字開頭，使用'.foo'會報錯。此時需要使用雙引號包裹: ."foo$"、."1foo"

$ echo '{ "1foo": { "bar": { "baz": 123 } } }' | jq  '.1foo'
jq: error: syntax error, unexpected IDENT, expecting $end (Unix shell quoting issues?) at <top-level>, line 1:
.1foo
jq: 1 compile error

$ echo '{ "1foo": { "bar": { "baz": 123 } } }' | jq  '."1foo"'
{
  "bar": {
    "baz": 123
  }
}

❗️當取值不是對象時 jq 默認會報錯，如果想忽略報錯可以使用  .foo?

$ echo '[1,2,3]' | jq  '.foo'
jq: error (at <stdin>:1): Cannot index array with string "foo"

$ echo '[1,2,3]' | jq  '.foo?'

數組操作

🌲 .[2]    數組索引

數組索引也是從 0 開始，同時支持負數

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[0]'
{
  "name": "JSON",
  "good": true
}

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[-2]'
{
  "name": "JSON",
  "good": true
}

🌲 .[10:15]    數組切片

.[10:15] 包含從從 0 開始 10（含）到 15（不含）號元素，如果沒有值則默認到頭 / 尾

$ echo '["a","b","c","d","e"]' | jq '.[1:3]'
[
  "b",
  "c"
]

$ echo '["a","b","c","d","e"]' | jq '.[1:]'
[
  "b",
  "c",
  "d",
  "e"
]

數組 / 對象

🌲 .[]    遍歷

對於數組來說，會返回數組中的所有元素

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[]'
{
  "name": "JSON",
  "good": true
}
{
  "name": "XML",
  "good": false
}

對於對象來說，會返回對象中的所有值

$ echo '{"a":1,"b":[1,2]}' | jq '.[]'
1
[
  1,
  2
]

結合上文提到管道，可以取出數組中的每一個 field

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[] | .name'
"JSON"
"XML"

與 shell 結合的常見操作

🌲 同時將 json 中的多個值賦值到多個變量

首先利用, 來同時解析多個 json 字段

其次用echo把多行輸出轉換成單行輸出

最後利用read讀取到多個變量裏

$ read json xml <<< $(echo $(echo '{"foo":"JSON","bar":"XML"}' | jq -c '.foo, .bar')) && \
echo "json:$json,xml:$xml"
json:"JSON",xml:"XML"

🌲 把多個 json 字段輸出到一行

上面使用 echo 是一種方式，還有一種更通用，尤其是處理數組時更方便的方式

利用@tsv處理，注意輸入需要是數組

# 不加處理
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r  '.[] | .name, .good'        
JSON
true
XML
false

# 利用@tsv處理，注意輸入需要是數組
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r  '.[] | [.name, .good] | @tsv'
JSON    true
XML     false

# 還可以輸出csv格式的
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r  '.[] | [.name, .good] | @csv' 
"JSON",true
"XML",false

🌲 遍歷數組

對數組中的每一個元素進行處理

$ echo '["a","b","c","d","e f"]' | jq -c '.[]' | while read i; do echo "val=${i}"; done
val="a"
val="b"
val="c"
val="d"
val="e f"

總結

以上主要介紹了用jq提取json字段的基礎用法，jq還有函數，操作符等非常高階的用法。後面有機會再介紹

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/rUxOUJc-fXw0auwS8exFfQ