[json] jq를 사용하여 임의의 간단한 JSON을 CSV로 변환하는 방법은 무엇입니까?

스키니

jq -r '(.[0] | keys_unsorted) as $keys | $keys, map([.[ $keys[] ]])[] | @csv'

또는:

jq -r '(.[0] | keys_unsorted) as $keys | ([$keys] + map([.[ $keys[] ]])) [] | @csv'

세부 사항

곁에

jq는 스트림 지향적이므로 단일 값이 아닌 일련의 JSON 데이터에서 작동하므로 세부 정보를 설명하는 것이 까다 롭습니다. 입력 JSON 스트림은 필터를 통해 전달되는 내부 유형으로 변환 된 다음 프로그램 끝에서 출력 스트림으로 인코딩됩니다. 내부 유형은 JSON으로 모델링되지 않으며 명명 된 유형으로 존재하지 않습니다. 베어 인덱스 ( .[]) 또는 쉼표 연산자 의 출력을 검사하여 가장 쉽게 설명 할 수 있습니다 (디버거로 직접 검사 할 수 있지만 JSON 뒤에있는 개념적 데이터 유형이 아닌 jq의 내부 데이터 유형 측면에서). .

$ jq -c '. []'<<< '[ "a", "b"]'
"ㅏ"
"비"
$ jq -cn ' "a", "b"'
"ㅏ"
"비"

출력은 배열이 아닙니다 ( ["a", "b"]). 압축 출력 ( -c옵션)은 각 배열 요소 (또는 ,필터 에 대한 인수 )가 출력에서 ​​별도의 객체가 된다는 것을 보여줍니다 (각각은 별도의 줄에 있음).

스트림은 JSON-seq 와 비슷하지만 인코딩시 출력 구분 기호로 RS가 아닌 개행 문자를 사용합니다 . 결과적으로이 내부 유형은이 답변에서 일반 용어 “시퀀스”로 참조되며 “스트림”은 인코딩 된 입력 및 출력용으로 예약되어 있습니다.

필터 구성

첫 번째 개체의 키는 다음을 사용하여 추출 할 수 있습니다.

.[0] | keys_unsorted

키는 일반적으로 원래 순서대로 보관되지만 정확한 순서가 보장되지는 않습니다. 결과적으로 동일한 순서로 값을 가져 오려면 객체를 인덱싱하는 데 사용해야합니다. 또한 일부 개체의 키 순서가 다른 경우 값이 잘못된 열에있는 것을 방지합니다.

키를 첫 번째 행으로 출력하고 인덱싱에 사용할 수 있도록하기 위해 키는 변수에 저장됩니다. 그런 다음 파이프 라인의 다음 단계는이 변수를 참조하고 쉼표 연산자를 사용하여 헤더를 출력 스트림 앞에 추가합니다.

(.[0] | keys_unsorted) as $keys | $keys, ...

쉼표 뒤의 표현은 약간 관련이 있습니다. 객체의 인덱스 연산자는 문자열 시퀀스 (예 :)를 가져와 "name", "value"해당 문자열에 대한 속성 값 시퀀스를 반환 할 수 있습니다. $keys시퀀스가 아닌 배열이므로 시퀀스 []로 변환하는 데 적용됩니다.

$keys[]

그런 다음 전달할 수 있습니다. .[]

.[ $keys[] ]

이것도 시퀀스를 생성하므로 배열 생성자가 배열로 변환하는 데 사용됩니다.

[.[ $keys[] ]]

이 표현은 단일 객체에 적용됩니다. map()외부 배열의 모든 개체에 적용하는 데 사용됩니다.

map([.[ $keys[] ]])

마지막으로이 단계의 경우 이는 시퀀스로 변환되어 각 항목이 출력에서 ​​별도의 행이됩니다.

map([.[ $keys[] ]])[]

시퀀스를 map외부에서 번들 해제하기 위해 배열로 묶는 이유는 무엇 입니까? map배열을 생성합니다. .[ $keys[] ]시퀀스를 생성합니다. map의 시퀀스에 적용하면 .[ $keys[] ]값의 시퀀스 배열이 생성되지만 시퀀스는 JSON 유형이 아니므로 대신 모든 값을 포함하는 평면화 된 배열을 얻습니다.

["NSW","AU","state","New South Wales","AB","CA","province","Alberta","ABD","GB","council area","Aberdeenshire","AK","US","state","Alaska"]

각 개체의 값은 최종 출력에서 ​​별도의 행이되도록 별도로 유지해야합니다.

마지막으로 시퀀스는 @csv포맷터를 통해 전달됩니다 .

번갈아 하는

항목은 일찍이 아닌 늦게 분리 될 수 있습니다. 쉼표 연산자를 사용하여 시퀀스를 가져 오는 대신 (시퀀스를 오른쪽 피연산자로 전달) 헤더 시퀀스 ( $keys)를 배열로 래핑하고 +값 배열을 추가하는 데 사용할 수 있습니다. 이것은에 전달되기 전에 시퀀스로 변환되어야합니다 @csv.

답변

def to_csv($headers):
    def _object_to_csv:
        ($headers | @csv),
        (.[] | [.[$headers[]]] | @csv);
    def _array_to_csv:
        ($headers | @csv),
        (.[][:$headers|length] | @csv);
    if .[0]|type == "object"
        then _object_to_csv
        else _array_to_csv
    end;

to_csv([ "code", "name", "level", "country" ])

# For an array of many objects
jq -f filter.jq (file)

# For many objects (not within array)
jq -s -f filter.jq (file)

def tocsv($x):
    $x
    |(map(keys)
        |add
        |unique
        |sort
    ) as $cols
    |map(. as $row
        |$cols
        |map($row[.]|tostring)
    ) as $rows
    |$cols,$rows[]
    | @csv;

tocsv(.)

def tocsv:
  if length == 0 then empty
  else
    (.[0] | keys_unsorted) as $keys
    | (map(keys) | add | unique) as $allkeys
    | ($keys + ($allkeys - $keys)) as $cols
    | ($cols, (.[] as $row | $cols | map($row[.])))
    | @csv
  end ;

tocsv