Перейти к содержанию

Как открыть большой файл JSON (1 GB, 2 GB, 5 GB)

Текстовые редакторы и браузеры пытаются загрузить весь файл в оперативную память, поэтому многогигабайтный файл JSON подвешивает их. jsonreshape так не делает: он индексирует файл один раз — записывая байтовое смещение каждой записи — а затем читает только те записи, которые вы действительно просматриваете. Файл в 2 GB готов к просмотру примерно за 3 секунды.

Настольное приложение

  1. Установите jsonreshape (см. Установку) и запустите jsonreshape-gui.
  2. Выберите Файл → Открыть, перетащите файл на окно или щёлкните файл правой кнопкой мыши в Windows и выберите Открыть с помощью → jsonreshape.
  3. Просматривайте дерево слева — каждый узел показывает свой тип и размер в байтах — а выбранная запись отображается отформатированным текстом справа. Прокрутка загружает записи по мере необходимости.

Просмотрщик jsonreshape

Командная строка

jsonreshape inspect big.json --sample 10000

inspect сообщает число записей, поля и их типы, а также статистику размеров, читая лишь выборку. Он также может читать из стандартного ввода, поэтому вы можете исследовать сжатый поток, не распаковывая его на диск:

jsonreshape inspect - < data.json.gz

Что можно открыть

  • Массивы JSON ([ {...}, {...} ]) и отдельные большие объекты.
  • JSON Lines / NDJSON (.jsonl, .ndjson) — одна запись на строку.
  • Файлы от 100 MB до нескольких GB. Память растёт с числом записей, а не с размером файла, поэтому остаётся небольшой — сортировка 10 миллионов записей достигает пика менее 400 MB.

Дальнейшие шаги