Сравнение больших файлов

Оба файла читаются блоками по 1 МиБ внутри Web Worker. Текст не хранится: каждая строка превращается в 64-битный хэш, поэтому файл стоит около 8 байт на строку. Настройки пробелов и концов строк применяются при вычислении хэша: сравнивать точно, не учитывать пробелы в конце строки, не учитывать их количество или не учитывать совсем; CRLF и LF можно считать одинаковым концом строки. UTF-8 и UTF-16 хэшируются как символы Юникода, поэтому один и тот же текст в обеих кодировках совпадает. Устаревшие кодировки вроде Windows-1251 или Shift_JIS сравниваются по байтам.

Сопоставление строк сначала пропускает общее начало и конец, затем закрепляется на строках, которые встречаются ровно один раз в обоих файлах (patience diff), и выравнивает промежутки алгоритмом Майерса. Промежуток, на который ушло бы слишком много времени, показывается как одна замена, и страница об этом сообщает. Из файлов дочитываются только строки на экране, поэтому прокрутка миллионов изменённых строк остаётся лёгкой.

Бинарный режим сравнивает байты блоками и перечисляет все различающиеся диапазоны со смещением, длиной и первыми 16 байтами каждой стороны; разница в размере становится последним диапазоном. Отчёт для текста — unified diff (.diff), для бинарных файлов — CSV. Оба записываются в выбранный файл потоком.

Два лога: лог на 2 миллиона строк против копии, где у 40 строк уровень сменился с INFO на WARN, показывает 40 удалённых и 40 добавленных строк в отдельных блоках с тремя строками контекста.

Копии из Windows и Unix: файл с CRLF против той же копии с LF не даёт различий, пока включена настройка концов строк; выключите её — и отличаться будет каждая строка.

Другие отступы: выберите «Не учитывать количество пробелов», и строки, которые отличаются только пробелами или табуляцией между словами, считаются одинаковыми.

Образы прошивки: в бинарном режиме две сборки, у которых отличаются строка версии и контрольная сумма, дают два коротких диапазона со старыми и новыми байтами в hex.