Текст, которого нет08.10.2016 14:33

Текстовые редакторы, основная задача которых — отображение моноширинного шрифта (например, кода), должны, как и следует из названия, показывать символы одной ширины.

В Unicode есть символы, видеть которые не положено.
Текстовый редактор может просто отрендерить текст с таким символом, а может предпринять какие-то действия, чтобы сделать его заметным.

Кто же они?

Пришёл на смену zero-width no-break space (U+FEFF), потому что U+FEFF стал использоваться для кодирования BOM (byte-order mask, несколько байт в начале файла, обозначающие его кодировку и порядок байт). Этот символ запрещает перенос строки там, где он встречается.

Устаревший символ, заменён на word joiner, использовался в тех же целях.

Используется в индийских и арабских шрифтах для объединения символов, которые без него не были бы соединены.

В начертаниях с лигатурами можно вставить его между буквами, чтобы лигатуры не было:

Он втречаетя даже на клавиатурах:

Используется, когда нужно обозначить границу слов, не вставляя пробел. Этот текст будет переноситься по словам:

Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word

А этот нет:

WordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWord

«Невидимые операторы», добавленные в Unicode 3.2. Нужны для обозначения математических операций в выражениях.

Например, эта запись: Aij
Может означать или индекс (i, j) в двумерном массиве, или индекс i*j в одномерном. Для устранения неоднозначности можно использовать или Invisible times, или Invisible separator, чтобы было понятно, что имелось в виду.

Аналогчино, f (x + y), это или умножение, или функция.

Визуально они не должны отличаться, но некоторые парсеры смогут понять, что имелось в виду.

Из названия понятно, для чего он. Этот символ уже не раз вызывал проблемы. Очень хорошо описан в этом ответе.

Конечно же, отображение зависит не только от редактора, но ещё и от шрифта, посмотрим на рендеринг текста, не меняя настроек редакторов.

Atom, Sublime, VSCode, Xamarin Studio, XCode, Notepad++:

Cat не показывает их:

Vim тоже не сообщает о некоторых символах, даже с включённой настройкой set list, а вот less справляется лучше:

GitHub, вот так показываются эти символы в pull request-ах и diff-ах:

Один из популярных редакторов кода, CodeMirror:

В том же CodeMirror, используемом jsbin, в IE часть символов видна:

ACE догадывается, что там бяка, и говорит, что что-то тут нечисто, но вот что именно — показывает не всегда:

Редакторы на платформе IntelliJ:

Разные инструменты сравнения кода под macOS (P4Merge, FileMerge, KDiff3):

KDiff3, попытка засчитана, но этого не достаточно.

SourceTree: не обрабатывает текст вообще никак, плохо:

Tortoise, тоже почти ничего:

git diff: молодец, показал всё, ещё и выделил. Просто прекрасно, для diff tools это образец для подражания:

Кто-то сделал язык программирования Anguish, использующий только невидимые символы.

Он основан на brainfuck, но использует не знаки пунктуации, а символы, о которых мы говорили выше.

Есть даже интерпретатор на Perl и примеры использования.

Плохой код, фу таким быть, сделать закладку можно совсем просто:

function f() {
  // ну вы поняли, на что заменить
  return 'access_denined';
}
let code = f();
if (code === 'access_denied') {
  return 401;
}

Пиши чистый код, %username%. Следуй best practices, их придумали не просто так, а для того чтобы держать меньше вещей в голове, в том числе своевременно замечая такие штуки. Увидел магическую строчку, странный или непроверяемый default case, ещё что-то: есть время — не поленись, перепиши как надо. Проводи код-ревью, смотри что коммитят в твою репу, поддерживай хорошее покрытие. Помни, что строке может быть не только то, что видно на экране, проверь в hex-редакторе, если возникло подозрение.

Вообще, вероятность реализации бэкдора через невидимый символ, конечно, есть, но скорее нет, чем да: найти его достаточно просто, а вставить закладку в говнокод можно и другими методами.

• Unicode Demystified, A Practical Programmer«s Guide to the Encoding Standard, by Richard Gillam (вы знаете, где искать) — хорошая книга про unicode, многое рассказано, в том числе и о таких символах

Комментарии (1)

• WST

  8 октября 2016 в 13:46

  +2

  ↑

  ↓

  Вспомнилось, как много лет назад я иногда злоупотреблял такими символами, чтобы побыстрее исчерпать трафик или квоту на объём БД у своей «жертвы». Например, пишу фразу «Привет! Как дела?», а внутри спрятаны тысячи невидимых знаков. Короткое сообщение начинает «весить» достаточно много. Правда, иногда эти символы выдают себя нагрузкой на браузер (или Jabber-клиент) — к примеру, становится «трудно» выделять текст, прокрутка подтормаживает и т.д.