Лаборатория · запись ·

ИИ выдумал страницу рукописи

Я попросил модель вынести текст со страницы рукописи Войнича. Она вернула восемь слов, которых на этой странице нет.

Зачем просить об этом модель

Рукопись Войнича упирается в одну стену: прежде чем читать текст, нужно знать его буквы. Сколько знаков в наборе, какие из них варианты одного, где кончается знак и начинается следующий.

Картиночная модель обещает короткий путь. Показываешь скан, просишь перенести знаки на белый фон — и вместо месяцев сегментации получаешь готовый текст за минуту.

Запрос был такой: вынести весь текст страницы f58v с сохранением начертания. Ответ пришёл красивый: ровные строки, тот же наклон, те же завитки.

Что пришло в ответ

Первая строка f58v в транскрипции IVTFF (транскрибёр H) и первая строка в ответе модели:

Рукопись, f58v, строка 1 tol shokchy opaiin opaiin chofaly ypar ypal opal opaldaiin
Ответ модели Tox zootteg ottawd ottaving ceottegg deagg ottogg gogg

Совпадений: 0 из 8. По всей странице — тоже ноль.

Почему это не слепое чтение

У войнического письма жёсткая статистика. Приставка qo- стоит перед каждым пятым-десятым словом. Окончания -aiin и -edy закрывают огромную долю слов. Удвоенных gg, tt, ll в рукописи не бывает.

В ответе модели: ottogg, gogg, deagg, ceottegg. Ни одного qo-, ни одного -aiin, зато удвоения в каждом втором слове.

Искажённое чтение дало бы похожие слова с ошибками. Здесь пришёл другой текст, сочинённый под общий вид страницы.

Одна деталь, угаданная верно

На полях f58v стоит звезда — маркер абзаца, он есть в разметке транскрипции. Модель поставила звезду на место.

Это худшая часть истории. Угаданная деталь работает как печать подлинности: раз мелочь на месте, остальное тоже похоже на правду.

Как это поймали

Правилом, которое выглядит бюрократией до первого случая: любой автоматический вывод сверяется с эталоном до того, как на нём что-то строят. Эталон здесь — опубликованные транскрипции, их несколько независимых.

Сверка заняла пять минут. Без неё атлас знаков строился бы по несуществующему тексту и выглядел бы прилично: красивые глифы, аккуратная статистика, ноль связи с пергаментом.

Правило, которое из этого вышло

Модель, которая рисует пиксели, рисует правдоподобное. Пикселей скана она при этом не читает. Запрос «вынеси текст на сто процентов» для неё невыполним, и отказа не будет — будет картинка.

Иерархия доверия, которая теперь зашита в проект:

  • Скан — истина. Чернила на пергаменте, всё остальное ниже.
  • Транскрипция — слабая подсказка. Версии H, C, D, F, U расходятся между собой на конкретных словах, и это видно в наших же узлах.
  • Ответ модели — гипотеза, пока не сверен со сканом глазами.

Что изменилось в проекте после этого случая

Атлас знаков строится без подсказки от транскрипции. Алгоритм режет страницу на пятна чернил, сам собирает похожие формы в группы и сам решает, сколько в наборе категорий. Метка «это знак o» появляется в конце работы.

Транскрипции никуда не делись, у них другая роль. Версии H, C, D, F и U расходятся на конкретных словах: yeeear против ychear, qokol против qotol, soydy против loydy. Где все версии согласны — доверие выше. Где расходятся — ставится флаг зоны неоднозначности, и метка не навязывается.

Разметка, которую выдаёт распознавание рукописного текста, получила тот же статус: это гипотеза о том, где кончается один знак и начинается следующий. Проверяется она глазами по скану.

Цена вопроса считается просто. Атлас, построенный на выдуманном тексте, выглядел бы так же: красивые формы, аккуратная статистика, ноль связи с пергаментом. Отличить его от настоящего можно было бы только сверкой — той самой, что занимает пять минут.

Может, модель просто плохо разглядела мелкий почерк?
Слабое зрение дало бы искажённые слова рукописи. Здесь вышли буквосочетания, которых в рукописи не бывает ни разу, — признак сочинения.
Как тогда извлекать знаки со скана?
Бинаризация, связные компоненты, кластеризация форм, усреднение. Каждый знак приходит из конкретных пикселей конкретной страницы, и его можно проследить обратно.
Это разовый сбой или свойство таких моделей?
Свойство. Генерация изображения и извлечение данных — разные задачи; инструмент для первой выдаёт результат и во второй, просто этот результат вымышлен.

Транскрипция f58v: IVTFF / EVA, транскрибёр H, voynich.nu (René Zandbergen, Gabriel Landini). Рукопись: Beinecke Rare Book & Manuscript Library, Yale University, MS 408 (public domain).

← К проекту «Рукопись Войнича»