Текст на изображениях нейросети: почему буквы распадаются

Ошибки текста на изображениях нейросети показывают, что создание визуально правдоподобной сцены и точное воспроизведение письменной речи — разные задачи.

Причина складывается из нескольких ограничений. Модель может получать текст не как последовательность отдельных букв, а в виде более крупных единиц; затем ей нужно отобразить эти единицы в пространстве изображения, сохранив их форму, порядок и интервалы. Чем длиннее строка и чем специфичнее язык, тем больше мест, где связь между словом и картинкой может ослабнуть.

Почему модель не всегда видит слово как последовательность букв

Для человека слово устроено наглядно: оно состоит из букв, которые идут в определённом порядке. Однако распространённые текстовые кодировщики могут преобразовывать слова в токены без явного представления их буквенного состава. Иными словами, модель получает текстовое описание, но не обязательно работает с ним как с цепочкой глифов, где каждый знак отдельно закреплён за конкретным местом.

Эта разница особенно заметна на редких словах и необычных сочетаниях символов. Если слово знакомо модели как цельная языковая единица, его связь с изображением может формироваться одним способом. Если слово редкое, составное или встречается в необычном написании, системе труднее удержать каждый элемент и порядок его следования. Модель может передать общий образ надписи, но потерять точность на уровне букв.

Исследование Google 2023 года проверяло, как меняется результат, когда кодировщик учитывает символьные признаки. В экспериментах на наборе DrawText варианты с таким представлением превзошли модели без него; для редких слов авторы сообщили о приросте точности более чем на 30 процентных пунктов. Это значимый результат для конкретного теста, но его нельзя превращать в универсальную оценку генераторов: он показывает, что способ представления текста влияет на изображение, а не гарантирует одинаковое улучшение во всех системах и сценариях.

Здесь проявляется более широкий вопрос о том, что именно модель усваивает при обучении. Она может хорошо улавливать смысловую категорию — например, что в кадре должна быть вывеска, — и одновременно не удерживать точную последовательность знаков. Семантическая узнаваемость и орфографическая точность связаны, но не совпадают.

Как изображение нарушает порядок надписи

Даже если текстовая часть условия задана точно, изображение нужно построить так, чтобы каждый знак оказался на своём месте. Генератор одновременно формирует форму букв, их размер, промежутки, наклон, контраст и отношение надписи к другим элементам кадра. Для короткого крупного слова задача сравнительно компактна. Для длинной строки с мелкими символами число взаимозависимых деталей растёт.

Поэтому типичная ошибка не всегда выглядит как простая опечатка. В бенчмарке STRICT среди характерных сбоев описаны перемешанные символы, неправильное написание и визуально фрагментированный текст. Отдельно проверялись потеря связности длинных надписей и несоблюдение текстовых инструкций. Это разные проявления одной трудности: системе нужно не только нарисовать знаки, но и сохранить их последовательность как целостную структуру.

Для зрителя разница между «похожей на текст» полосой и читаемой надписью принципиальна. Первая может поддерживать композицию: зритель распознаёт вывеску, этикетку или плакат как тип объекта. Вторая передаёт точное сообщение. Генератор изображения нередко справляется с визуальной ролью текста раньше, чем с его буквальным содержанием.

Нейросеть может убедительно изобразить сам факт надписи, но точность сообщения требует сохранения каждого символа и его места.

Отсюда возникает знакомое противоречие: картинка выглядит законченной, а ключевое слово в ней прочитать нельзя. В художественной сцене этот дефект может остаться фоном. В афише, упаковке, инструкции или рекламном макете он затрагивает уже не эстетику, а смысл и пригодность изображения.

Длина строки: что проверял STRICT

Бенчмарк STRICT рассматривал строки от 5 до 5000 символов. Авторы проверяли, как генераторы справляются с текстом разной длины, и обнаружили заметное ухудшение качества у большинства испытанных диффузионных моделей при длине свыше примерно 200 символов. Это наблюдение относится к набору моделей и процедуре тестирования в исследовании; 200 символов не являются универсальной границей, после которой любая система неизбежно ошибается.

Длинная строка создаёт сразу несколько нагрузок. Модель должна сохранить локальную форму каждого знака, порядок слов и общую связность, а также разместить всё это в доступном пространстве изображения. Ошибка в одном участке способна повлиять на соседние: меняется расстояние между буквами, часть слова сливается с фоном, а продолжение строки становится менее различимым. Чем протяжённее надпись, тем труднее оценивать её как единую последовательность.

В обсуждении результатов STRICT авторы связывают часть ухудшения с ограничениями текстового контекста некоторых систем. В частности, они упоминают лимит CLIP в 77 токенов и приводят оценку эффективной длины в 20 токенов со ссылкой на другую работу. Эти параметры описывают конкретные механизмы и обсуждение в статье, а не дают формулу для всех генераторов. Нельзя, например, заключить, что всякая модель перестаёт понимать текст после одного и того же количества символов: токены и символы не совпадают, а архитектуры и способы обработки условий различаются.

В STRICT также сообщается, что GPT-4o и Gemini 2.0 сохраняли сильные результаты для английского и французского примерно до 800 символов, после чего точность начинала снижаться. Это вывод конкретного тестирования. Он не означает, что любая версия этих систем гарантированно воспроизведёт строку такой длины, и не позволяет напрямую ранжировать все доступные генераторы.

Язык меняет сложность задачи

Исследование STRICT включало английский, французский и китайский языки. Авторы отмечают, что результативность различалась: для китайского общая точность была ниже, чем для английского и французского в описанных испытаниях. Это напоминание о том, что слово «текст» скрывает разные графические системы, формы знаков и способы организации письма.

Методика оценки тоже имеет значение. Чтобы проверить надписи, исследователи применяли OCR: система распознавала текст на готовом изображении, а затем его сопоставляли с исходной строкой. Для сравнения использовались, в частности, три метрики:

Эти показатели описывают разные уровни сбоя. CER чувствительна к отдельным буквам и символам: одно неверное начертание уже влияет на результат. WER грубее в отношении внутреннего устройства слова, зато показывает, сохранилось ли слово целиком. NED позволяет сравнивать строки разной длины, нормируя различия. Вместе метрики помогают понять, где именно возникает проблема, но ни одна из них сама по себе не объясняет её причину.

Есть и ограничение переноса результатов. Исследование сравнивало английский, французский и китайский; его выводы нельзя автоматически распространять на русский язык. Для русского текста отдельное качество зависит от конкретной модели, длины строки, шрифта, оформления и условий проверки. Поэтому утверждение, будто генерация букв нейросетью всегда работает одинаково плохо на всех языках, было бы столь же неточным, как обещание универсальной безошибочности.

Почему «не умеет писать» — слишком простой диагноз

Фраза «почему ИИ не умеет писать на изображениях» понятна как бытовое описание сбоя, но научные результаты дают более сложную картину. Некоторые системы и подходы показывают улучшение; символьные признаки могут помочь с редкими словами; сильные результаты на коротких строках не исключают ухудшения на длинных. Одновременно ни одна из рассмотренных работ не устанавливает единую долю ошибок для всех актуальных генераторов.

Причины тоже нельзя свести к одному объяснению. Токенизация может затруднять представление буквенного состава, но это не исчерпывает проблему. Сохранять структуру символов в пространстве изображения сложно само по себе; длинные зависимости испытывают ограничения; модель может следовать визуальной идее промпта, не воспроизводя точное написание. В итоге текст на изображении становится местом столкновения нескольких задач, каждая из которых требует от системы отдельной точности.

Для практики это меняет отношение к результату. Если на картинке важны конкретные слова, готовое изображение следует воспринимать как визуальную заготовку, пока надпись не проверена. Ошибка может быть незаметной в уменьшенном превью, но стать критичной при публикации или печати. Особенно внимательным стоит быть там, где неверный знак меняет имя, адрес, дату, инструкцию или смысл рекламного сообщения.

При этом нельзя объявить генерацию текста бесполезной. Для коротких декоративных надписей, общего визуального эффекта или черновой композиции результат может оказаться достаточным. Но точное воспроизведение формулировки остаётся отдельным требованием, которое нуждается в проверке. Оценивать изображение следует по тому, что от него требуется: атмосферная вывеска и читаемая вывеска — разные задачи.

Что исследования позволяют утверждать

Работы Google и STRICT сходятся в главном: качество надписи зависит не только от того, насколько хорошо система «понимает» текст. Значение имеют способ его кодирования, длина строки, визуальное размещение и язык. Символьные признаки дали преимущество в конкретных экспериментах Google, а STRICT выявил ухудшение у большинства проверенных диффузионных моделей при длинных строках. Но ни один из этих результатов не даёт универсального рейтинга всех генераторов и не устанавливает вечный порог допустимой длины.

Это важное различие между технологическим прогрессом и обещанием. Улучшение на одном тесте свидетельствует о том, что ограничение можно ослабить определёнными методами. Оно не доказывает, что проблема решена для любой письменности, любого размера текста и любой композиции. И наоборот, ошибки отдельных моделей не означают, что системы принципиально неспособны создавать читаемые надписи.

Текст на изображении находится на границе языка и зрительного восприятия. Для человека буквы одновременно несут смысл и имеют форму; генератору приходится удерживать обе стороны в процессе синтеза. Пока эти представления связаны неполно, правдоподобная картинка может содержать непригодное сообщение. Поэтому разумная позиция лежит между восторгом и категорическим отрицанием: модели уже способны на заметные успехи, но там, где важна точность каждого знака, доверие должно опираться на проверку, а не на впечатление от цельного изображения.