Автосубтитры нейросети: почему теряются имена и термины?

Автосубтитры могут точно передать основную мысль и при этом исказить имя человека, название компании или узкий термин. Для зрителя ошибка выглядит мелкой: в знакомом контексте он догадается, о ком речь.

Автосубтитры нейросети: почему теряются имена и термины?

Для самого человека или организации она способна изменить смысл высказывания, а для редактора — превратить автоматическую расшифровку в источник неверной информации.

Причина часто кроется в устройстве распознавания речи. Система сопоставляет звуковой сигнал с вариантами слов, которые ей знакомы; редкое имя может проиграть более частому слову с похожим звучанием. На результат влияют также язык, произношение и контекст. Поэтому ошибки автосубтитров нейросети, связанные с именами, возникают даже в записи, которую человеку легко понять.

Почему Beaumont превращается в знакомое слово

Автоматическое распознавание речи, или ASR, преобразует аудиосигнал в последовательность слов. В процессе модель опирается на закономерности, извлечённые из обучающих данных. Если имя встречалось редко, оно может быть представлено в этих данных слабее, чем обычная лексика. Тогда система выбирает знакомое слово, чьи звуки похожи на услышанные.

В исследовании распознавания имён авторы приводят пример Beaumont: система может принять его за Hallmark или Walmart. Это не означает, что алгоритм буквально «слышит» одно имя и сознательно заменяет его другим. Он оценивает вероятные варианты продолжения речи, а редкое имя нередко оказывается для него менее вероятным, чем знакомое слово с похожей акустической формой.

Контекст тоже помогает, но не гарантирует правильный результат. Если в ролике обсуждают конкретного человека, зритель может понять, что странная расшифровка относится именно к нему. Модель же может не располагать этой информацией: ей доступен аудиофрагмент, иногда вместе с ограниченным контекстом, но не обязательно тема видео, список участников или подпись к кадру.

Особенно уязвимы слова, которые редко звучат в повседневной речи: фамилии, названия мест, бренды, термины из науки и профессиональной среды. При этом нельзя утверждать, что любая система всегда ошибается в именах чаще, чем в других редких словах. Достоверный вывод скромнее: редкость и сходство звучания создают для распознавания дополнительную трудность.

Модель выбирает наиболее вероятную расшифровку из доступных ей вариантов. Редкое имя может уступить знакомому слову, даже если человек слышит его без затруднений.

В этом есть важная асимметрия. Для слушателя имя часто связано с человеком, изображением, темой разговора и уже имеющимися знаниями. Автоматическая система может не видеть этих связей. Чем меньше у неё сведений о конкретном имени, тем сильнее распознавание зависит от звучания и общих языковых закономерностей.

Когда язык и акцент меняют результат

Имя может быть произнесено на языке, отличном от языка основной речи. Например, разговор ведётся по-английски, а фамилия имеет происхождение из другого языка и произносится по его правилам. Если такая форма отсутствует в словаре модели или слабо представлена в обучении, распознавателю сложнее подобрать нужную последовательность букв и звуков.

Исследование, опубликованное в Findings of EMNLP в 2024 году, рассматривало межъязыковое распознавание и предложило метод DiP-ASR с контекстным словарём. На задачах с тремя вторичными языками этот подход снизил показатель WER по сравнению с базовой системой и вариантом с подсказкой большой языковой модели без словаря. Это подтверждает ценность дополнительного контекста для конкретной задачи, но не даёт универсальной гарантии: результат нельзя автоматически переносить на любой язык, сервис или видеоредактор.

Влияет и акцент говорящего. В исследовании распознавания английской речи в диалогах точность для неамериканских акцентов была ниже, чем для General American. Разница зависела от системы и составляла примерно 2–12 процентных пунктов абсолютной ошибки, или 16–49% в относительном выражении. Эти показатели относятся к исследованным системам и условиям, а не ко всем современным сервисам автосубтитров.

Здесь важно различать несколько факторов. Акцент способен изменить акустическую форму слова; редкое имя может отсутствовать в словаре; качество записи влияет на то, какой сигнал получает модель. Но по одной ошибке обычно нельзя установить, какой именно фактор оказался решающим. Не существует и единого нормативного порога, по которому можно было бы объявить точность всех автоматических субтитров приемлемой или неприемлемой.

Для редактора практический вывод прост: знакомое произношение не всегда является тем, на котором обучалась или на которое настроена конкретная модель. Особенно внимательно стоит слушать имена, названия и термины, если в записи выступают люди с разными языковыми биографиями или речь содержит заимствования.

Словарь помогает, но может добавить лишнее слово

Некоторые системы позволяют заранее передать список имён и терминов. В Google Cloud Speech-to-Text для этого предусмотрена адаптация модели, в том числе через PhraseSet. Такая подсказка сообщает распознавателю, какие слова вероятны в данном материале, и может уменьшить число пропусков.

Однако словарь действует как контекстная подсказка, а не как независимая проверка аудио. Если увеличить вес заданных фраз, модель охотнее выбирает их при неоднозначном звучании. Это полезно, когда термин действительно произнесён, но рискованно, когда звук похож лишь отдалённо: в расшифровке может появиться слово, которого в аудио не было.

Здесь возникает тонкое противоречие. Без списка редкое имя рискует исчезнуть; со списком оно способно возникнуть там, где человек произнёс другое слово. Поэтому словарь повышает управляемость распознавания, но не освобождает редактора от прослушивания.

ПодходЧто он даётГде возникает риск
Распознавание без словаряМодель строит текст на основе сигнала и общих языковых закономерностейРедкое имя может уступить знакомому слову с похожим звучанием
Список терминов и имёнПодсказывает системе вероятные формы для конкретного материалаПодсказанное слово может попасть в текст, хотя его не произносили
Ручная проверка по аудиоПозволяет сверить спорную форму с записью и контекстомТребует времени и внимания, особенно в длинных видео

При подготовке словаря полезно ограничивать его словами, которые действительно относятся к материалу: именами участников, названиями организаций и ключевыми терминами. Чем больше список и чем меньше связь его элементов с конкретным аудио, тем труднее понимать, почему система выбрала то или иное слово. Но даже аккуратно составленная подсказка остаётся предположением о содержании речи.

Если редактор исправляет автоматически созданный текст вручную, лучше сверять спорное имя по нескольким основаниям: звуку, контексту беседы и написанию, принятому самим человеком или организацией. Одного только правдоподобия недостаточно. Подходящее по теме слово может оказаться неверным, а странная на первый взгляд форма — точной фамилией.

Что измеряет WER и чего он не замечает

Для оценки распознавания речи часто используют показатель WER — долю ошибок относительно эталонной расшифровки. В расчёт входят три вида расхождений: замены, вставки и пропуски слов.

WER = (замены + вставки + пропуски) / число слов в эталонной расшифровке.

Метрика полезна для сравнения систем на одной и той же выборке. Но она не описывает все качества субтитров. В частности, один и тот же общий показатель может скрывать разные проблемы: одна система пропускает слова, другая вставляет лишние, третья подменяет имена. Для зрителя эти различия имеют разный вес, хотя числовая оценка объединяет их в общую ошибку.

Есть и менее очевидное ограничение. В описанном Google способе расчёта перед сравнением удаляют знаки препинания и игнорируют регистр букв. Поэтому одна лишь ошибка в заглавной букве имени может не отразиться в WER. А вот замена фамилии на другое слово будет учитываться как ошибка распознавания.

Исследование 2019 года рассматривало исправление ошибочно распознанных имён людей с помощью символьного и фонемного сходства, а также контекста. Авторы сообщили об улучшении точности на 40,8% в своей производственной системе. Эта цифра относится к конкретному решению и поставленной задаче. Она не означает, что любой редактор или видеоплатформа получит такое же улучшение после добавления словаря.

Для оценки реальной пригодности субтитров одной цифры WER недостаточно. Если текст нужен для поиска по видео, пропущенный термин может помешать найти нужный фрагмент. Если субтитры сопровождают публичное выступление, ошибка в фамилии способна неверно представить участника. Если важна доступность для зрителей с нарушениями слуха, имеют значение также тайминг, читаемость и полнота передачи смысла — показатели, которые WER сам по себе не оценивает.

Поэтому точность автоматических субтитров лучше понимать как несколько разных задач. Распознать слова — одна. Правильно написать имена и термины — другая. Разбить текст на удобные строки и синхронизировать его с речью — третья. Успех в одной области не гарантирует качества в остальных.

Галлюцинации и обычные ошибки: где проходит граница

Ошибочно распознанное имя обычно связано с подменой: в аудио есть речь, но система записывает её неверно. Галлюцинацией называют ситуацию, когда в расшифровке возникает фрагмент, не соответствующий слышимому содержанию. Это явления разного масштаба, и смешивать их не следует.

В исследовании Whisper, опубликованном в 2024 году, анализировали 13 140 коротких англоязычных аудиосегментов из базы AphasiaBank. В экспериментах, проведённых в апреле–мае 2023 года, галлюцинационные фрагменты обнаружили в 187 сегментах, то есть в 1,4% выборки. Эти данные характеризуют конкретную модель и конкретный набор записей; они не показывают частоту ошибок имён во всех сервисах автосубтитров.

Авторы также классифицировали 38% выявленных галлюцинаций как содержащие явный потенциальный вред. Среди описанных типов были вымышленные имена и места. Эта доля относится именно к обнаруженным галлюцинациям в исследованной выборке. Она не означает, что 38% всех расшифровок Whisper содержат опасную выдумку, и тем более не описывает работу любой другой системы.

Такие оговорки нужны не для того, чтобы обесценить исследование. Напротив, они помогают понять его предмет точнее. Научные результаты показывают, что риск существует и что автоматический текст способен не только пропускать или заменять слова, но и добавлять неподтверждённые фрагменты. Но перенос конкретных цифр на другой язык, тип аудио или более позднюю версию модели создаёт ложную уверенность.

Автоматическая расшифровка удобна как черновик. Утверждением о том, что именно сказал человек, она становится после сверки с записью.

Отсюда следует разумная редакционная практика: доверять системе в рутинной части работы, но проверять места, где ошибка меняет идентичность, предмет разговора или смысл высказывания. Имена, термины, географические названия и фрагменты с неясным звучанием заслуживают отдельного внимания. Словарь может направить модель, а метрика — показать общую картину; окончательное суждение всё равно требует сопоставить текст с аудио.

В этой осторожности нет недоверия к технологии как таковой. Распознаватели речи сокращают объём ручной работы и делают видео доступнее для поиска и просмотра. Но их текст остаётся результатом вероятностного выбора, а не прозрачной копией звука. Чем значимее имя или термин для смысла материала, тем меньше оснований оставлять его на усмотрение алгоритма.

Частые вопросы

Почему нейросеть неправильно распознаёт имена и фамилии?
Редкое имя может быть слабо представлено в обучающих данных и проиграть знакомому слову с похожим звучанием. На результат также влияют язык, произношение и доступный модели контекст.
Помогает ли словарь имён точнее создавать автосубтитры?
Список имён и терминов подсказывает системе вероятные формы и может уменьшить число пропусков. Но подсказанное слово иногда появляется в расшифровке, даже если его не произносили, поэтому результат нужно сверять с аудио.
Что такое WER при распознавании речи?
WER — доля ошибок относительно эталонной расшифровки; в неё входят замены, вставки и пропуски слов. Показатель помогает сравнивать системы на одной выборке, но не показывает отдельно характер ошибок и сам по себе не оценивает тайминг или читаемость субтитров.
Чем галлюцинация отличается от обычной ошибки автосубтитров?
При обычной ошибке произнесённое слово заменяется или пропускается. Галлюцинацией называют фрагмент расшифровки, который не соответствует слышимому содержанию.
Нужно ли проверять автоматически созданные субтитры вручную?
Да, особенно имена, названия, термины и фрагменты с неясным звучанием: ошибки в них могут изменить смысл или неверно представить участника. Спорные формы стоит сверять с аудио, контекстом и принятым написанием имени или названия.