Команда Яндекса объявила о запуске перевода видео нового поколения для пользователей «Яндекс Браузера».
Нейросети закадрового перевода на основе YandexGPT научились передавать голоса и интонации героев видео, которые звучат в оригинале ролика, сообщается в официальном блоге компании.
Для этого браузер начал использовать новую нейросетевую модель, которая анализирует англоязычную речь, выделяет тембр, ритм, интонации и воспроизводит их в переводе. Чтобы получить такой эффект, модель дополнительно обучили на сотнях тысяч примеров аудио.
Перевод нового поколения уже доступен в браузере во время просмотра роликов, опубликованных на YouTube, в «Поиске Яндекса», на «VK Видео», «Дзене» и Rutube. Его могут включить все пользователи, авторизовавшиеся через «Яндекс ID».
