Microsoft представила VALL-E — ИИ-модель, которая имитирует голос по маленькому образцу

Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.



Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.

При создании модели использовалась разработанная Meta* технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta* — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.



В представленных на сайте проекта образцах колонка «Speaker Prompt» содержит образцы речи; в колонке «Ground Truth» представлена запись необходимого текста в исполнении человека, с которого был записан образец; «Baseline» — образец работы традиционных преобразователей текста в речь, а «VALL-E» — работа новой ИИ-модели. Нейросеть также может предложить несколько вариантов необходимого текста с голосом на образце. Создатели системы добавили, что она не только придаёт голосу на генерируемой записи нужный эмоциональный окрас, но и имитирует «акустическое окружение» образца — если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону.

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности». Источник

"...если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону..." Что тут добавить? Приложения очевидны.

wat902h писал(а):

"...если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону..." Что тут добавить? Приложения очевидны.

Сделать запись разговора по телефону, затем сделать запись живого голоса, потом сравнить и выделить разницу.
Эту разницу и добавить.
В чём проблема?!

Какой хороший помощник растёт для "Службы безопасности Вашего банка"

твоим же голосом в будущем делов наделают-замучаешься расхлёбывать

Новый Лексус и Вован от Майкрософта))))

В переводе на человеческий это значит: мы изобрели реалистичную технологию подделки чужого голоса (вот пример, послушайте), но бесплатно делиться ею пока мы не будем пока эксклюзивно её не попользуем сами. Если хотите себе такую же - звоните нам в офис - договоримся.

Теперь скоро будут звонить родственникам мошенники нашими голосами и орать что срочно нужны деньги , у меня проблемы дтп и тп. Страшно за будущее, одни мошенники, сейчас и опознаватель номера не поможет, нужный номер уже научились подставлять

Ну, вот, уже и голос человеческий изобрели для будущих андроидов. И это хорошо! Человечество уже давно вымрет, а искусственные создания буду говорить нашими голосами. Всё таки, какая никакая, а память о нас останется.
(Я аж прослезился, извините, был слишком эмоционален).

Интересно, оно скажет, "Добрый день" и "С Новым Годом...", с "питерским" говором?!?

Цитата:

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут.

странная позиция, и зачем тогда вообще про это говорить ? ведь наверняка эта новость подтолкнёт других к созданию подобной технологии если она уже не на подходе так как довольно логично ложится в сегодняшний тренд развития ИИ

Цитата:

В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

это что, следующей редакции виндовс больше не будет ? ведь не секрет что многие ей злоупотребляют

Мне это не надо, всех со Старым новым годом, здоровья, тепла и своих голосов!

Упс, попал на доску почёта, по предупреждениям!

Понимаете, каждый год 31 декабря мы с друзьями ходим в баню. Это у нас такая традиция!

— Ирония судьбы, или С лёгким паром!

ии терь модно. вчера были квантовые вычесления, а еще 30 лет назад 3d графика.
надо больше зрелишь. ии пылесос убрал твои бутылки после нг?

Побыстрей бы вайфай чип вставили, а то на самом деле не отмажешься если что...