Microsoft представила VALL-E — ИИ-модель, которая имитирует голос по маленькому образцу

Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.



Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.

При создании модели использовалась разработанная Meta* технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta* — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.



В представленных на сайте проекта образцах колонка «Speaker Prompt» содержит образцы речи; в колонке «Ground Truth» представлена запись необходимого текста в исполнении человека, с которого был записан образец; «Baseline» — образец работы традиционных преобразователей текста в речь, а «VALL-E» — работа новой ИИ-модели. Нейросеть также может предложить несколько вариантов необходимого текста с голосом на образце. Создатели системы добавили, что она не только придаёт голосу на генерируемой записи нужный эмоциональный окрас, но и имитирует «акустическое окружение» образца — если исходная запись была сделана с телефонного разговора, то и результат будет напоминать разговор по телефону.

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности». Источник

Ожидать серию звонков по типe- "Алло я попал в аварию срочно перешли денег на откуп" или "Привет я твой друг дай 5 тыщ до получки на эту карту"

Napalm32rus
Петров и Баширов теперь вообще разгуляются. Эта штука на чистый англ голосом Бидона сможет без потерь выражений!

смолинеро писал(а):

Napalm32rus Петров и Баширов теперь вообще разгуляются. Эта штука на чистый англ голосом Бидона сможет без потерь выражений!

Можно и с нужным акцентом, для провокаций...

Napalm32rus писал(а):

Ожидать серию звонков по типe- "Алло я попал в аварию срочно перешли денег на откуп" или "Привет я твой друг дай 5 тыщ до получки на эту карту"

"Друг" по телепону, в займы не попросит!!!

HoMeP писал(а):

смолинеро писал(а): Napalm32rus Петров и Баширов теперь вообще разгуляются. Эта штука на чистый англ голосом Бидона сможет без потерь выражений! Можно и с нужным акцентом, для провокаций...

Плохо что это палка о двух концах. Теперь любой Бидон может сойти за Путина, а Шольц за Зеленского...

Вован и Лексус будут в востоге. Хотя они и без ИИ сейчас уже многих поимели

Цитата:

Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений.

Если на стене висит ружьё, то оно обязательно выстрелит!

Есть такая теория, что нас хотят подменить электронными копиями. Когда будет достигнут нужный уровень степени схожести оригинал подлежит уничтожению. Смысл в том, что исполнитель не несет наказания за уничтожение перед коном мироздания при соответствущем качестве копии. Отсюда все возрастающие потоки сбора данных - биометрические, визуальные, локационные... и эта полукриминальная недешевая разработка с детским оправданием применения... Начинаю верить в конспирологию ))

Будет книги читать TTS (ИИ) под названием VALL-E (где можна скачать ?)

SilentX писал(а):

Будет книги читать TTS (ИИ) под названием VALL-E (где можна скачать ?)

Так вот кто мне звонил от имени службы безопасности Сбербанка!!!!!

Я думал, что что-то подобное было уже давно. Например, недавно я видел виртуальных кумиров в Японии, которые поют и выступают на сцене в виде голограммы, которой сейчас даже настоящие не нужны. Что ж, развитие искусственного интеллекта сейчас просто поражает воображение, хотя до недавнего времени это можно было увидеть только в фантастике.

В будущем при звонке родственникам будем использовать кодовые фразы, что бы понимать, что это именно ты звонишь, а не имитация твоего голоса.
- Але, свинцовая жопа.
- Привет сынок.

Хотелось бы потестить с русским голосом при записывании аудиокниг

Такими темпами на самом деле пойдет обратно к привычному древнему способу денежных отношений и замков. Так как все цифровые варианты будут с легкостью взламываться. Будем ходить с металлическими ключами от всего, с золотом в мешочках, все оплаты производить лично в отделениях и т.д. ))