Вопрос Синхронизация губ и текста

[SHK9000]

Каким лучше всего способом это сделать? Использую metahuman.

 

[BuffaloMan]

Каким лучше всего способом это сделать? Использую metahuman.

Попробуй использовать бесплатный плагин

Пожалуйста, авторизуйтесь для просмотра ссылки.

 

[SHK9000]

Я пробовал. Он перестал поддерживаться на 4 версии движка, с разработчиком общался.

 

[Oberon73]

Я пробовал. Он перестал поддерживаться на 4 версии движка, с разработчиком общался.

Metahuman SDK отлично работает в UE 5.1 его немного расширили, теперь набор эмоций примерно 15 шт, инфа 100% пару часов назад анимировал лицо своего хума по аудиофайлу

 

[SHK9000]

Но на 4 то версии не работает и всё, там ошибку при запросе выдаёт
Я типо рекомпильнул text to lip sync, вот думаю им воспользоваться. К тому же, офлайн. Не надо ни к каким серверам подключаться.

 

[Oberon73]

Но на 4 то версии не работает и всё, там ошибку при запросе выдаёт
Я типо рекомпильнул text to lip sync, вот думаю им воспользоваться. К тому же, офлайн. Не надо ни к каким серверам подключаться.

UE 4.27 - SDK работает всё норм, эмоции правда только 3 шт и не такая выраженная артикуляция как в UE5.1
какую ошибку у вас выдаёт ?
напоминаю сразу самые распространённые:
1- аудио файл должен быть формата .wav
2- желательно моно, стерео может давать ошибки
3- битрейт 16 кбит/с
4- очень длинная секвенция, желательно не превышать 1 мин
5- нет звука в начале секвенции более 15 сек

 

[SHK9000]

Ну вот, глянь... Ответ разработчиков.

 

[Oberon73]

Посмотреть вложение 237545

Ну вот, глянь... Ответ разработчиков.

понятно, хотя странно, я перешёл с 4.27 на 5.1 10 января т.е. ещё в январе делал ролик на 4.27 с использованием sdk всё было норм, ну в принципе смотри сам, для анимирования артикуляции полно стороннего по, жаль халявного мало, посему сам юзаю sdk на 5.1 и не парюсь, в ноябре мучал iClone штука прикольная, но триал 30 дней потом сносить (обломная процедура с фул чисткой компа) что б по новой 30 дней триалить, но зато через LiveLink прямо в UE запись анимационной секвенции прямо на метахума, но покупать оч дорого как по мне

 

[danildd]

Каким лучше всего способом это сделать? Использую metahuman.

А попробуйте Audio2Face. Только под неё нужна RTX карта начиная с 20 серии.

Пожалуйста, авторизуйтесь для просмотра ссылки.

И там требуется не текст а звуковая дорожка. Можете сами продиктовать через микрофон и скормить в Audio2Face.

Вот мой результат:

 

[SHK9000]

У меня AMD, к сожалению. Да и мне нужно рантайм решение.

 

[Oberon73]

А попробуйте Audio2Face. Только под неё нужна RTX карта начиная с 20 серии.

Пожалуйста, авторизуйтесь для просмотра ссылки.

И там требуется не текст а звуковая дорожка. Можете сами продиктовать через микрофон и скормить в Audio2Face.

Вот мой результат:

В течении месяца пробую получить доступ к этому ресурсу, кроме ошибки ниф не получил, саппорт на вопросы на форуме не реагирует вовсе
---
403 ERROR
The request could not be satisfied.
Request blocked. We can't connect to the server for this app or website at this time. There might be too much traffic or a configuration error. Try again later, or contact the app or website owner.
If you provide content to customers through CloudFront, you can find steps to troubleshoot and help prevent this error by reviewing the CloudFront documentation.
---
вот что получаешь при попытке скачать инсталер, инсталеры со сторонних ресурсов так же качал, ниф не работают, приложение запускается, но не коннектится выдаёт толпу ошибок