Актуальность исследования обусловлена потребностью в персонализированных цифровых аватарах для человеко-компьютерного взаимодействия, способных согласованно передавать эмоции через мимику, жесты и речь. Разработана система MAVAGEN, отличающаяся объединением шести потоков признаков, включая текстовые, эмоциональные, позовые, глубинные, RGB- и акустические, в единой диффузионной архитектуре с управлением по полу и возрасту, обеспечивающая синхронизацию выражений лица, жестов и речи и позволяющая достигать высокого качества аватаров и эмоционального соответствия при практическом использовании в персонализированных LLM-ассистентах.
Результат соответствует Концепции научно-технологического развития Санкт-Петербурга на период до 2030 года.
Axyonov A., Ryumina E., Ryumin D., Karpov A. MAVAGEN: Multimodal Avatar Generation Framework for Personalized Human-Computer Interaction // Multimodal Technologies and Interaction. 2026. https://doi.org/10.3390/mti10050055