Разработка методов выражения эмоций для ведения диалога с пользователем
ВведениеС развитием информационных технологий всё большую популярность начинают набирать различные приложения ведущие диалог с пользователем, обычно они представлены в виде интеллектуальных помощников или простых чат-ботов. Несмотря на разнообразие таких приложений большая часть из них не имеют средств для выражения эмоций, а те системы, которые имеют реализацию эмоций, выражают их только используя письменные методы, зачастую представленные в виде готовых сообщений. Но это лишь один из методов выражения эмоций, ещё двумя такими методами являются мимика и поза человека или любого другого персонажа, а также их голос, который может меняться с изменением настроения говорящего.
Генерация голоса, а тем более его модификация для воспроизведения той или иной эмоции является сложной задачей даже при наличии существующих технологий.
Другой же способ – мимика и жесты, является реализуемым за счет достижений в области 2d и 3d-графики и мощности современных мобильных устройств.
СОДЕРЖАНИЕ
Введение 2
1. Анализ существующих голосовых помощников. 4
1.1. Внешнее представление голосовых помощников. 4
1.2. Эмоциональные возможности существующих голосовых помощников. 7
2. Технические средства моделирования эмоций. 10
2.1. Методы моделирования эмоций 10
2.5. Результаты анализа 18
3. Разработка приложения 19
3.1. Создание 3d-модели 19
3.2. Создание сцены в Unity. 22
3.3. Разработка приложения в Unity. 23
3.3.1. UML-диаграмма приложения 23
3.3.2. Реализация взаимодействия с сервером. 25
3.3.3. Описание ролей и функциональных возможностей 27
3.4. Демонстрация работы приложения 29
4. Тестирование 33
4.1. Функциональное тестирование 33
4.2. Тестирование отображаемых эмоций. 34
Заключение 39
Список литературы 40
Список литературы
https://developer.amazon.com/en-US/blogs/alexa/alexa-skills-kit/2019/11/new-alexa-emotions-and-speaking-styles
https://salute.sber.ru/
Toan, Nguyen & Thuan, Le & Long, Le & Truong Thinh, Nguyen. (2022). Development of Humanoid Robot Head Based on FACS. International Journal of Mechanical Engineering and Robotics Research. p. 365-372.
P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978. (https://www.semanticscholar.org/paper/Facial-action-coding-system%3A-a-technique-for-the-of-Ekman-Friesen/1566cf20e2ba91ca8857c30083419bf7c127094b)
Ekman, Paul and Wallace V. Friesen. “Facial Action Coding System: Manual.” (1978).
Карабчевский, В. В. Геометрическое моделирование эмоций виртуальных персонажей / В. В. Карабчевский, А. С. Мазуров // Труды Международной конференции по компьютерной графике и зрению "Графикон". – 2021. – № 31. – С. 63-74.
https://www.autodesk.com/products/maya/overviewhttps://www.maxon.net/en/zbrushhttps://www.blender.org/ http://www.makehumancommunity.org/ https://github.com/makehumancommunity/mpfb2 https://www.unrealengine.com/en-US/metahuman https://www.humgen3d.com/ https://threejs.org/ https://www.unrealengine.com/en-US/unreal-engine-5 https://unity.com/ru https://dotnet.microsoft.com/en-us/languages/csharp https://www.gimp.org/ https://github.com/EdyJ/blender-to-unity-fbx-exporter https://assetstore.unity.com/packages/tools/network/rest-client-for-unity-102501https://docs.unity3d.com/2019.4/Documentation/Manual/com.unity.nuget.newtonsoft-json.html Pentland, Alex & Benton, Stephen & Essa, Irfan. (1998). Analysis, Interpretation and Synthesis of Facial Expressions.
Очевидным плюсом использования этих технологий является детализация и реалистичность всех движений, но такая технология требует большое количество камер и специальной аппаратуры, получить которую не представляется возможным. Также можно отметить, что при записи эмоций используются принципы, схожие со СКЛиД, а именно на лицо на носятся точки, соответствующие основным лицевым мышцам.
Facial Action Coding System (FACS) или Система кодирования лицевых движений (далее - СКЛиД), разработанная Полом Экманом и Уоллесом Фризеном[4]. Система имеет коды для всех основных мышц и движений лица, а также основные шаблоны эмоций. Все коды обладают степенями интенсивности, что позволяет реализовывать плавные переходы между эмоциями и понижать или повышать яркость эмоций. Также наличия стандартизированного кода позволяет автоматизировать каждое движение лица и удобно систематизировать конфигурации для каждой отдельной эмоции.