2. /41
Ildar Nurgaliev
What we have at this time?
● Robots that "shows and recognise emotion"
● Virtual affective interaction (Milo - virtual
boy)
● Multimodal social dynamic
1Purpose of development affective
6. /41
Ildar Nurgaliev
● Software should provide users with a more human-like interface
● Popular application areas for virtual character
● Like virtual training environment
● Portable personal guides
● Interactive fiction
● Storytelling systems
● E-commerce application in interface of consumer electronics
1
8. /41
Ildar Nurgaliev
People need difer psychotype
The world expects a differ psychotype
of artificielle emotions,
because people can’t stand by
affectedness(наигранное) behaviour
1Develop psychotype
9. /41
Ildar Nurgaliev
Basic emotions (Ekman’s model)
Psychologically irreducible
emotion set:
these emotions
cannot be derived by any
other emotion and
new emotions are derived
from them.
Emotion Models and Related Work 2
10. /41
Ildar Nurgaliev
Mood
2Mood model
Obvious model is the model of a mood as a
simple and unique dimension: good mood
and bad mood.
A more complete approach pro-
posed by Thayer uses emotion spaces to
represent mood in two 2-mensions
(calm/tense and energy/tired ),
resulting in 4 mood emotional states:
Energetic-calm
Energetic-tense
Tired-calm
Tired-tense
11. /41
Ildar Nurgaliev
Personality: Big OCEAN
In this model, each first letter of OCEAN word defines a
dimension in the personality trait:
● Openness to experience
● Conscientiousness
● Extraversion
● Agreeableness
● Neuroticism
Emotion Models and Related Work
12. /41
Ildar Nurgaliev
Affective phenomena
Right now we have
- emotion
- mood
- personality
So, emotions are not static. They are experienced by each individual differ-
ently because of characteristics such as personality and mood,
15. /41
Ildar Nurgaliev
Temperament
Criterias:
1. General performance of mental activity and human behavior that expressed
in different level of acting in more active way.
2. The motor activity that shows state of the motoric and speech systems.
3. Emotional activity is expressed in the emotional sensibility (susceptibility
and sensitivity to emotional influences).
Temperament
1) sanguine 2) phlegmatic 3)choleric
4)melancholic
Classification of higher nervous system
16. /41
Ildar Nurgaliev
Temperament
Temperament
● Lots of arousal, but good inhibition:
sanguine.
● Lots of arousal, but poor inhibition:
choleric.
● Not much arousal, plus good inhibition:
phlegmatic.
● Not much arousal, plus poor inhibition:
melancholy
17. /41
Ildar Nurgaliev
Temperament
Temperament determines the nature of such features for example:
- Balance,
- Adaptability,
- Mobility or behavioral inertia,
- Attitude towards the new,
- Hard work.
However, temperament does not determine character fully.
Temperament
18. /41
Ildar Nurgaliev
Сlassification of characters
1. Strong-willed (active, purposeful, active)
2. Emotional (acting under the influence of Impulses, feelings)
3. Rational (measuring, everything in terms of reasonableness)
Classification of characters
Jung proposed to classify characters depending on the membership of
1) Extroverted type
2) Intravertirovannyh type
or
1) Dominant
2) Subordinate
20. /41
Ildar Nurgaliev
•I want to build an emotional agent, now
–Where do I start?
–Where do I end?
–When did I succeed?
•A tree has no emotions
•A mosquito has “emotional behavior” in the eye of the emotional beholder (fear, frustration).
•A lizard has emotions, although probably only a couple of them (fight, flight, satisfaction)
•A grown buffalo has emotions, and probably quite a lot of them (fear, excitement, joy, attraction,
satisfaction).
•Agent?
•Emotion?
•Let’s dive into the details…
2Emotion Models and Related Work
23. /41
Ildar Nurgaliev
Environment type
Environment type:
➢ Partially observable
➢ Strategic (deterministic except for the actions of other agents)
➢ Sequential ( choice of action in each episode depends not only on the episode
itself)
➢ Semidynamic (environment does not but the agent’s performance score does change with the passage
of time)
➢ Discrete ( Emotional set is closed )
➢ Multyagent
24. /41
Ildar Nurgaliev
PEAS
Agent design (PEAS)
----------------------------------------------Start of agent design
➢ Performance measure: destinate a point in the environment, do more
communications with other agents,
➢ Environment: is limited and would be any shape without any walls only in
edges.
➢ Actuators: emotional expression (facial expression), registrate noises,
registrate chatting, chat a message to another agent, see, determine the
time, ...
Agent design
25. /41
Ildar Nurgaliev
Sensors (Eye)
Agent design (Sensors)
➢ Sensor:
○ Eyes with varying width of sign
which depends on emotional state
also.
ps: Visual sensor monitors the surrounding
agents, verifies their visibility, determines their
status.
26. /41
Ildar Nurgaliev
Sensors (ears)
Agent design
Agent design
➢ Sensor:
○ Ears for listening noises.
ps: noise sensor determines the direction and
type of noise, for example, to respond to it.
27. /41
Ildar Nurgaliev
Sensors (Time sensor)
➢ Sensor:
○ Time sensor.
ps: time sensor needed to perform certain actions
on a schedule, and in order to regulate passed
time at some actions, for example agent can not
speak with one agent while 6 hours.
Agent design
28. /41
Ildar Nurgaliev
Sensors (message sensor)
➢ Sensor:
○ message sensor.
ps: message sensor allows agent to
exchange messages, report another agent
about him mood (state) and so one.
Agent design
29. /41
Ildar Nurgaliev Agent embodiment
➢ Agents have faces which
represents differ complex
emotional state: espesially for
debugging
30. /41
Ildar Nurgaliev
Model of emotion
- Temperament is the steady characteristics.
- On the other side, the emotional state of the agent is the dynamic set of
values which depends on the external influences, and on the agent’s
temperament
Agent design
So we can define emotion as a short episode triggered by an
(internal/external) event composed of
● subjective feelings
● inclinations to act
● facial expressions
● cognitive evaluation and
● physiological arousal.
34. /41
Ildar Nurgaliev
A DUAL LAYER MODEL OF EMOTION
Physiological layer:
Force
Mobility
Steadiness
Emotional receptivity
Psychical layer
Pleasure, Arousal, Dominance (PAD)
Appraisal bank defines the needs, motivations and
stimulus of the agent as a set of subjective measures,
called appraisal dimensions
Agent embodiment
35. /41
Ildar Nurgaliev
Appraisal bank: BDI agent
Beliefs:
● angry agents are dangerous;
● wall collisions are painful;
● happy agents are friendly and nice;
Desires:
● reach the beacon;
● satisfies personal (temperamental) need like necessity
of company of other agents or necessity of loneliness;
● don't get hurt;
Intentions:
● avoid threats (angry agents);
● avoid wall collisions;
● follow happy agents;
Appraisal bank
37. /41
Ildar Nurgaliev
Appraisal-results are integrated
where Et is the emotional-state at time t,
Et+1 is the new emotional-state,
n is the number of appraisal banks and
ΔPADti the appraisal-result vector of bank i at time t.
It has applications in many fields, ranging from Entertain-
ment, Games, Virtual Presence and others.
My intent is to address the challenge of generating be-
lievable virtual characters automatically by incorporating a computational
emotion model.
Идея заключается в том чтобы разработать разные характеры
Despite of the amazing progress in the area of facial animation, there is
one problem which is still open, and poses a great challenge to researchers:
it is how to incorporate emotion on animated characters! This is the crucial
step toward believable virtual characters.
Basic Emotion is probably the most well-known emotion approach. The
reason for this is its association with universal recognized emotions [5]. Nev-
ertheless, there is not a consensus for defining which are the basic emotions
yet.
As discussed in [7], the basic emotion approach aims to build a psycho-
logically irreducible emotion set, which means that these emotions cannot be
derived by any other emotion and new emotions are derived from them. Note
that these considerations matches to the mathematical definition of a basis.
As mentioned above, the best known method used to study basic emotion
is by observing facial expressions. Through this, Ekman [5] defined six
universal emotions: anger, fear, disgust, surprise, joy and sadness,
the Plutchik wheel is considered to be enough to span most of
human emotion state.
is to model mood as a simple and unique
dimension: good mood and bad mood. A more complete approach pro-
posed by Thayer in [16] uses emotion spaces to represent mood in two di-
mensions (calm/tense and energy/tired ), resulting in four mood emotional
states: Energetic-calm, Energetic-tense, Tired-calm and Tired-tense.
of another person. Until now, there is not a formal consensus to define the
personality trait of a person, however the Big Five (or Big OCEAN) model
is well-known. In this model, each first letter of OCEAN word defines a dimension
in the personality trait: Openess to experience, Conscientiousness,
Extraversion, Agreeableness, Neuroticism 1
.
Emotions are not static. They are experienced by each individual differently
because of characteristics such as personality and mood, referred here
as affective phenomenas. Additionally, affective phenomena also interferes in
the reaction of each person when receives a stimulus, defining the emotion
sustaining time.
Our aim is to propose a computational system which incorporates and implements
a robust model based on basic emotions. So, the Plutchik model [11]
is revisited and generalized to allow the description of new emotions from the
eight basic emotions as well as the incorporation of emotion dynamics in a
comprehensive manner in order to allow the automatic generation of believable
virtual characters.
So, the Plutchik model [11]
is revisited and generalized to allow the description of new emotions from the
eight basic emotions as well as the incorporation of emotion dynamics in a
comprehensive manner in order to allow the automatic generation of believ-
able virtual characters.
Темперамент характеризует динамичность личности, но не характеризует ее убеждений, взглядов, интересов, не является показателем ценности или малоценности личности, не определяет ее возможности (не следует смешивать свойства темперамента со свойствами характера или способностями)
Pavlov believed that he could account for these
personality types with two dimensions: On the one hand
there is the overall level of arousal (called excitation) that
the dogs’ brains had available. On the other, there was the
ability the dogs’ brains had of changing their level of arousal
- i.e. the level of inhibition that their brains had available.
● Lots of arousal, but good inhibition: sanguine.
● Lots of arousal, but poor inhibition: choleric.
● Not much arousal, plus good inhibition: phlegmatic.
● Not much arousal, plus poor inhibition: melancholy.
Pavlov described three properties of the
processes of excitation and braking [37]:
● The force of the processes of excitation and braking;
● The steadiness of the processes of excitation and
braking;
● The mobility of the processes of excitation and
braking.
One of the things Pavlov tried with his dogs [37] was
conflicting conditioning - ringing a bell that signalled food at
the same time as another bell that signalled the end of the
meal. Some dogs took it well, and maintain their
cheerfulness. Some got angry and barked like crazy. Some
just laid down and fell asleep. And some whimpered and
whined and seemed to have a nervous breakdown
Темперамент определяет в характере такие, например, черты:
- уравновешенность,
- приспособляемость,
- поведенческая подвижность или инертность,
- отношение к новому,
- трудолюбие.
Однако темперамент не предопределяет характер в полной мере. У людей с одинаковыми свойствами темперамента может быть совершенно различный характер. Особенности темперамента лишь могут способствовать или противодействовать формированию тех или иных черт характера. В конце концов количество типов темперамента небольшое (обычно выделяют четыре или около четырех), а типов характера значительно больше.
Strong, balanced, mobile type - sanguine
temperament;
● Strong, balanced, inert type - phlegmatic
Figure 1. Classification of higher nervous systemtemperament;
● Strong, unbalanced, with the predominance of
excitation - choleric temperament;
● Weak type - melancholic temperament.
В целом не может быть абсолютной или универсальной классификации характеров, деления их на типы. Основания для типизации, как правило вводятся исследователем или заинтересованным лицом для того, чтобы в соответствии с имеющейся задачей раздеть людей на группы по преобладающим качествам. Так сходные характеры могут наблюдаться у людей имеющих доминирующие волевые или эмоциональные качества. Соответственно делят характеры на типы: волевой (активный, целеустремленный, деятельный) ; эмоциональный (действующий под влиянием порыва, переживаний) ; рассудочный (оценивающий все с точки зрения разумности).
К. Юнг предложил классифицировать характеры в зависимости от принадлежности к экстравертированному и интравертированному типу.
ОБЩЕЕ ОПИСАНИЕ ТИПОВ
Экстравертированный тип . Характеризуется обращенностью личности на окружающий мир, объекты которого подобно магниту, притягивают к себе интересы, жизненную энергию субъекта, в известном смысле ведет к принижению личностной значимости явлений его субъективного мира. Ему свойственны импульсивность, инициативность, гибкость поведения, общительность.
Интровертированный тип . Для него характерна фиксация интересов личности на явлениях собственного внутреннего мира, которым она придает высшую ценность, необщительность, замкнутость, склонность к самоанализу, затрудненная адаптация.
Возможна также классификация на конфорный и самостоятельный; доминирующий и подчиняющийся; нормативный и анархический и прочие типы.
Черт характера чрезвычайно велико, каждая из черт имеет разную качественную степень выраженности.
Чрезмерную выраженность отдельных черт характера и их сочетаний, представляющую крайние варианты нормы, называют акцентуацией характера . Практическая акцентуация - это предельная величина, крайний вариант проявления нормы. Акцентуации характера свойственна повышенная уязвимость лишь к определенного рода психотравматическим воздействиям, адресованным к так называемому “месту наименьшего сопротивления” данного типа характера при сохранении устойчивости к другим. Это слабое звено в характере человека проявляется только в ситуациях, предъявляющих повышенные требования к функционированию именно этого звена, во всех других ситуациях, не затрагивающих уязвимых точек характера, индивид ведет себя без срывов не доставляя неприятностей ни окружающим, ни себе.
В зависимости от степени выраженности различают явные и скрытые (латентные) акцентуации характера. Явные, или выраженные, акцентуации относят к крайней границе нормы и отличаются постоянными чертами определенного типа характера. Скрытая акцентуация представляет собой обычный вариант нормы, выраженный слабо или не выраженный совсем. Такие акцентуации могут проявляться неожиданно под влиянием ситуаций и травм, представляющих требования к месту наименьшего сопротивления, в то время как психогенные факторы иного рода, даже тяжелые, не только не вызывают психических расстройств, но могут даже не выявить типа характера. Оба типа акцентуации могут переходить друг в друга под влиянием различных факторов, среди которых важную роль играют особенности семейного воспитания, социального окружения, профессиональной деятельности и т.д.
Общее понятие о характере
В буквальном переводе с греческого характер означает чеканка, отпечаток. В психологии под характером понимают совокупность индивидуально-своеобразных психических свойств, которые проявляются у личности в типичных условиях и выражаются в присущих ей способах деятельности в подобных условиях. Характер - это индивидуальное сочетание существенных свойств личности, выражающих отношение человека к действительности и проявляющихся в его поведении, в его поступках. Характер взаимосвязан с другими сторонами личности, в частности с темпераментом и способностями. Темперамент на форму проявления характера, своеобразно окрашивая те или иные его черты. Так, настойчивость у холерика выражается кипучей деятельности, у флегматика - в сосредоточенном обдумывании. Холерик трудится энергично, страстно, флегматик - методично, не спеша. С другой стороны, и сам темперамент перестраивается под влиянием характера: человек с сильным характером может подавить некоторые отрицательные стороны своего темперамента, контролировать его проявления. С характером неразрывно связаны и способности. Высокий уровень способностей связан с такими чертами характера, как коллективизм - чувство неразрывной связи с коллективом, желание работать для его блага, вера в свои силы и возможности, соединенная с постоянной неудовлетворенностью своими достижениями, высокой требовательностью к себе, умением критически относиться к своему делу. Расцвет способностей связан с умением настойчиво преодолевать трудности, не падать духом под влиянием неудач, работать организованно, проявлять инициативу. Связь характера и способностей выражается и в том, что формирование таких черт характера, как трудолюбие, инициативность, решительность, организованность, настойчивость, происходит в той же деятельности ребенка, в которой формируются и его способности. Например, в процессе труда как одного из основных видов деятельности развивается, с одной стороны, способность к труду, а с другой - трудолюбие как черта характера.
effectively maps moods into a three-dimensional space called PADspace,
using the personality of the agents as a starting point and emotions as
mood changing vectors
Personality The personality is the initial emotional status of the agent, represented
as a point in the 3-dimensional space. This is computed from the Big
Five personality traits according to what personality is desired for the agent. The
personality is described for each agent by the relevant sections in the AffectML
configuration files.
Mood The moods are represented by positions in the PAD-space relative to
time. These are changed by emotions. They are simply the result of the computation
of the emotion.
Emotion Emotions are translated in the system as position modifiers into the
PAD-space and are generated according to the events, due to other agents or
user as well as random events, affecting the agent and their effects are decaying
over time. These can be altered to achieve a certain personal behaviour from the
agent in the configuration. These can be mapped with the OCC Model using the
table number 2.
An agent’s sensors does not give it access to the complete state of the environment at each point in time.
If the environment is deterministic except for the actions of other agents, then the environment is strategic
The agent’s experience is divided into atomic “episodes” (each episode consists of the agent perceiving and then performing a single action), and the choice of action in each episode depends not only on the episode itself.
The environment is semidynamic if the environment itself does not change with the passage of time but the agent’s performance score does
A limited number of distinct, clearly defined percepts and actions.
Сенсор времени нужен для выполнения некоторых действия по расписанию.
Sensor messages allows NPC to exchange messages, report another NPC about the dangers and give commands.
Temperament, as we already defined, is the steady
characteristics of the agent which is “innate” and do not
suffer alterations during the agent’s life. On the other side,
the emotional state of the agent is the dynamic set of values
which depends on the external influences, and on the agent’s
temperament
The cognitive level of agents in the CROSS framework: components (A) and processes (B). A CROSS agent consists of a physiology (body) and a memory (knowledge representation) component and two main processes (perception and behaviour selection) to interact with the world. Note, the dotted arrows form a part of the internal perception (update) processes.
Основа ИИ – “сознание” и “подсознание”. Такое название дали блокам из-за их способа обработки информации.
“Подсознание” обрабатывает все события от сенсоров и при необходимости посылает события “сознанию”. По структуре оно больше представляет ассоциативную память. Пример такой карты:
* в полночь пойти спать. Приоритет низкий;
* если свои дерутся, то наблюдать за процессом;
* если бьют своего, то защитить его. Приоритет средний;
* если побили кого-либо, подойти и очистить его карманы;
* если играет музыка, то танцевать. Приоритет низкий;
* если кто-то достал оружие, попросить его спрятать;
* если увидел врага, побежать звать своих на помощь и идти в бой;
* если свои зовут на помощь, пойти туда, куда зовут;
* если слышен шум, повернуться посмотреть что происходит;
* если видишь брошенную гранату, убегать от неё подальше;
* если видишь, что бросают гранату недалеко от тебя, подбежать и бросить обратно;
* если к тебе обращается игрок, предложить ему что-нибудь купить;
* если к тебе обращается игрок, который тебя обидел, не отвечать ему;
* если убегаешь от кого-то и слышишь сзади звук шагов, то бежать дальше.
Эти команды передаются “сознанию”. Таких карт у перса может быть несколько, будет меняться приоритет этих карт в зависимости от настроения/состояния. Например, трусливый NPC может убегать от вас, но увидев своих может набраться храбрости и ответить вам.
“Подсознание” может меняться в зависимости от накопленного опыта.
“Подсознание” будет не только у NPC, но и у Героя. Например, непрокачанный герой может быть довольно трусливым и в самый ответственный момент просто убежать. Также будет возможность игроку самому обучать своего перса тем или иным способом.
“Сознание” отвечает за логику действий персонажа, пример:
* напасть на кого-либо,
* стрелять в кого-либо или что-либо,
* следить за целью,
* перезарядить оружие,
* пойти куда-либо,
* осмотреть сундук,
* позвать на помощь.
Это набор скриптов, которые непосредственно управляют телом. В отличие от подсознания, активным может быть только один или несколько совместимых, например, “Следить за целью” и “Стрелять в кого-либо или что-либо”. Они могут также быть вложены друг в друга, например, “Осмотреть сундук” может вызвать “Пойти куда-либо” (к сундуку), а “Стрелять в кого-либо или что-либо” вызывать “Перезарядить оружие”. Также в случае ГГ эти скрипты принимают команды от пользователя и могут действовать в соответствии с этими командами.
In our model the
temperament of the agent is defined as the configuration of
his mechanical engines and the personality functions which
simulates his psyche as the decision mechanism. The
emotional response of the agent possesses a dual mechanism:
it is physiological (such as motor and sensor force, face
expression, mobility) and psychical (such as a vector which
defines his internal emotional state).
The belief–desire–intention (BDI) model of human practical reasoning was developed by Michael Bratman as a way of explaining future-directed intention.
Superficially characterized by the implementation of an agent's beliefs, desires and intentions, it actually uses these concepts to solve a particular problem in agent programming.
In our model the
temperament of the agent is defined as the configuration of
his mechanical engines and the personality functions which
simulates his psyche as the decision mechanism. The
emotional response of the agent possesses a dual mechanism:
it is physiological (such as motor and sensor force, face
expression, mobility) and psychical (such as a vector which
defines his internal emotional state).