Skip to content
Licensed Unlicensed Requires Authentication Published by De Gruyter Oldenbourg December 4, 2009

Emotional Sensitivity in Human-Computer Interaction

Emotionale Sensitivität in der Mensch-Maschine Interaktion
  • Jonghwa Kim , Johannes Wagner , Thurid Vogt , Elisabeth André , Frank Jung and Matthias Rehm

Abstract

Human conversational partners usually try to interpret the speaker´s or listener´s affective cues and respond to them accordingly. Recently, the modelling and simulation of such behaviours has been recognized as an essential factor for more natural man-machine communication. The implicit emotion channels of human communication such as speech, facial expression, gesture, and physiological responses are used in general to extract emotion-relevant features for the computational perception of emotion. So far, research on emotion recognition has mostly dealt with offline analysis of recorded emotion corpora, and online processing (in realtime or near realtime) has hardly been addressed. Online processing is, however, a necessary prerequisite for the realization of human-computer interfaces that analyze and respond to the user´s emotions while he or she is interacting with an application. In this paper, we first describe how we recognize emotions from various modalities including speech, gestures and biosignals. We then present Smart Sensor Integration (SSI), a framework which we developed to meet the specific requirements of online emotion recognition.

Zusammenfassung

Menschliche Gesprächspartner versuchen in der Regel, emotionale Regungen ihres Gegenübers zu erkennen und entsprechend darauf zu reagieren. Mit dem Ziel, die Mensch-Maschine Interaktion einfacher und natürlicher zu gestalten, beschäftigen sich zunehmend Forschergruppen damit, emotionales Verhalten maschinell zu simulieren. Zur maschinellen Erkennung der Emotion werden die impliziten Kommunikationskanäle menschlicher Emotion wie z. B. Sprache, Gesichtsausdruck, Gesten und physiologische Reaktionen am häufigsten verwendet, um affektive Merkmale zu extrahieren. Allerdings konzentrierte sich die Forschung bisher auf die Offline-Analyse emotionaler Korpora, und eine Online-Verarbeitung (in Echtzeit oder Nah-Echtzeit) wurde selten angestrebt. Eine Integration von Methoden zur Erkennung von Emotionen in praktische Anwendungen setzt jedoch voraus, dass ein System in der Lage ist, auf Emotionen eines menschlichen Nutzers zu reagieren, während dieser mit dem System interagiert. In diesem Papier skizzieren wir zunächst, wie Emotionen aus Sprache, Gestik und Biosignalen erkannt werden können. Anschließend stellen wir Smart Sensor Integration (SSI) vor, ein Werkzeug, das auf die besonderen Bedürfnisse der Online-Emotionserkennung zugeschnitten ist.


* Correspondence address: Universität Augsburg, Institut für Informatik, Eichleitnerstraße 30, 86159 Augsburg, Deutschland,

Published Online: 2009-12-04
Published in Print: 2009-12

© by Oldenbourg Wissenschaftsverlag, Augsburg, Germany

Downloaded on 19.3.2024 from https://www.degruyter.com/document/doi/10.1524/itit.2009.0557/html
Scroll to top button