About thirty years after the first designs of personal computers, most information and communication (ICT) systems are still constructed according to the initial paradigm of a single-computer-to-user relationship, assuming and consuming full and undivided user attention. In combination with the ever-growing number of devices, services, and available amounts of data, these systems massively overload users with unrequested and unprocessable amounts of data, resulting in overwhelming information overload and attention scarcity. This work pursues an alternative, truly user-centered “\textit{Attention-Aware ICT}”-design that embodies a respectful handling of human attention resources. The vision of an attention-aware system design is to enable computer systems to be aware, not only of the physical presence or activities of users but also of their cognitive state via the integration of measurement, modeling and management of human attention. Such systems could elevate the role of users from the limiting bottleneck in information transfer to the central implicit and explicit control entity of interaction design as to, e.g., avoid information overload by adapting information distribution to perception capabilities, prevent attentional errors via the detection and handling of distraction, or actively support of users in paralleled, multi-task scenarios. This work addresses the first necessary step, the sensorial assessment of human attention as an input for computer systems via the analysis of observable indicators of human attention. Exploring human expressions of attention as an input for interactive systems, the main contributions of this work are: (i) an encompassing, interdisciplinary review and evaluation of potential attention indicators regarding their application potentials in interactive systems and most of all (ii) the development of innovative approaches towards attention estimation, both on methodological and algorithmic levels. The focus in the selection of investigated attention indicators is set on candidates that are established in the literature of Cognitive Psychology regarding reliability and temporal resolution, and which have not been the focus of extensive research in the past. As a result, this work contributes advances in the field of online and real-world applicability of pupillometry as well as an innovative approach towards the analysis of executive behavior. The methodological focus in this work is set on the traditional process of (i) model design, (ii) algorithmic realization, and (iii) empirical, statistical validation (machine learning approaches, statistical analysis) based on test and training data derived from conducted experiments or available reference data. The contributions of this work are expected to encourage and facilitate the current trend of integrating user attention as a fundamental aspect of the design of interactive systems.
Zusammenfassung
Auch 30 Jahre nach den ersten PCs basieren moderne Informations- und Kommunikations Technologien (IKT) noch immer auf dem initialen Design-Paradigma eines ausgeglichenen Verhältnisses zwischen Computer und User - und damit auf der Annahme der ungeteilten Aufmerksamkeit des Bedieners. In einer Zeit der allgegenwärtigen Vernetzung erzeugt dieses veraltete Interaktionsprinzip jedoch ein substantielles Überangebot an Information. Dies führt zu einer kritischen Verknappung der menschlichen Aufmerksamkeit und damit zu einer massiven Überforderung. Diese Arbeit verfolgt ein alternatives, nutzerorientiertes Designkonzept, das einen respektvollen Umgang mit der menschlichen Aufmerksamkeit als kritische Ressource verkörpert ("\textit{Attention-Aware ICT}"). Die Vision dieses Konzeptes ist es, IKT-Systeme mit einer Wahrnehmungsfähigkeit auszu-statten die über die reine Detektion physischer Nutzer-Präsenz oder expliziter Nutzeraktivität hinausgeht indem diese auch auf die Einschätzung des kognitiven Status erweitert wird. Momentan nimmt der menschliche Nutzer lediglich die passive Rolle des limitierenden Engpasses in der Informationsverarbeitung ein. Eine Integration der Messung, Modellierung und Steuerung menschlicher Aufmerksamkeit könnte diese Interpretation jedoch grundlegend zu Gunsten des Nutzers verändern und den Nutzer zur impliziten und expliziten Kontrollgröße jeder Informationsübertragung machen. Mögliche Anwendungen wären beispielsweise die Vermeidung von Information Overload durch Anpassung der Informationsübermittelung an Wahrnehmungskapazitäten, Vermeidung von Fehlern durch die Detektion und Intervention bei Ablenkung oder aktive Unterstützung in Multi-Tasking Anwendungen. Diese Arbeit befasst sich mit dem ersten Schritt, der sensorischen Erfassung von Aufmerksamkeit und Ihrer Nutzung als Input für Computersysteme durch die Analyse beobachtbarer menschlicher Aufmerksamkeitsindikatoren. Die Kernbeiträge dieser Arbeit in der Interpretation menschlicher Aufmerksamkeit als Input für technische System sind (i) eine umfassende, interdisziplinäre Bewertung potentieller Aufmerksamkeitsindikatoren bezüglich Ihrer Eignung für interaktive Systeme und vor allem (ii) die Entwicklung innovativer Ansätze zur Einschätzung der Aufmerksamkeit - sowohl auf methodischer als auch auf algorithmischer Ebene. Der Fokus in der Auswahl der untersuchten Indikatoren liegt auf in der Kognitiven Psychologie etablierten Kandidaten, welche noch nicht nachhaltig erforscht wurden oder die mit heutiger Technologie neue Potenitiale bieten. In diesem Zusammenhang liefert diese Arbeit Beiträge im Bereich der Pupillometrie (Online-Analyse und Anwendbarkeit in realen Umgebungen) sowie innovative Ansätze zur Verhaltens-Analyse. Der methodische Fokus basiert auf dem traditionellen Prozess der (i) Modellbildung, (ii) algorithmischen Realisierung, (iii) der empirischen und statistischen Validierung basierend auf Experiment- oder Referenzdaten. Die Erkenntnisse und Beiträge dieser Arbeit unterstützen den aktuellen Trend zur Integration der menschlichen Aufmerksamkeit und Wahrnehmung als fundamentale Designaspekte zukünftiger IKT Systeme.
