Autoren:
Schenk, Joachim / Rigoll, Gerhard
Mensch-Maschine-Kommunikation
Grundlagen von sprach- und bildbasierten Benutzerschnittstellen
2010. CCCLXXXVII, 328 S. Geb.
ISBN: 978-3-642-05456-3
Lehrbuch
Lieferbar, versandfertig in 3 Tagen
-
Das Buch
-
Ausgehend von den gängigen und bekannten Ein- und Ausgabegeräten gibt das Buch einen Überblick über die heute mögliche Mensch-Maschine-Kommunikation (MMK). Dazu werden der Seh- und der Hörsinn, die momentan wichtigsten Modalitäten für die MMK, vorgestellt. Anschließend werden die Grundlagen der Dialogsysteme, der Wissensrepräsentation und der künstlichen Intelligenz entwickelt (Grammatiken, Zustandsautomaten, Suchverfahren) - unverzichtbare Elemente heutiger Mensch-Maschine-Schnittstellen. Die grundlegenden Algorithmen werden beschrieben, die in der Spracherkennung Verwendung finden (Abstandsklassifikatoren, Hidden-Markov-Modelle). Bei der bildbasierten MMK erfolgt zunächst eine Einführung in die Grundlagen der Bildverarbeitung (Signaldarstellung in zwei Dimensionen, Filterung, morphologische Operationen). Danach werden die Methoden der bildbasierten MMK vorgestellt und algorithmische Lösungen vorgeschlagen: Gesichtsdetektion (z.B. Viola-Jones), Gesichtsidentifikation (z.B. Eigenfaces, Active Appearance Models) und Gesichtsverfolgung (z.B. ConDenSation).
Jedes Kapitel enthält Übungen mit ausführlichen Lösungen.
-
Aus dem Inhalt
-
1 Einleitung 1
1.1 Mensch-Maschine-Kommunikation in der Informations- und Kommunikationstechnik
. . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Grundbegriffe der MMK . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Disziplinen der Mensch-Maschine-Kommunikation . . . . . . . . . 4
2 Ein-/Ausgabegeräte 7
2.1 Datenrate verschiedener Ein-/Ausgabegeräte . . . . . . . . . . . . . 8
2.2 Eingabegeräte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.1 Loch- und Markierungskarte . . . . . . . . . . . . . . . . . 8
2.2.2 Tastatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2.3 Maus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.4 Joystick . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.5 Touchscreen . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.6 Grafiktablett . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.7 Scanner . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.8 Videokamera . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.9 Mikrofon . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.10 Nutzung weiterer Modalitäten . . . . . . . . . . . . . . . . 27
2.3 Ausgabegeräte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.1 Bildschirm . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.2 Lautsprecher . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4 Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Aufgabe 1: Tastatur . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Aufgabe 2: Maus . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Aufgabe 3: Resistiver Touchscreen . . . . . . . . . . . . . . . . . . 36
3 Menschliche Sinnesorgane 39
3.1 Übersicht über die Sinne . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 Sehen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2.1 Aufbau des Auges . . . . . . . . . . . . . . . . . . . . . . 40
3.2.2 Prinzip des Sehens . . . . . . . . . . . . . . . . . . . . . . 41
3.2.3 Psychooptische und physikalische Messgrößen . . . . . . . 43
3.2.4 Farbsehen . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2.5 Gesichtsfeld . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.6 Farbmischung . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3 Versuche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4 Hören . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.1 Das Ohr . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4.2 Psychoakustik . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5 Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
Aufgabe 1: Auflösungsvermögen des menschlichen Auges . . . . . 62
Aufgabe 2: Sehen, Farbsehen und C. I. E.-Normtafel . . . . . . . . . 63
Aufgabe 3: Farbdarstellung . . . . . . . . . . . . . . . . . . . . . . 65
Aufgabe 4: Sehen und Hören . . . . . . . . . . . . . . . . . . . . . 66
4 Dialogsysteme 69
4.1 Grundlagen intelligenter Systeme . . . . . . . . . . . . . . . . . . . 69
4.1.1 Suchverfahren . . . . . . . . . . . . . . . . . . . . . . . . 70
4.1.2 Suchstrategien . . . . . . . . . . . . . . . . . . . . . . . . 71
4.1.3 Heuristische Suche/A-Algorithmus . . . . . . . . . . . . . 74
4.1.4 A*-Algorithmus . . . . . . . . . . . . . . . . . . . . . . . 76
4.2 Logik und Theorembeweisen . . . . . . . . . . . . . . . . . . . . . 76
4.2.1 Aussagenlogik . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2.2 Prädikatenlogik . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3 Wissensrepräsentation . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3.1 Übersicht . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3.2 Prädikatenlogik zur Wissensrepräsentation . . . . . . . . . 85
4.3.3 Produktionsregeln . . . . . . . . . . . . . . . . . . . . . . 85
4.3.4 Semantische Netze . . . . . . . . . . . . . . . . . . . . . . 88
4.3.5 Rahmen (Frames) . . . . . . . . . . . . . . . . . . . . . . . 89
4.4 Grammatiken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.4.1 Allgemeine Bemerkungen zu Grammatiken . . . . . . . . . 91
4.4.2 Kontextfreie Grammatiken . . . . . . . . . . . . . . . . . . 92
4.4.3 Normalformen von Grammatiken . . . . . . . . . . . . . . 92
4.4.4 Kontextfreie Sprachen und Parsing . . . . . . . . . . . . . . 94
4.4.5 Anwendung von Grammatiken in der KI-Forschung . . . . 97
4.5 Automatentheorie . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.5.1 Zustandsautomaten . . . . . . . . . . . . . . . . . . . . . . 100
4.5.2 Kellerautomaten . . . . . . . . . . . . . . . . . . . . . . . 102
4.6 Dialoggestaltung . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.6.1 Modellierung einfacher Dialoge mit Zustandsautomaten . . 109
4.6.2 Intelligente interaktive Systeme . . . . . . . . . . . . . . . 110
4.7 Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
Aufgabe 1: Suchverfahren . . . . . . . . . . . . . . . . . . . . . . 116
Aufgabe 2: Prädikatenlogik und logisches Schließen . . . . . . . . 119
Aufgabe 3: Wissensdarstellung . . . . . . . . . . . . . . . . . . . . 119
Aufgabe 4: Grammatik . . . . . . . . . . . . . . . . . . . . . . . . 120
5 Sprachkommunikation 123
5.1 Klassifizierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.2 Abstandsklassifikatoren . . . . . . . . . . . . . . . . . . . . . . . . 124
5.2.1 Quadratischer (Euklidischer) Abstand . . . . . . . . . . . . 125
5.2.2 Mahalanobis-Abstand . . . . . . . . . . . . . . . . . . . . 125
5.3 Hidden-Markov-Modelle als statistische Klassifikatoren . . . . . . . 126
5.3.1 Markov-Modelle . . . . . . . . . . . . . . . . . . . . . . . 126
5.3.2 Hidden-Markov-Modelle . . . . . . . . . . . . . . . . . . . 127
5.3.3 Klassifizierung mit HMM . . . . . . . . . . . . . . . . . . 129
5.3.4 Training von HMM . . . . . . . . . . . . . . . . . . . . . . 132
5.3.5 Viterbi-Algorithmus . . . . . . . . . . . . . . . . . . . . . 134
5.4 HMM in der Spracherkennung . . . . . . . . . . . . . . . . . . . . 136
5.4.1 Merkmalsextraktion . . . . . . . . . . . . . . . . . . . . . 136
5.4.2 Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
5.4.3 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
5.4.4 Erkennung . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.5 Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Aufgabe 1: Abstandsklassifizierung . . . . . . . . . . . . . . . . . 140
Aufgabe 2: Hidden-Markov-Modelle . . . . . . . . . . . . . . . . . 142
6 Handschrifterkennung 147
6.1 Offline- und Online-Erkennung . . . . . . . . . . . . . . . . . . . . 147
6.2 Vorverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
6.2.1 Neuabtastung . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.2.2 Kompensation der Zeilenneigung . . . . . . . . . . . . . . 149
6.2.3 Kompensation der Schriftneigung . . . . . . . . . . . . . . 150
6.2.4 Normalisierung der Schriftgröße . . . . . . . . . . . . . . . 151
6.3 Erkennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
6.3.1 Merkmalsextraktion . . . . . . . . . . . . . . . . . . . . . 153
6.3.2 Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.3.3 Training und Erkennung . . . . . . . . . . . . . . . . . . . 155
6.4 Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Aufgabe 1: Neuabtastung . . . . . . . . . . . . . . . . . . . . . . . 156
Aufgabe 2: Zeilenneigungskorrektur . . . . . . . . . . . . . . . . . 157
7 Grundlagen der Bildverarbeitung 159
7.1 Kontinuierliche zweidimensionale Signale . . . . . . . . . . . . . . 159
7.1.1 Separierbarkeit . . . . . . . . . . . . . . . . . . . . . . . . 159
7.1.2 Faltung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
7.2 Diskrete Signale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7.2.1 Ideale Abtastung . . . . . . . . . . . . . . . . . . . . . . . 163
7.2.2 Spektraldarstellung . . . . . . . . . . . . . . . . . . . . . . 165
7.2.3 Quantisierung . . . . . . . . . . . . . . . . . . . . . . . . . 166
7.2.4 Faltung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.3 Bildaufzeichnung und Bildstörung . . . . . . . . . . . . . . . . . . 169
7.3.1 Additive Störungen . . . . . . . . . . . . . . . . . . . . . . 169
7.3.2 Lineare, ortsinvariante Bildstörungen . . . . . . . . . . . . 170
7.4 Bildrestauration und Bildverbesserung . . . . . . . . . . . . . . . . 171
7.4.1 Rauschkompensation . . . . . . . . . . . . . . . . . . . . . 171
7.4.2 Medianfilter . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.4.3 Blur-Kompensation . . . . . . . . . . . . . . . . . . . . . . 174
7.4.4 Histogrammausgleich . . . . . . . . . . . . . . . . . . . . 175
7.5 Kantenhervorhebung . . . . . . . . . . . . . . . . . . . . . . . . . 177
7.5.1 Gradientenfilter . . . . . . . . . . . . . . . . . . . . . . . . 178
7.5.2 Laplace-Filter . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.5.3 Binarisierung . . . . . . . . . . . . . . . . . . . . . . . . . 181
7.6 Morphologische Operatoren . . . . . . . . . . . . . . . . . . . . . 182
7.6.1 Erosion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
7.6.2 Dilatation . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.6.3 Öffnen und Schließen . . . . . . . . . . . . . . . . . . . . 185
7.6.4 Anwendung morphologischer Operationen . . . . . . . . . 185
7.7 Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Aufgabe 1: Separierbare Signale . . . . . . . . . . . . . . . . . . . 186
Aufgabe 2: Kontinuierliche Faltung . . . . . . . . . . . . . . . . . 186
Aufgabe 3: Diskrete Faltung . . . . . . . . . . . . . . . . . . . . . 187
Aufgabe 4: Bildrekonstruktion . . . . . . . . . . . . . . . . . . . . 188
Aufgabe 5: Histogrammausgleich, kontinuierliche Grauwertverteilung 190
Aufgabe 6: Histogrammausgleich, diskrete Grauwertverteilung . . . 191
Aufgabe 7: Laplace-Operator . . . . . . . . . . . . . . . . . . . . . 193
Aufgabe 8: Morphologische Operatoren . . . . . . . . . . . . . . . 194
8 Gesichtsdetektion 197
8.1 Farbbasierte Gesichtsdetektion . . . . . . . . . . . . . . . . . . . . 197
8.1.1 Der YUV-Raum . . . . . . . . . . . . . . . . . . . . . . . 198
8.1.2 Der HSV-Raum . . . . . . . . . . . . . . . . . . . . . . . . 199
8.1.3 Hautfarben-Segmentierung . . . . . . . . . . . . . . . . . . 201
8.2 Blockbasierte Verfahren, Viola-Jones . . . . . . . . . . . . . . . . . 202
8.2.1 Gaußpyramide . . . . . . . . . . . . . . . . . . . . . . . . 203
8.2.2 Überblick Viola-Jones-Verfahren . . . . . . . . . . . . . . . 204
8.2.3 Merkmalsgewinnung . . . . . . . . . . . . . . . . . . . . . 204
8.2.4 Merkmalsselektion . . . . . . . . . . . . . . . . . . . . . . 206
8.2.5 AdaBoost-Algorithmus . . . . . . . . . . . . . . . . . . . . 208
8.2.6 Detektionsfenster mit variabler Größe . . . . . . . . . . . . 210
8.2.7 Kaskadierung mehrerer Klassifikatoren . . . . . . . . . . . 211
8.2.8 Verbesserung des Viola-Jones-Verfahrens . . . . . . . . . . 212
8.3 Übungen .
Aufgabe 2: Viola-Jones – Merkmale . . . . . . . . . . . . . . . . . 213
Aufgabe 3: Viola-Jones – Integralbild . . . . . . . . . . . . . . . . . 213
9 Gesichtsidentifikation 215
9.1 Merkmalsgewinnung durch Eigengesichter . . . . . . . . . . . . . . 216
9.1.1 Bestimmung der Eigengesichter . . . . . . . . . . . . . . . 217
9.1.2 Identifikation mit Eigengesichtern . . . . . . . . . . . . . . 220
9.2 Merkmalsgewinnung mit Form-Modellen . . . . . . . . . . . . . . 220
9.2.1 Affine Transformationen . . . . . . . . . . . . . . . . . . . 221
9.2.2 Procrustes-Analyse . . . . . . . . . . . . . . . . . . . . . . 222
9.2.3 Objektabhängige Formen . . . . . . . . . . . . . . . . . . . 223
9.2.4 Point-Distribution-Model (PDM) . . . . . . . . . . . . . . 225
9.2.5 Anwenden des PDM auf Bilder . . . . . . . . . . . . . . . 228
9.2.6 Gesichtsidentifikation mit ASM . . . . . . . . . . . . . . . 231
9.2.7 Weitere Einsatzgebiete der ASM . . . . . . . . . . . . . . . 231
9.3 Merkmalsgewinnung mit „Appearance"-Modellen . . . . . . . . . . 232
9.3.1 Triangulation . . . . . . . . . . . . . . . . . . . . . . . . . 233
9.3.2 Warping . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
9.3.3 Mittelwerttextur . . . . . . . . . . . . . . . . . . . . . . . 238
9.3.4 Texturmodell . . . . . . . . . . . . . . . . . . . . . . . . . 239
9.3.5 Kombination von Form- und Texturmodell . . . . . . . . . 240
9.3.6 Anpassung der Appearance-Parameter . . . . . . . . . . . . 242
9.4 Übungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Aufgabe 1: Hauptachsentransformation . . . . . . . . . . . . . . . 246
Aufgabe 2: Hauptachsentransformation – Reduzierung des Rechenaufwands
. . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Aufgabe 3: Procrustes-Analyse . . . . . . . . . . . . . . . . . . . . 247
Aufgabe 4: Triangulation . . . . . . . . . . . . . . . . . . . . . . . 249
10 Objektverfolgung 251
10.1 Dynamische Bildsequenz . . . . . . . . . . . . . . . . . . . . . . . 251
10.2 Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
10.2.1 Objektverfolgung mithilfe von Differenzbildern . . . . . . . 254
10.2.2 Stochastische Objektverfolgung . . . . . . . . . . . . . . . 255
10.2.3 Condensation-Algorithmus . . . . . . . . . . . . . . . . . . 260
11 Musterlösungen 263
11.1 Lösung zu Abschnitt 2.4 . . . . . . . . . . . . . . . . . . . . . . . 264
11.2 Lösung zu Abschnitt 3.5 . . . . . . . . . . . . . . . . . . . . . . . 273
11.3 Lösung zu Abschnitt 4.7 . . . . . . . . . . . . . . . . . . . . . . . 286
11.4 Lösung zu Abschnitt 5.5 . . . . . . . . . . . . . . . . . . . . . . . 309
11.5 Lösung zu Abschnitt 6.4 . . . . . . . . . . . . . . . . . . . . . . . 321
11.6 Lösung zu Abschnitt 7.7 . . . . . . . . . . . . . . . . . . . . . . . 327
11.7 Lösung zu Abschnitt 8.3 . . . . . . . . . . . . . . . . . . . . . . . 344
STICHWORTE, DIE AUF WEITERE PRODUKTE VERWEISEN