Technologia rozpoznawania emocji

Celem projektu badawczego było zweryfikowanie możliwości rozpoznawania emocji na podstawie reakcji człowieka. Jako źródło pozyskiwania informacji o stanie osoby, wybrano 3 reakcje ciała: praca serca, reakcja skórno-galwaniczna oraz ruch gałek ocznych. Stymulantem emocji był zestaw gogli VR, w których wyświetlano filmy mające na celu wywołać oczekiwaną emocję. W ramach projektu badano 5 kluczowych emocji: strach, smutek, lęk, radość i stanu neutralny.

Proces opracowywania systemu rozpoznawania emocji

Budowę systemu rozpoznawania emocji można podzielić na 5 kluczowych elementów:

1. Wstępne przetwarzanie danych

Etap ten polega na połączeniu danych pozyskiwanych przez różne mierniki oraz ich przetworzeniu. To tutaj dane są synchronizowane, łączone, czyszczone z błędnych informacji, a także uzupełniane brakujące wartości. Dodatkowo dane są dzielone na okna czasowe, na podstawie których w kolejnych krokach będzie przeprowadzane rozpoznawanie emocji. Dzięki wstępnemu przetwarzaniu danych otrzymujemy nową postać danych, która jest akceptowalna przez model rozpoznawania.

1. Ekstrakcja cech

Zadaniem etapu jest wyciągnięcie istotnych informacji z surowych danych. Wykorzystywane są zarówno ekstraktory dedykowane każdemu ze źródeł pozyskiwanych informacji (tzn. dostosowane do charakterystyki pracy serca, reakcji skórno-galwanicznej oraz ruchu gałek ocznych), jak również ekstraktory statystyczne wykorzystujące operacje statystyczne na wyciągniętych oknach czasowych. Ekstraktory nie tylko pozwalają przyspieszyć proces uczenia, ale i zwiększyć poprawność rozpoznawania emocji.

1. Selekcja cech

Selekcja cech jest istotnym krokiem do zwiększenia wydajności systemu rozpoznawania emocji. Za pomocą dedykowanych selektorów, określany jest podzbiór cech o największym wpływie na decyzję o rozpoznanej emocji. Zmniejszenie liczby cech redukuje szum występujący w danych, a także zmniejsza złożoność modelu rozpoznawania.

1. Opracowanie modelu rozpoznawania

Etap ten jest sercem całego systemu. To tutaj określana jest architektura modelu, który będzie wykorzystywany do rozpoznawania emocji. W ramach tego etapu weryfikowane są różne modele decyzyjne, a następnie zostaje wytypowany jeden z nich do końcowego zastosowania.

1. Strojenie modelu rozpoznawania

Strojenie polega na znalezieniu optymalnych hiperparametrów modelu rozpoznawania, tzn. na określeniu hiperparametrów dzięki którym model osiąga najwyższą skuteczność. Proces strojenia odbywa się za pomocą dedykowanego optymalizatora, który pozwala na osiągnięcie wysokiej skuteczności w ograniczonej liczbie prób weryfikacji modelu.

Ostatecznie opracowany system rozpoznawania emocji został oparty o głębokie sieci neuronowe, uzyskując w ten sposób ponad 90% skuteczność na badanej grupie testowej. W ramach projektu, który miał charakter prac badawczo – rozwojowych, potwierdzono możliwość rozpoznawania emocji na podstawie danych czujników monitorujących wybrane reakcje. Ponadto opracowano aplikację przetwarzającą dane z czujników i wizualizującą stan emocjonalny.