УДК 004.93

Россия, МГТУ им. Н.Э. Баумана

bknyazev@bmstu.ru

Системы автоматического обнаружения аномального поведения человека способствуют решению задач безопасности, робототехники, медицинского и психологического диагностирования и других задач. Такие особенности невербального поведения человека, как мимика лица и соответствующие ей эмоции и уровень напряженности, могут являться объектом исследования в таких системах. В данной работе предлагается частное решение задачи обнаружения аномального поведения человека по видеоинформации. Предлагается краткий обзор методов автоматического распознавания эмоций. Комбинированный метод на основе ActiveShapeModel и нейронной сети, обученной на мимических признаках лица, позволяет классифицировать эмоции и уровни напряженности человека с высокой точностью. Полученная количественная оценка поведения человека поставляется предлагаемой экспертной модели принятия решения о поведении человека. Дается качественная оценка эффективности предлагаемого подхода.

Список литературы

1.Хрулев А.А. Интегрированные автоматизированные системы безопасности для массовых мероприятий на основе биометрических технологий // Евразийский форум "Инфофорум-Евразия", 2010.

2.Спиридонов И.Н. Биометрические технологии идентификации личности и безопасность государства // Евразийский форум "Инфофорум-Евразия"", 2010.

3.Спиридонов И.Н., Кашапова Л.Х. Определение эмоционального состояния по видеоизображению лица // Евразийский форум “Инфофорум-Евразия”, 2012.

4.Tao Xiang, Shaogang Gong. Video Behavior Profiling for Anomaly Detection // Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.30, no.5, pp.893-908, 2008.

5.Ivanov Y.A., Bobick A.F. Recognition of multi-agent interaction in video surveillance // Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on, vol.1, no., pp.169-176 vol.1, 1999.

6.Jabri S., Duric Z., Wechsler H., Rosenfeld A. Detection and location of people in video images using adaptive fusion of color and edge information // Pattern Recognition, 2000. Proceedings. 15th International Conference on , vol.4, pp.627-630 vol.4, 2000.

7.Kiryati N., Raviv T.R., Ivanchenko Y., Rochel S. Real-time abnormal motion detection in surveillance video // Pattern Recognition, 2008. ICPR 2008. 19th International Conference on , pp.1-4, 2008.

8.Boiman O., Irani M. Detecting irregularities in images and in video // Computer Vision, 2005. ICCV 2005. Tenth IEEE International Conference on , vol.1, pp.462-469, 2005.

9.Птицын Н.В. Встроенная видеоаналитика для детектирования и сопровождения объектов при помощи многомасштабных признаков. Режим доступа: http://www.graphicon.ru/proceedings/2010/conference/RU/Se3/31.pdf (дата обращения 18.02.2013)

10.  Sikora T. The MPEG-7 visual standard for content description-an overview // Circuits and Systems for Video Technology, IEEE Transactions on , vol.11, no.6, pp.696-702, 2001.

11.  Nevatia R., Hobbs J., Bolles B. An Ontology for Video Event Representation // Computer Vision and Pattern Recognition Workshop, 2004. CVPRW '04. Conference on, pp.119-119, 2004

12.  Abdoli F., Kahani M. Ontology-based distributed intrusion detection system // Computer Conference, 2009. CSICC 2009. 14th International CSI , pp.65-70, 2009

13.  Fasel B., Luettin J. Automatic facial expression analysis: a survey// Pattern Recognition.  2003. vol.36, iss.1, pp.259-275, 2003.

14.  Леонова А. Б., Медведев В. И. Функциональные состояния человека в трудовой деятельности. М.: [б.н.], 1981.

15.  Климов С. М. Методы и модели противодействия компьютерным атакам.  Люберцы: КАТАЛИТ, 2008. 306 с.

16.  Sandbach G., Zafeiriou S., Pantic M., Yin L. Static and dynamic 3D facial expression recognition: A comprehensive survey // Image and Vision Computing, vol.30, iss.10, pp.683-697, 2012.

17.  Кашапова Л.Х., Хрулев А.А., Спиридонов И.Н. Проектирование автоматизированной системы распознавания эмоционального состояния по мимике // Фотометрия и ее метрологическое обеспечение: Тез. докл. XVII РНТК. – М., 2008. – c. 262-264.

18.  Karthigayan M., Rizon M., Nagarajan R., Yaacob S. Genetic Algorithm and Neural Network for Face Emotion Recognition // Affective Computing, 2008

19.  Zhao Xingli, Zhang Hong, Xu Zhan. Expression recognition by extracting facial features of shapes and textures//Journal of Computational Information Systems. 8(8): 3377-3384, 2012

20.  Azcarate A. , Hageloh F., Koen Van De S, Valenti R. Automatic facial emotion recognition // tech. rep., Universiteit Van Amsterdam, 2005.

21.  Anderson K., McOwan Peter W. A real-time automated system for the recognition of human facial expressions // Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on , vol.36, no.1, pp.96-105, 2006.

22.  Takiguchi T., Adachi J., Ariki Y. Video editing based on situation awareness from voice information and face emotion // In F. De Rango Ed., Digital video. Rjeka, Croatia: InTech, 2010.

23.  Kwang-Eun Ko, Kwee-Bo Sim. Facial emotion recognition using a combining AAM with DBN // Control Automation and Systems (ICCAS), 2010 International Conference on, pp.1436-1439, 2010

24.  Bashyal S., Venayagamoorthy G.K., Recognition of facial expressions using Gabor wavelets and learning vector quantization // Engineering Applications of Artificial Intelligence, 2008

25.  Shan C., Gong S., McOwan Peter W. Facial expression recognition based on Local Binary Patterns: A comprehensive study // Image and Vision Computing, v.27 n.6, pp.803-816, May, 2009

26.  Fanelli G., Yao A., Noel Pierre-Luc, Gall J., Luc Van Gool. Hough Forest-based Facial Expression Recognition from Video Sequences // In Proceeding ECCV'10 Proceedings of the 11th European conference on Trends and Topics in Computer Vision, Vol. part 1, pp. 195-206, 2012.

27.  Agrawal N., Cosgriff R., Mudur R. Mood Detection: Implementing a facial expression recognition system // Stanford University, 2010

28.  Moore S., Bowden R. Local Binary Patterns for Multi-view Facial Expression Recognition // In Computer Vision and Image Understanding, 115(4), pp.541-558, April 2011.

29.  Essa I.A., Pentland A.P. Facial expression recognition using a dynamic model and motion energy // Computer Vision, 1995. Proceedings., Fifth International Conference on, pp.360-367, 1995

30.  Cohen I., Garg A., Huang T.. Emotion recognition from facial expressions using multilevel HMM // In Neural Information Processing Systems, 2000

31.  Dahmane M., Meunier J. Emotion recognition using dynamic grid-based HoG features // Automatic Face & Gesture Recognition and Workshops (FG 2011), 2011 IEEE International Conference on, pp.884-888, 2011.

32.  Tie Yun, Ling Guan. Human emotion recognition using a deformable 3D facial expression model // Circuits and Systems (ISCAS), 2012 IEEE International Symposium on, pp.1115-1118, 2012.

33.  Yun Tie, Ling Guan. A Deformable 3-D Facial Expression Model for Dynamic Human Emotional State Recognition // Circuits and Systems for Video Technology, IEEE Transactions on, vol.23, no.1, pp.142-157, 2013.

34.  Tsalakanidou F., Malassiotis Sotiris. Real-time 2D+3D facial action and expression recognition // Pattern Recognition, v.43 n.5, p.1763-1775, May, 2010.

35.  Ekman P. Strong evidence for universals in facial expressions // Psychol. Bull., 115(2): 268–287, 1994.

36.  Izard C.E. Innate and universal facial expressions: evidence from developmental and crosscultural research // Psychol. Bull., 115(2): 288–299, 1994.

37.  Ekman P., Friesen W. V., Hager J. C. Facial Action Coding System Investigator’s Guide. // Research Nexus, 2002

38.  Немчин Т.А. Состояния нервно-психического напряжения.  Л.,  Изд-во ЛГУ, 1983.

39.  Марютина Т.М. Психофизиология эмоционально-потребностной сферы. Режим доступа: http://www.ido.edu.ru/psychology/psychophysiology/ (дата обращения: 25.12.2009)

40.  An open source Active Shape Model library. Режим доступа: http://code.google.com/p/asmlib-opencv/ (дата обращения 18.02.2013)

41.  Google Project Hosting Library of Active Shape Model. Режим доступа: http://code.google.com/p/asmlibrary/ (дата обращения 18.02.2013)

42.  Active Shape Models with Stasm. Режим доступа: http://www.milbo.users.sonic.net/stasm/index.html (дата обращения 18.02.2013)

43.  Dirk-Jan Kroon, Active Shape Model (ASM) and Active Appearance Model (AAM). Режим доступа: http://www.mathworks.com/matlabcentral/fileexchange/26706-active-shape-model-asm-and-active-appearance-model-aam (дата обращения 18.02.2013)

44.  Хайкин Саймон. Нейронные сети. Полный курс. - М. : Вильямс, 2006. – 1104c.

45.  MMI Facial Expression Database. Режим доступа: http://www.mmifacedb.com (дата обращения 18.02.2013)

46.  The Color FERET Database. Режим доступа: http://face.nist.gov/colorferet (дата обращения: 29.12.2009)