Multidimensional characterization of quality of experience of stereoscopic 3D TV

Wei CHEN Mémoire présenté en vue de l’obtention du grade de Docteur de l’Université de Nantes Sous le label de l’Université Nantes Angers Le Mans Discipline : Informatique Spécialité: Automatique et Informatique Appliquée Laboratoire : IRCCyN Soutenue le 23 octobre 2012 École doctorale : 503 (STIM) Thèse n° : ED503-179 Caractérisation multidimensionnelle de la qualité d`expérience en télévision de la TV3D stéréoscopique Multidimensional characterization of quality of experience of stereoscopic 3D TV JURY Rapporteurs : Lina Karam, Professeur, Arizona State University Christophe Charrier, Maître de Conférences HDR, GREYC, Universitéde Caen Basse Normandie Examinateurs : Marcus Barkowsky, Maître de Conférences, IRCCyN, Université de Nantes Luce Morin, Professeur des Universités, IETR, INSA de Rennes Touradj Ebrahimi, Professeur, Ecole Polytechnique Fédérale de Lausanne Invité: Jérôme Fournier, ingénieur expert, lab’Orange, France Télécom Directeur de Thèse : Patrick le Callet, Professeur des Universités, IRCCyN, Universitéde Nantes Wei CHEN Caractérisation multidimensionnelle de la qualitéd`expérience de la TV3D stéréoscopique Multidimensional characterization of quality of experience of stereoscopic 3D TV Résumé La TV 3D stéréoscopique (S-3DTV) est supposée améliorer la sensation de profondeur des observateurs mais possiblement en affectant d’autres facteurs de l’expérience utilisateur. L’évaluation subjective (avec observateurs) est la méthode la plus directe pour qualifier la qualité d’expérience (QoE). Cependant, les méthodes conventionnelles ne sont pas adaptées à l’évaluation de la QoE dans le cas de la S-3DTV. Cette thèse a pour but de, premièrement proposer de nouvelles méthodologies pour évaluer la QoE dans pareil contexte ; deuxièmement investiguer les impacts de choix technologiques de la diffusion S-3DTV sur la QoE ; troisièmement proposer des recommandations pour optimiser la QoE. Sur les aspects méthodologiques, l’idée clé repose sur une approche multidimensionnelle de la QoE via la définition de plusieurs indicateurs. La fatigue visuelle fait l’objet d’une étude expérimentale particulière en utilisant des questionnaires, tests de vision et analyse de signaux EEG dans des conditions de visualisation optimisés. D’autres indicateurs ont été mesurés pour investiguer quantitativement l’impact de l’acquisition, la représentation, la compression et la transmission du contenu S-3DTV sur la QoE. De plus, les règles améliorées de captation stéréoscopiques, de budget de profondeur «confortable», de débit de diffusion ont été élaborées et validées au travers des études expérimentales. Mots clés TV 3D, qualité d’expérience, fatigue visuelle, confort visuel, qualité d’image, perception visuelle humaine, diffusion 3D Abstract: Stereoscopic-3DTV (S-3DTV) should provide enhanced depth perception to viewer while it might affect other factors of user experience. Subjective assessment is the most direct way to assess quality of experience (QoE). However, conventional assessment methods are not sufficient to evaluate the QoE of S-3DTV. This thesis aims first to propose new methodologies to evaluate S-3DTV QoE; second, investigate different technical issues related to QoE along the 3DTV broadcasting chain; third, propose recommendations to optimize the S-3DTV QoE. For methodological aspects, the key idea relies on using multidimensional QoE indicators. Visual fatigue, as a particular dimension of QoE, is addressed separately under optimized viewing conditions using questionnaire, vision test and EEG signals. For other QoE indicators, we design subjective QoE experiments to investigate the impact of content acquisition, 3D representation format, compression and transmission on QoE of S-3DTV. The experiment results quantitatively reveal how perceived binocular depth, compression distortion, the cooperation between 3D representation formats and line interleaved display, and view asymmetries affect multidimensional QoE of S-3DTV. Additionally, we elaborate and validate improved stereoscopic shooting rules, depth budget for visual comfort, appropriate frame compatible format for line interleaved display, bitrate to broadcast S-3DTV, threshold for view asymmetries to avoid visual discomfort. Key words 3DTV, quality of experience, visual fatigue, visual comfort, image quality, human visual perception, 3D broadcasting L’UNIVERSITÉ NANTES ANGERS LE MANS Acknowledgements The work presented in this thesis could not have been possible without the support of mange people. Many thanks to my supervisors: Patrick Le Callet, Marcus Barkowsky and Jérôme Fournier for their timely advice, consultations, encouragement, and critiques throughout the development of this work. Jérôme has been an invaluable source of support and guidance all along my work on the thesis. I am very grateful to France telecom colleagues: Bernard Letertre and Jean-Chareles Gicquel, for their discussion and help in designing and guiding subjective quality assessment experiments. Last but not least, I would like to thank my family: my wife and my parents. They have always been a source of motivation. Without them, I could have never accomplished what I have done today. Wei Chen Abstract Abstract Stereoscopic-3DTV (S-3DTV) should provide enhanced depth perception to viewer while it might affect other factors of user experience. Subjective assessment is the most direct way to assess quality of experience (QoE). However, conventional assessment methods are not sufficient to evaluate the QoE of S-3DTV. This thesis aims first to propose new methodologies to evaluate S-3DTV QoE; second, investigate different technical issues related to QoE along the 3DTV broadcasting chain; third, propose recommendations to optimize the S-3DTV QoE. For methodological aspects, the key idea relies on using multidimensional QoE indicators. Visual fatigue, as a particular dimension of QoE, is addressed separately under optimized viewing conditions using questionnaire, vision test and EEG signals. For other QoE indicators, we design subjective QoE experiments to investigate the impact of content acquisition, 3D representation format, compression and transmission on the QoE of S-3DTV. The experiment results quantitatively reveal how perceived binocular depth, compression distortion, the cooperation between 3D representation formats and line interleaved display, and view asymmetries affect multidimensional QoE of S-3DTV. Additionally, we elaborate and validate improved stereoscopic shooting rules, depth budget for visual comfort, appropriate frame compatible format for line interleaved display, bitrate to broadcast S-3DTV, threshold for view asymmetries to avoid visual discomfort. Keywords: 3DTV, quality of experience, visual fatigue, visual comfort, image quality, human visual perception, 3D broadcasting Résumé Résumé La TV 3D stéréoscopique (S-3DTV) est supposée améliorer la sensation de profondeur des observateurs mais possiblement en affectant d’autres facteurs de l’expérience utilisateur. L’évaluation subjective (avec observateurs) est la méthode la plus directe pour qualifier la qualité d’expérience (QoE). Cependant, les méthodes conventionnelles ne sont pas adaptées à l’évaluation de la QoE dans le cas de la S-3DTV. Cette thèse a pour but de, premièrement proposer de nouvelles méthodologies pour évaluer la QoE dans pareil contexte ; deuxièmement investiguer les impacts de choix technologiques de la diffusion S-3DTV sur la QoE ; troisièmement proposer des recommandations pour optimiser la QoE. Sur les aspects méthodologiques, l’idée clé repose sur une approche multidimensionnelle de la QoE via la définition de plusieurs indicateurs. La fatigue visuelle fait l’objet d’une étude expérimentale particulière en utilisant des questionnaires, tests de vision et analyse de signaux EEG dans des conditions de visualisation optimisés. D’autres indicateurs ont été mesurés pour investiguer quantitativement l’impact de l’acquisition, la représentation, la compression et la transmission du contenu S-3DTV sur la QoE. De plus, les règles améliorées de captation stéréoscopiques, de budget de profondeur «confortable», de débit de diffusion ont étéélaborées et validées au travers des études expérimentales. Mots clés: TV 3D, qualité d’expérience, fatigue visuelle, confort visuel, qualité d’image, perception visuelle humaine, diffusion 3D ... - tailieumienphi.vn