Virtual Reality Without Vision: A Haptic and Auditory White Cane to Navigate Complex Virtual Worlds

[chestnutforestlabo]

Links

• Paper: https://www.microsoft.com/en-us/research/uploads/prod/2020/02/Siu-VR_without_vision-CHI2020.pdf
• Movie:https://www.youtube.com/watch?v=rIuJuRvnOEw&amp=&feature=youtu.be

Abstract

• Current Virtual Reality (VR) technologies focus on rendering visuospatial effects, and thus are inaccessible for blindor low vision users. We examine the use of a novel white cane controller that enables navigation without vision of large virtual environments with complex architecture, such as winding paths and occluding walls and doors. The cane controller employs a lightweight three-axis brake mechanism to provide large-scale shape of virtual objects. The multiple degrees-of freedom enables users to adapt the controller to their preferred techniques and grip. In addition, surface textures are rendered with a voice coil actuator based on contact vibrations; and spatialized audio is determined based on the progression of sound through the geometry around the user. We design a scavenger hunt game that demonstrates how our device enables blind users to navigate a complex virtual environment. Seven out of eight users were able to successfully navigate the virtual room (6x6m) to locate targets while avoiding collisions. We conclude with design consideration on creating immersive nonvisual VR experiences based on user preferences for cane techniques, and cane material properties.

• ヘッドホンと白杖の装着型VRデバイスの開発

1. 物体の形状が分かる触覚的なフィードバック

2. 音の反響やエコーを波ベースで忠実に再現

3. 物質の摩擦などのテクスチャを現実の素材に基づいて再現

Approach

• ゲーム形式でのユーザースタディ

1. アイテムを部屋の中から探し出し、それを集めるゲーム。(物体は特別な音を発している)

2. 障害物や壁をよけるゲーム

　→7/8のユーザーが問題なくVR空間上を歩くことができた

Strong Point

1. 波ベースで音の伝搬を再現してユーザーにヘッドホンを通して音の反響などを伝えた。 　 “The audio was super real that’s why I thought there were people around me.” “From the target audio cue, I could know which direction to go and approximately how far I had to go”

2. 物体のテクスチャの再現性が高い　→　VR空間でも今何に白杖が当たっているのかが分かる。

3. 前の論文で杖が壁を貫通してしまう問題点を解決　→　杖が物体の中にあるときは杖をコントロールできなくした。

4. ゲーム形式でのユーザースタディにより被験者に楽しんでもらえた。 　“It was challenging, and I enjoyed it. The 2nd time I enjoyed it even more. I wasn't a mad man on a mission”

Result

1. 装着型のVRデバイスによってVR空間上の探索が可能になった

2. 元々の白杖を使う能力をそのままVR空間にも適用可能であることが分かった

3. テクスチャやエコーなどの環境音を物理的に忠実に再現することによってリアルな環境をVR空間上で作り上げた。

Limitation & Future Work

1. 探索ではなくゲームにより評価を重視しすぎた

2. 足元のテクスチャの情報がなかった。

3. VR空間上で訓練した後に実空間上での歩行実験を今後したい。

Previous Work

同じ研究チームの前の論文 Enabling People with Visual Impairments to Navigate Virtual Reality with a Haptic and Auditory Cane Simulation link: https://github.com/Wotipati/Blind_Accessibility_Papers/issues/36

[Wotipati]

スライド出典: CHI勉強会2020 スライド作成者: 電気通信大学 梶本研究室 亀岡嵩幸さん