Interaction Group

Mission

Our group aims to realize "Human-Computer integration" which is easier to use and more cognizant by interaction design. In particular, we are researching how a computer system that is advanced and intelligent, such as automatic driving technology, sensing technology, machine learning etc., can be integrated with people.

This group considers how to contribute to the further evolution of humankind by integrating the technology evolved by humankind with humanity.

どんなに素晴らしい技術も人が使いやすくなくては意味がありません. 特に自動運転など，新しい技術，人の能力を超える技術をどのように人と結びつけるのか，様々な側面から研究を行っています．

近年，信号処理技術や機械学習技術の発達，センサの高性能化により，コンピュータは人では困難な問題を解決できるようになりつつあります．このような技術は，適切な情報提示手法や，操作手法を考えなければ，人と共に活躍することができません．

人類により進化した技術を，人類と一体となることで，さらなる人類の進化に貢献するためにはどうすればいいか，を考えるグループです．

Projects

Dance with Rhythmic Frames：コマ送り提示によるVRダンス学習システム

ダンスを練習する方法として，動画観察による方法が一般的であるが，身体の複数の部位で異なる動作を組み合わせた複雑な身体運動を動画で見るだけでは，一度で全ての要素を確認できず，何度も見直す必要がある．また動画では，ポーズの変遷など時間変化もあり，複雑多数な情報が一度に提示される．そのため，次々と流れていく多数の情報に対して即座に理解し記憶する力が必要であり，個人の能力や経験に依存する．関連研究では，動画内の複雑多様な情報の理解を容易にするために，動作の時間的変化を仮想空間内に可視化する方法や，仮想現実感を用いて直接三次元姿勢を提示する方法が示されたが，テンポが一定でない学習を対象とした可視化による効果の検証にとどまっており，テンポを維持したままでのリズムに合わせた学習には対応していない．小学生の運動遊びの学習に関する研究では，リズムに合わせた刺激を与えることで，優位に身体技能の向上が見られることを確認した．本研究では，リズミカルかつ正確なダンスの習得のための，曲のテンポを維持したまま，リズムに基づいて抽出したダンスポーズをリズムに合わせて提示するコマ送り提示を用いたシステム「Dance with Rhythmic Frames」を提案する．

Satomi Tokida(B4)


UnifiedGeoMap：2D地図と3D地図の組み合わせによる空間情報の把握

本研究では，2D表示の地図と3D表示の地図を組み合わせ，平面的な位置情報と立体的な位置情報を同時に把握することができる情報提示手法の提案をする．画面を液晶ディスプレイの2D表示領域と裸眼立体視ディスプレイの3D表示領域に分け，ユーザが表示位置を操作するだけで，3D表示領域に入った情報が立体的に表示されるユーザーインターフェースを設計した．これにより，ユーザは空間情報の全体的な位置関係を把握しつつ，注目したい領域を3D表示領域に合わせるという操作だけで，立体的に把握することができる．

Tatsuya Hayakawa(B4)


Methods of Gently Notifying Pedestrians of Approaching Objects when Listening to Music 

Many people now listen to music with earphones while walking, and are less likely to notice approaching people, cars, etc. Many methods of detecting approaching objects and notifying pedestrians have been proposed, but few have focused on low urgency situations or music listeners, and many notification methods are unpleasant. Therefore, in this work, we propose methods of gently notifying pedestrians listening to music of approaching objects using environmental sound. We conducted experiments in a virtual environment to assess directional perception accuracy and comfort. Our results show the proposed method allows participants to detect the direction of approaching objects as accurately as explicit notification methods, with less discomfort. 

Yuki Sakashita (M2)


声真似と声質の可視化を用いた所望音声検索システム

本研究では，歌声合成や声質変換の際に必要である，目標の声質の音声データを検索するというタスクをより効率的に行うための検索システムを提案する．システムでは検索対象の話者の声質の可視化を行うことにより，大まかな声質の分布を被験者に提示し，その視覚情報を声質検索に用いる．また，その際ユーザは自身の声真似の音声を入力することで検索の効率化を行うことができる．

Hiroki Saji(M2)


Automatic Generation of Road Trip Summary Video for Reminiscence and Entertainment using Dashcam Video 

Vehicle dashboard cameras are becoming an increasingly popular kind of automotive accessory. While it is easy to obtain the high-definition video data recorded by dashcams using Secure Digital memory cards, this data is rarely used except for safety purposes because it takes substantial time and effort to review or edit many hours of such recorded videos. In this paper, we propose a new usage for this data through the automatic video editing system we have developed that can create enjoyable video summaries of road trips utilizing video and other data from the vehicle. We also report the results of comparisons between automatically edited videos created by the proposed system and manually edited videos created by study participants. The prototype developed in this study and the findings from our experiments will contribute to improving the driving experience by providing entertainment for automobile users after road trips, and by memorializing their travels.

Kana Bito (M1)


FollowSelect

本研究では，ユーザに対してその場所で利用可能な機能の情報とそれが提供される場所への経路をプロジェクタにより床面に投影してメニューの提示を行い，ユーザが希望の経路に追従して歩くことでメニューを選択しながら，同時にユーザを目的地までナビゲーションできるインタラクション手法であるFollowSelectを提案する．これにより，ユーザは機能を見逃さず目的地に簡単にたどり着くことができ，一方でシステムはユーザの選択をもとに機能を提供するための準備時間を確保できることが期待できる．事前実験において，床に経路を投影することによりユーザの歩行を誘導できることを確認した．さらに死角のある環境においてFollowSelectの有効性を確認する実験を行い，標識によるナビゲーション手法と比較してユーザが有意に簡単に目的地までたどり着くことができることを示した．

Yusuke Sakai (D3)


Manipulation of Speed Perception while in Motion using Auditory Stimuli

Due to the rapid development of automated driving technology, the issue of how people will spend their time when traveling in fully automated vehicles is attracting much attention. Infotainment systems that use virtual reality (VR) environments have been proposed as a way to occupy the passengers of automated vehicles when human intervention in the driving process is no longer necessary. In the present study, we investigate whether a passenger’s speed perception can be manipulated using only auditory stimuli, by having them listen to the sound of an engine accelerating, moving at a constant speed, or decelerating without any visual stimuli. We experimentally verify that it is possible to manipulate a passenger’s subjective perception of speed, based on participant feedback, although no significant difference in their perception of speed was observed in our objective evaluation.

Yuta Kanayama(M1)


喉頭摘出者のための歌唱支援システムにおける自然な身体動作を利用した歌唱表現付与

本研究では，声帯を切除し，発声することのできない方のための歌唱支援技術において，歌唱中に生じる自然な身体動作を基に特定の身体動作を用いることで，歌唱表現を付与することのできるシステムを提案する．このシステムでは映像情報からリアルタイムで身体の骨格情報を取得し，特定のポーズを認識することで歌声のパラメータを制御することが可能である．例えば，ユーザは歌唱中「腕を広げる」という動作を行うことにより，自由にビブラート表現を付与することができる．

Shumpei Okawa(M1)


SecretSign

In this paper we propose an interactive system that allows only the owner of a target object to secretly find it among other similar or identical objects, which we call SecretSign. Finding a personal object, e.g. an assigned vehicle in a car-sharing parking lot, where there are many cars that look the same or are similar, can be difficult. In addition, we may not want to notify other people which object we are looking for, e.g. a car thief waiting to steal a car when the driver opens the door. Our proposed system allows a user to find an object without notifying others of the target, using a light attached to the target object which turns on and off in conjunction with user's operation of a remote control device, while lights on the other objects turn on and off randomly. 

Hiromi Morita (B4, Alumni) , Yusuke Sakai (D1)


Improving target selection accuracy for vehicle touch screens

When operating the touch screen in a car, the touch point can shift due to the vibration, resulting in selection errors. Using larger target is a possible solution, but this significantly limits the amount of content that can be displayed on the touch screen. Therefore, we propose a method for in-vehicle touch screen target selection that can be used with a variety of sensors to increase selection accuracy. 

Kosuke Ito (M2)


Effects on User Perception of a 'Modified' Speed Experience Through In-Vehicle Virtual Reality

In order to make the experience of traveling in automated vehicles more enjoyable, Virtual Reality (VR) experiences based on the real-world journey have been proposed. Presenting users with VR content synched to the car's actual movement decreases the motion sickness, but it also sharply limits the possible range of VR content. In this paper, we investigate whether the user's subjective perception of speed can be 'modified' by presenting VR content at a different speed than the actual speed of the vehicle, and whether users feel this experience is strange. Study participants viewed VR content occurring at a faster or slower speed than their actual travel speed in an electric wheelchair. Our results show that the participants were able to do this without experiencing a feeling of "strangeness". However, the participants did report higher "strangeness" scores when the speed in the VR content was slower than their actual speed.

Toshimitsu Watababe(B4, Alumni), Yusuke Sakai(D1)


CarBuddy

本研究では停止している車両に近づいてきた人物が利用者であるのか他者であるのかを判定することで，車両に乗り込む前の段階での人-車両間のより良いインタラクション体験の実現を目指す．例えば，人物が近づいた際にその人物が車両の利用者であるのかを判定し，その行動を認識することで，自動でドアを開けたり，悪意がある他者が近づいた場合には通報を行うなどの機能が実現できる．あるいは乗り込むまでの時間を活用して，車両内の環境を整備することもできる．

Yusuke Sakai (D1)