第2回 “さわれるデジタル”の到来：【連載】IOT（Internet of Things）時代のブランドエクスペリエンス（3/5 ページ）

[神谷憲司，スパイスボックス]

クロスモーダル

　そしてクロスモーダル。クロスモーダルとは、感覚間の相互作用によって、直接刺激を受けてない感覚にも知覚を生じさせる体験のことを指します。クロスモーダルを生み出す背景には、ある音韻の発話の映像と別の音韻の音声を組み合せて視聴すると、第三の音韻が聞こえるという現象（マガーク効果）があります。例えば、「ガ（ga）」と言っている映像に、「バ（ba）」と言っている音声を組み合わせて視聴すると、「ガ」でも「バ」でもなく、「ダ（da）」と聞こえます。そのクロスモーダルを利用したのが下記の「META COOKIE」です。

　これは、クッキーに対し、視覚情報と嗅覚情報を重畳することで、クッキーの「風味」を変化させ、食べる人が受け取る味の認識を変化させるというクロスモーダルな体験となっています。カメラによって認識可能なマーカのついたクッキーに、ヘッドマウントディスプレーを使ってさまざまなクッキーの写真を重畳表示し、さらに嗅覚ディスプレイによって匂いを付加するというような仕組みです。またクッキーを大きく見せることにより、いつもよりも満腹感を得られるといった効果もあるそうです。