クロスモーダルとは、視覚・聴覚・触覚など、異なる感覚どうしが影響し合う関係を指す言葉である。インタフェースの設計では、この関係を利用して、ある感覚で伝えていた情報を別の感覚でも受け取れるようにする。
たとえば、スマートフォンをポケットに入れて歩いているとき、画面を見なくても振動で通知に気づくことができる。短い振動を2回ならメール、長い振動を1回なら予定、と決めておけば、振動のパターンから通知の種類を区別できる。
このように、感覚をひとつに限定せず、利用する場面に応じて情報を受け取れるようにすることが、クロスモーダルを応用した設計のひとつである。
クロスモーダルは「感覚をまたぐ」という意味
このように、同じ通知に関する情報を異なる感覚から受け取れるようにするのが、インタフェース設計におけるクロスモーダルの活用例です。
たとえば、スマートフォンの通知を考えてみましょう。
視覚で受け取る
画面に通知アイコンやメッセージを表示する。
触覚で受け取る
振動によって通知が来たことや、その種類を伝える。
聴覚で受け取る
音によって通知を知らせたり、音声で内容を伝えたりする。
マルチモーダルとの違い
クロスモーダルと似た言葉に、マルチモーダル（Multimodal）がある。どちらも複数の感覚や情報の経路に関係するが、注目する点が異なる。
マルチモーダルは、複数の感覚や情報の経路を組み合わせて情報を伝える考え方である。たとえば、地図を画面に表示しながら、音声でも道順を案内する。
一方、クロスモーダルは、異なる感覚どうしの関係を利用する。画面を見られないときにも振動で進路変更を知らせるなど、感覚をまたいで情報を伝える方法がその例である。
両者は対立する概念ではない。ひとつの製品で複数の感覚を組み合わせながら、状況に応じて情報を別の感覚へ切り替えられるようにすることもできる。
感覚をまたいでも伝わる性質
異なる感覚を通じて情報を伝えるには、感覚をまたいでも認識しやすい性質を利用することが重要である。
たとえば、音と振動は、強さ・長さ・リズム・繰り返しといった性質を共有している。音で覚えたリズムを振動でも再現すれば、同じパターンとして認識しやすくなる。
こうした、特定の感覚に限定されずに認識できる性質は、アモーダル属性と呼ばれる。反対に、音の高さやメロディのように、別の感覚へそのまま移しにくい性質もある。音の高さだけで通知を区別している場合、その違いを振動だけで同じように伝えることは難しい。
ただし、音と振動が物理的に似ていれば、必ず同じ意味として認識されるわけではない。利用者がパターンを区別できることや、意味を覚えやすいことも考慮する必要がある。
感覚どうしは影響し合う
クロスモーダルは、もともと心理学や知覚研究で使われてきた言葉であり、異なる感覚が互いの受け取り方に影響する現象も含む。
その例が、マガーク効果である。話し手の口の動きと実際に聞こえる音声が食い違っていると、口の動きにつられて、聞こえる音が実際とは異なるように知覚されることがある。
また、形と音、音と大きさ、視覚的な特徴と味のように、異なる感覚のあいだに共通した連想が生まれることも研究されている。こうした関係は、感覚がそれぞれ独立して働くのではなく、互いに影響し合っていることを示している。
インタフェース設計では、このような感覚間の関係を利用し、利用者が情報を理解しやすく、状況に応じて受け取りやすい方法を考える。
語源・研究の背景
クロスモーダルは、異なる感覚間の相互作用や対応関係を研究する分野で用いられてきた用語である。インタフェース設計では、特に音と触覚の関係を利用し、状況によって使えない感覚を別の感覚で補う方法が研究されてきた。
この分野の研究者であるEve Hoggan（イヴ・ホーガン）とStephen Brewster（スティーヴン・ブリュースター）は、音と振動を使った情報伝達について研究し、ある感覚で覚えた合図を別の感覚でも認識できる可能性を検討した。
イヴ・ホーガン 出典：https://pure.au.dk/portal/en/persons/eve.hoggan%40cs.au.dk/
スティーヴン・ブリュースター 出典：https://www.gla.ac.uk/schools/computing/staff/stephenbrewster/
この考え方は、感覚に障害がある人のためだけのものではない。歩いているとき、手がふさがっているとき、騒音で音が聞き取りにくいときなど、一時的に特定の感覚を使いにくい状況にも応用できる。
さらに、Charles Spence（チャールズ・スペンス）らによる研究では、視覚・聴覚・味覚・嗅覚など、さまざまな感覚の関係が調べられている。クロスモーダルは、音と触覚による通知だけでなく、人が感覚を通じて情報をどのように認識するかを理解するための幅広い研究領域でもある。
画面を見られない場面にも情報を届ける
クロスモーダルを応用する利点のひとつは、利用者が置かれた状況に合わせて、情報を受け取る方法を選べることである。
通知を画面表示だけで伝えると、歩いている人や手がふさがっている人は、すぐに内容を確認できないことがある。音だけで伝える場合も、騒がしい場所では聞き取りにくくなる。
同じ通知を振動でも知らせるようにすれば、画面を見られない場面でも気づきやすくなる。音声や画面表示も利用できるようにしておけば、周囲の環境に応じて情報を受け取る方法を選べる。
このように、クロスモーダルの応用はアクセシビリティの向上だけでなく、さまざまな環境や行動のなかで情報を確実に届けることにも役立つ。
意味と感覚の対応表を作る
クロスモーダルをインタフェースに応用する際は、伝えたい情報と、それをどの感覚のどの性質に割り当てるかを整理するとよい。
たとえば、地図アプリの進路案内では、次のような設計が考えられる。
- 曲がる方向： 左右どちらの手首を振動させるかで知らせる。
- 交差点までの距離： 近づくほど振動の間隔を短くする。
- 緊急性： 通常の通知と区別できるリズムを使う。
ただし、振動のパターンに意味を持たせるだけでは十分ではない。利用者がパターンを区別できるか、初めて使うときにも理解できるか、歩行などの動作中にも認識できるかを検証する必要がある。
重要なのは、感覚ごとに異なる表現を個別に考えるのではなく、まず伝えたい意味を定め、その意味を複数の感覚でどのように表現できるかを設計することである。これにより、利用者が置かれた状況に応じて、情報を受け取りやすい方法を選べるインタフェースを実現できる。
