この記事は、UXDT2024のワークショップで「KPIマスタークラス：実務での設計と戦略的活用」のVitaly Fredmanのsmashing magazineの記事です。デザインKPIについて説明されています。
https://www.smashingmagazine.com/2022/04/boosting-ux-with-design-kpis/
新しい会議への招待メールを受け取ったところだと想像してください。 「KPI を設計する」という件名がずっしりと重く、少し心配になります。 さて、会議は何について行われると思いますか?
コンバージョン率、新しい A/B テストの結果、直帰率についての話題で、おそらく、出口ページや検索エンジン結果ページ（SERP）、ファネルの中でユーザーが離脱するポイントに関するデータや、Googleアナリティクスからのデータや生成されたリードに関するレポートも会議で提供される情報の一部でしょう。
予測されるのは、チャート上に多くのデータポイントが散在している状況です。これらの各ポイントは異なる個別の体験を表しており、それらを組み合わせることで平均的なユーザー行動が見えてきます。
現実には「平均的なユーザー」という概念が完全に存在しないかもしれませんが、データはトレンドや時間の経過に伴う変化を把握する上で非常に有益です。ただし、これらのトレンドから得られる洞察は重要ですが、全てを網羅するものでもなく重要ではありません。
見えないコスト
過去数十年にわたり、デジタルデザインの分野は目を見張るほどの発展を遂げてきました。私たちは、洗練されたUIの設計や、スムーズなインタラクションを作り出す方法を習得し、プロジェクトの要求に合わせてビジネスの目標を達成するためのユーザーの行動を促す技術を獲得してきました。実際、ほとんどすべてのものを実際に機能させることができます。
このモックアップのどこがおかしいかわかりますか？ ：デザインはポール・ボアグ氏（Paul Boag）
上のモックアップでは「カートに追加（Add to Basket）」ボタンが緑色で目立つようにデザインされています。しかし、小さな文字で（靴への）保険が自動でカートに加わるようになっています。これは典型的なダークパターンです。
このようなデザインは、ビジネスのKPI、すなわち顧客の平均購入額を上げる可能性があります。しかし、同時にユーザーの希望・想定とは誤った購入を引き起こすリスクがあります。結果として、顧客からの多くのクレーム、カスタマーサポートへの問い合わせの増加、返品処理のコスト増加など、企業にとって深刻な影響を及ぼす可能性があります。
多くの組織がリードやコンバージョンなどのビジネス指標に注目していますが、ビジネスに影響を及ぼす重要な指標全体を完全には理解していません。ポール・ボアグ氏が最近の著書で指摘しているように、ビジネスKPIの背後には見過ごされがちな隠れたコストが存在します。これらは短期的な成果には繋がりますが、長期的には大きな代償を伴うことが多いです。
健全なビジネスメトリックスの組み合わせ
健全なビジネス・メトリクス組み合わせには、通常、グーグル・アナリティクスのデータより少し踏み込んだKPIを含めなければなりません。 それは、顧客のライフタイムバリュー、初回購入までの時間、アップグレードまでの時間、返品処理による損失、サポートコスト、販売、マーケティング、顧客獲得、ネガティブレビューの比率などです。 また、「デザインKPI」という、もうひとつの重要なメトリクスも必要でしょう。
デザインKPI
あるデザインについて客観的に説明するにはどうしたらいいのでしょうか。
デザインは主観的なものであり、個人的な意見や個人的な経験が個々のデザイン・プロセスに反映されているように見えます。 しかし、最終的にデザインは問題を解決するものであり、特定の問題がどれだけうまく解決されているかを測ることができます。
パフォーマンスKPIやビジネスKPIを定義するように、デザインKPIを設定し、そのパフォーマンスを長期的に追跡もできます。 デザインKPIは、ユーザーが製品で頻繁に行うトップ・タスクに対する顧客の経験を把握する重要な属性です。
デザインKPIのリーダーボード
最近、ある組織のデザインKPI のダッシュボードをセットアップし始めました。私たちは、優れたユーザーエクスペリエンス(UX)を提供するために、他部署の指標と照らしながら重要な要素を特定し、長期間に渡って定点観測しました。
私がすぐに学んだことの 1 つは、これらの指標は単独では存在できないということです。 それらはビジネス目標と関連している必要があります。 提出されたデータの正確性、リードの質、またはエラー回復率について理解します。 組織は多くの場合、最終目標 (リードなど) のみに焦点を当てますが、私たちはこれらの最終目標の達成に貢献するすべての重要な要素を見つけ出す必要があります。これこそがデザインKPIの本質です。
役立つデザインKPIは数多く存在しますが、特に注目すべきものが以下です。
- トップタスクの完了率
- トップタスク完了時間
- ユーザーが提出したデータの正確性
- コンテンツとナビゲーションの比率（モバイル／デスクトップ）、エラーの頻度、エラー回復率（＝エラーメッセージの質）、リードの質
- 公開までの所要時間
- リリースまでの所要時間
- 最初の購入までの所要時間
- アップグレードまでの所要時間
- コンバージョン率、カーボンフットプリントへの影響、システム・ユーザビリティ・スケール・スコア（理想的には75点以上）、アクセシビリティ・スコア
- ウェブパフォーマンススコア
すべての組織には、それぞれ独自のデザインKPI（重要業績評価指標）が存在します。KPIを設定するには、どの属性がビジネスの目標にどのように影響を与えるかを理解しましょう。
私が有効だと考える戦略の一つは、組織が直面している問題点や遅れを探り出すことです。これには通常、カスタマーサポートやサービスデスクから、設計やエンジニアリングチームに至るまで、複数回にわたるインタビューが必要になります。
これらの指標は、単なる平均的な行動を示す曖昧なデータポイントではなく、実際のユーザーエクスペリエンスと具体的なユーザー行動に重点を置いています。もちろん、これらのKPIを定期的に追跡し、時間の経過と共にどのように変化するかを観察することも大切です。そのためには、これらを正確に測定することが不可欠です。
デザインKPIの測定
KPIを設定した後は、どのように測定するかが問題になります。ゲリー・マクガバン氏（Gerry McGovern）の提唱する「トップタスクアプローチ」を利用すると、製品でユーザーが最も頻繁に完了させるタスクを明らかにすることができます。
重要なタスクを見つけるために、私たちは調査を行います。検索クエリやサーバーログを分析し、ユーザーインタビューや関係者とのワークショップを通じて、ユーザーの行動パターンを理解します。
タスクのリストが完成したら、ユーザーを集めて、最も重要なタスクに投票してもらいます。その後、最も投票数の多かった上位のタスクについて、具体的な実行指示を作成します。
これらの指示は、ユーザビリティテストで参加者に渡され、参加者がタスクをどの程度うまく完了できるかを評価するために使用されます。一般的に、各ユーザビリティテストには20人から30人の参加者が適切です。
最終段階として、同じユーザーセグメントに対して、8～12週間おきに同じタスクの指示を用いたテストを定期的に行います。これにより、成功率とタスクの完了にかかる時間を時間の経過とともに記録し、分析します。デザインのKPIが改善していれば、正しい方向に進んでいると言えるでしょう。そして、その進捗を裏付けるデータも手元に備えることができます。
デザインKPIは、重要な指標を向上させるためのガイドとなり、私たちの取り組みが正しい方向に進んでいるかを示してくれます。これらのKPIを用いることで、時間をかけてユーザーエクスペリエンス（UX）を段階的に改善し、私たちのデザイン決定が実際に効果をもたらしていることを証明することができます。
まとめ
デザインKPIを定める際には、単にページ数やウェブサイトの量、直帰率やクリック率などの数値だけに焦点を当てるのではなく、実際にコンテンツを利用する人々にとって価値があり、質の高いコンテンツを提供することの重要性を念頭に置くべきです。これは、私たちの作業品質を測定する方法に大きな影響を与える重要な点です。
次回プロジェクトを始める際には、ビジネスKPIと同時にデザインKPIも設定し、ユーザーエクスペリエンスとビジネス目標の両方をカバーするより包括的でバランスの取れた指標の開発を考えてみてください。最終的には、ユーザーとビジネスの双方が満足するような持続可能で効果的な戦略を採用することで、両者に利益をもたらします。
