仮想環境(VE)系システムの評価指標

投稿日 | In

仮想環境（VE： Virtual Environment） システムなど没入・臨場・リアリティなどが関連するシステムのユーザビリティを評価する際に用いる評価指標について調べてまとめる。

ユーザビリティの評価は主としてアンケート調査である。ユーザーの行動軌跡の解析などによる定量的評価が望ましいが、概念実証(PoC: Proof of Concept)や定量的評価が確立されていない研究においてはアンケート調査による定性的評価が多い。代表的なアンケート調査指標として次がある。

  • System Usability Scale(SUS)
  • Igroup Presence Questionnaire(IPQ)
  • Simulator Sickness Questionnaire(SSQ)

それぞれについて調べたことをまとめる。

System Usability Scale(SUS)

私が最もよく目にするユーザビリティ評価指標である。
John Brookeが1986年に開発した指標で、ハードウェア、ソフトウェア、Webサイト、アプリケーションなど様々な製品・サービスのユーザビリティを評価できる。

質問項目

回答者は次の10の質問に対して、5段階の「非常にそう思わない:0」から「非常にそう思う:4」で回答する。

  1. I think that I would like to use this system frequently.
  2. I found the system unnecessarily complex.
  3. I thought the system was easy to use.
  4. I think that I would need the support of a technical person to be able to use this system.
  5. I found the various functions in this system were well integrated.
  6. I thought there was too much inconsistency in this system.
  7. I would imagine that most people would learn to use this system very quickly.
  8. I found the system very cumbersome to use.
  9. I felt very confident using the system.
  10. I needed to learn a lot of things before I could get going with this system.

分析

SUSスコアは奇数の質問について[Score - 1]、偶数の質問について[5 - Score]の処理を行い、合算する。これを2.5倍することで0-100のスコアにする。
スコアが68を上回れば平均より高いと解釈できる。

さらに厳密な解釈を行いたければ、正規化と呼ばれるプロセスを行う。詳細については参考文献。

参考文献

Measuring Usability with the System Usability Scale (SUS) - measuringu.com
System Usability Scale(SUS) - usability.gov

Igroup Presence Questionnaire(IPQ)

IPQは、VEで体験した存在感を測定するための尺度である。 例えば、次の論文などでIPQを用いている。
直進型トレッドミルによるLocomotion-Interfaceの評価 - 日本バーチャルリアリティ学会大会論文集
IPQの詳細については、igroupの公式サイトに記載されている。
このサイトの説明で強調されていることに、指標として混同されがちな、没入感と存在感の切り分けがある。没入感(Immersion)は客観的に表現可能な技術の項目(ppi, FoV, etc…)であるのに対し、存在感(presence)はUXの項目である。
より詳細な説明はigroup presence questionnaire (IPQ) Scale Constructionを参照。

質問項目

アンケートは14の項目からなり、回答選択肢(Anchorという)は項目により異なる。
回答の詳細は、igroup presence questionnaire (IPQ) Item Downloadで得られる。

  1. In the computer generated world I had a sense of “being there”
  2. Somehow I felt that the virtual world surrounded me.
  3. I felt like I was just perceiving pictures.
  4. I did not feel present in the virtual space.
  5. I had a sense of acting in the virtual space, rather than operating something from outside.
  6. I felt present in the virtual space.
  7. How aware were you of the real world surrounding while navigating in the virtual world? (i.e. sounds, room temperature, other people, etc.)?
  8. I was not aware of my real environment.
  9. I still paid attention to the real environment.
  10. I was completely captivated by the virtual world.
  11. How real did the virtual world seem to you?
  12. How much did your experience in the virtual environment seem consistent with your real world experience ?
  13. How real did the virtual world seem to you?
  14. The virtual world seemed more realistic than the real world.

また、日本語の質問項目はIPQ_Japanese.pdf - igroup.org。

分析

アンケート項目は4種類のサブスケールに分類でき、[sense of being there, Spatial Presence, Involvement, Experienced Realism]である。日本語では[人がいる感覚、空間の存在感、現実への意識、現実との類似度]と訳せる。
特に、後ろ３項目は独立成分分析によって得られた独立するサブスケールであり、それぞれ5項目、4項目、5項目ある。平均値を各サブスケールのスコアとできる。ただし、質問項目SP2, INV3, REAL1はそれぞれのサブスケールにおいて逆相関であるため値を逆にする必要がある。詳細はigroup presence questionnaire (IPQ) DatabaseのDocumentation of the data set: Presence itemsの項目を読むと良い。

Simulator Sickness Questionnaire(SSQ)

これは、シミュレータ酔いについての主観値を評価するアンケートである。本項目の主題とは少し逸れるため触れる程度に留める。これはRS kennedyらによる論文　「Simulator Sickness Quesfionnaire: An Enhanced Method　for Quantifying Simulator Sickness」において開発された指標であるが、オープンアクセスが無いため論文を参照できない :sad:
また、SSQはIPQのようにサブスケールはなくトータルスコアが算出されるようだ。