2018年5月4日金曜日

[ITmedia PC USER] 「スマートスピーカーの誤反応」はどれくらい起こる? 100時間テストした結果

 スマートスピーカーは音声でコントロールするだけに、コマンドではない音声に誤反応することは少なからずある。特にテレビのように音声が絶えず流れ続けている環境では、思わぬときに反応してしまったという経験がある方も少なくないだろう。

 筆者自身、こうした現象には何度か遭遇しており、どのスマートスピーカーで起こりやすいかは感覚的に把握しているが、まとまった時間をかけて、かつ複数の製品を同一環境で測定したことはなかった。

 今回は「Amazon Echo」「Google Home」「Clova WAVE(LINE)」という3社のスマートスピーカーについて、同一環境でどのくらい誤反応の発生頻度に差があるか、約100時間にわたってテストしてみた。

 まずテストの方法を紹介した後、「NHK」「アニメ」「放送大学」「ニュース」のテレビ放送を対象に行った約100時間分の誤反応テストの結果をお届けする。

Smart Speaker テストに使用したスマートスピーカー。左から、「Clova WAVE」「Google Home」「Amazon Echo」

テレビ4局×25時間の音声で誤反応の回数をカウント

 テストの具体的な方法は、テレビの前に3社のスマートスピーカーを並べ、一定時間のうちにテレビの音声に何回反応するかをチェックするという、原始的な方法だ。ある程度の時間をかけないと差が出ないと考えられるため、約100時間にわたって測定した。

 もっとも、100時間にもわたってスマートスピーカーの前に張り付いて記録を取るのは難しいため、動体検知機能を備えたネットワークカメラを用意し、各スマートスピーカーのLED部分をモーション検知エリアに設定。後から録画データを見返し、マーカーのついた箇所を目視でカウントするという方法を用いた。

CC-2 動体検知機能を備えたネットワークカメラを使えば、常時張り付いていなくとも測定が容易だ。今回使用したのは以前別記事でも紹介したSafieの「CC-2」
Smart Speaker スマートスピーカーの前にカメラを設置し、LED部分が反応した回数をカウントする。テレビの音声は外部スピーカーを用い、カメラを置いてある台の下から出るように設定している
Smart Speaker 音声に反応してスマートスピーカーのLEDが点灯すると動体検知機能によってカメラに記録され、回数のカウントが容易に行える。ちなみに1つ前の写真とレイアウトが異なっているのは、動体検知で確実に反応するよう配置を調整したため

 テストはテレビの音声のみが聞こえる無人の部屋で行っており、足音や入退室に伴う音は常時発生しているが、最終的な結果を見る限り、これらは影響しなかったものとみられる。スマートスピーカーの「おやすみモード」など、測定に影響を与えそうな機能はあらかじめオフにしている。

 またテスト中は1日2回ほど、スマートスピーカーが正常に動作しているか口頭で呼び掛け、前述のカメラで動体検知が機能するかチェックを行っており、この前後の時間はデータから除外している。Amazon Alexaのデバイス検出など外部からの操作で起こった意図しないLEDの点灯も同様だ。これら除外した時間はトータルの測定時間から目減りしているが、1回に数分程度であるため、誤差の範囲と見なして無視している。

 テレビのチャンネルについては4つの局を、約25時間ごとに切り替えている。もともとは特定の局でスマートスピーカーのCMが流れ、CM内で話される起動ワードに反応するリスクを低減するための措置だった(今回のテストにスマートスピーカーのCMは含まれていない)が、テストの途中で番組のジャンルによって誤反応の発生頻度に差があるらしいことが分かったため、集計も局ごとに分けて行うことになった。


 以上の通りなのだが、この測定方法には大きな問題点が1つある。それは、スマートスピーカー自体のマイクの聞き取り性能が反映されていないことだ。そもそもマイクの聞き取り性能が低い製品ほど誤反応は起こりにくくて当たり前であり、結果としてそうした製品が、誤反応の少ない優秀な製品だと見なされかねないということだ。

 しかし今回はあくまで、通常利用時の誤反応の発生頻度をチェックするのが目的であるため、この点は考慮せず、あくまでも誤反応の回数のみをカウントすることとした。最終的にこのことが結論に影響を及ぼしたかどうかは、あらためて紹介する。

Copyright © ITmedia, Inc. All Rights Reserved.

この記事が気に入ったら
ITmedia PC USER に「いいね!」しよう



ITmedia 総合記事一覧で全文を見る

0 件のコメント:

コメントを投稿