動作風景
パターンマッチングにより音声発話タイミングを自動化した後の試用風景です。投げているのはIBSA2015の男子B1クラス金メダリストの森寛樹選手です。無線の骨伝導ヘッドセットでシステムが残ピンの場所を伝えています。伝わっていることがビデオで分かるように、何番ピンが残っているのか森選手に発言してもらっています。発言後にシステムのコンピュータ画面を映しています。
同じく森選手によるシステム試用風景、ボール軌跡抽出システムとの併用です。深度センサのXtion Proをレーン上部に跨らせて上から計測することによってボールが何枚目を通ったのかを計測しています。実際には通った瞬間に判別しているのですが、後から聞こえた方が良いということなので音声は残ピンの後に出力されるようにタイムラグを設けています。
研究背景と目的
視覚障害者が楽しむことができるよう特別にアレンジされたボウリングを「視覚障害者ボウリング」と言います。一般的なボウリングと同じルールですが、方向と距離を理解するためにガイドレールという手摺を利き腕と逆側に設置して行います。そして、晴眼者のアシスタントがボールの軌跡や当たった場所、残ピンなどを声で教えます。IBSA（国際視覚障害者スポーツ連盟）の種目にもあり、世界大会も開かれています。
一方で、B1クラス（全盲クラス）のプレイヤーには、晴眼者の支援を受けずに自分たちだけで楽しめたらいいのに、という希望もあることが分かりました。そこで簡単な画像処理を使って一人で楽しめるシステムができないか、と本研究はスタートしました。
システム開発の経緯
そこでまず、ハンディカムをボウリング場に持っていって、「ピンの画像が撮れるか」を確認しました。すると、陰に隠れていると思いこんでいたピンですが、同じボックスの隣のレーン後ろにある椅子あたりから撮影すると、10本のピンの状態がすべて見えることが分かりました。次に、輝度の変化から「暗くなっていたら倒れている」と判断して残ピンをスクリーンリーダーで発声するものを作りました。音声は無線の骨伝導ヘッドセットで伝えます。そしてピンの位置は、予め晴眼者（私）が指定しておきます。計測するタイミングは、無線マウスのクリックで行うこととし、本当にこのようなシステムが彼らの支援になるのか確かめてみることからスタートしました。
テストの最初の一投目は忘れられません。なんとその方は1フレーム1投目でストライクを出してしまったので、マウスのボタンを押した時には次のピンが並び終わっていたのです。激しい音をたててピンが倒れたはずなのに、システムは「残ピンは、1番ピン、2番ピン、…10番ピンです」と答えてしまいました。大笑いしながらのスタートとなりましたが、その後すぐにマウスをクリックするタイミングも分かり、B1のプレイヤーでも残ピンの状態を適切に把握できることが分かりました。熟練プレーヤーの方の中には、晴眼者の支援を得ることなく、この音声だけでスペアを取ることもできる方もいらっしゃいました。一方、この時に
- 音声はもっと省略して良い
- スイッチを小型化して指などにつけられないか
- 自動化できるとなお良い
- 自分たちだけで設置できると嬉しい
といったコメントを頂くことができました。
改良＆自動化
音声の省略については、生成するテキストを変えるだけなのですぐに対応できました。また、スイッチについてもマウスから、プレゼンテーション用の指にはめるスイッチに変更することで実現できました。問題なのは自動化です。ボウリングは1投目にストライクが出た場合と2投目には、ピンがすぐに片付けられてしまいます。そこでよく観察してみると「スイープバーが降りて来た後でピンセッターが残ピンを持ち上げる前」にカウントすれば良いことが分かりました。
自動化の鍵はスイープバーです。そこでスイープバーの画像を予め切り出しておき、パターンマッチングで指定した閾値以上になったら「スイープバーが降りて来た」と判断することにしました。更に、その後1～2秒待ってピンが安定してから、10本の位置の輝度を計測します。この簡単な手法でも、かなり安定した結果が得られるようになりました。
予想外の効果
改良前にも観察されたことなのですが、このシステム、もともとはプレーヤーの方のピン状態を読み上げて知らせるために作り始めました。しかし実際に使ってみると予想外の効果があったのです。それは「他人の状況も分かる」ことでした。これにより、同じボックスでプレイしている友達とボウリングを「楽しむ」ことができるようになったのです。友達がストライクを出せばハイタッチ、1本残ったら「惜しい～」と声をかけることができます。それまでは、自分の状況を解説してもらってはいても、他の人の状況までは完全に知ることはあまりできなかったのだと思います。晴眼者アシスタントの方たちも、本人以外の解説はしませんから。本システムの本当の価値は、こういうところにあるのではないか…と認識を新たにしました。
距離センサを用いたボール軌跡抽出
更に、Xtion Proをレーンの上に跨らせて、ボール通過時に一番近い位置を検出することでボール軌跡を検出するものを作りました。これにより、スパッド位置を何枚目で通過したのか視覚障害者プレーヤーが認識できるようになります。「〇枚目を通りました」という音声は、実際には即座に判断できているのですが、あえてタイムラグを挿入して残ピン結果を読み上げた後に音声出力するようにしました。これもプレーヤーからの意見を取り入れて調整した結果です。
発表等
査読付論文
査読付国際会議
- Kobayashi M.,”Ball Course Detection Function for the Blind Bowling Support System Using a Depth Sensor,” Computers Helping People with Special Needs, LNCS9759, Springer, pp.5-8(2016).
- Kobayashi M., “Blind Bowling Support System Which Detects a Number of Remaining Pins and a Ball Trajectory,” Computers Helping People with Special Needs(1), LNCS8547, Springer, pp283-288(2014).
国際会議・招待講演
- Kobayashi M., “Bowling Support System for Visually Impaired Players,” International Workshop on Science and Patents 2014．2014.9.5(Tsukuba city, Ibaraki). (Proceedings of IWP2014. 2014: 18)
口頭発表
- 小林真, “視覚障害者ボウリング用の残ピン及びボール軌跡検出システムの改良 ～ 音声情報の共有とスパット領域のボール位置推定 ～”, 信学技報, vol. 114, no. 512, WIT2014-119, pp. 191-195, 2015年3月(つくば市).
- 小林真．汎用機器を用いた視覚障害者ボウリング支援システム．シンポジウム：スポーツ・アンド・ヒューマン・ダイナミクス2014．2014.10.29-31(新潟県長岡市)．(スポーツ・アンド・ヒューマン・ダイナミクス2014講演予稿集USB. 2014: A-28(4 Pages))
- 小林真, “視覚障害者ボウリング用のボール軌跡および残ピン検出システム”, ヒューマンインタフェースシンポジウム2014講演予稿集, pp.713-716, 2014年9月(京都市).
- 小林真, “視覚障害者ボウリングプレイヤーのための残ピン読み上げシステム”, 信学技報, vol. 113, no. 481, WIT2013-88, pp. 117-120, 2014年3月(つくば市).
獲得資金
本研究は主に以下の資金をもとに進められています。記して感謝します。
- 科学研究費補助金 基盤C 平成25年～27年 「視覚障害者用ボウリング投球フォーム学習支援システム」