研究目的/Purpose of this research
研究がスタートした頃の目的は，触知ピンによる触覚ディスプレイにペン型入力装置を組み合わせることによって，書き直しのできる電子レーズライタ(視覚障害者用の描画ツール)を構築しようというものであった．しかし研究を続けるうちに，単純な描画だけではなく，ゲームや学習，コミュニケーションにも利用できることが分かったので，「視覚障害者向けのマルチメディアシステム」の実現が主たる研究目的となっています．
In the beggining of the project, we aims to develop a drawing system for the blind to convine tactile displays and stylus pen. It was end of 1999. After several estimation and inproving software, we were aware of its convination realizes Multimedia system for the blind. The system can change tactile information and reply auditory information depending blind user direct input. It has INTERACTION. We made as for now, intaractive educational software, networked game software, etc.
実現手段/How to realize
触覚ディスプレイは，2003年まではKGS社製の部品，SC-5を用いて構築していました．現在は同社からDV-1，DV-2といった製品が販売されていますので，それらの利用が可能です．研究の焦点は，如何にしてポインティングデバイスの位置計測を行なうかという点です．これまでに
- ２軸アーム ジョイスティックポート入力
- ２軸アーム ADコンバータ入力
- ３軸アーム ADコンバータ入力
- パンタグラフ経由のタブレット入力
- 超音波ペンによる計測
といった手法を用いてシステムを製作してきました．ソフトウェアとしては，単純にペンやデバイスを装着した指先でディスプレイをなぞるとピンが突起する描画ソフトウェアをはじめとして，表示された漢字の構成要素を指し示すとその部分が点滅し，音声案内が得られる漢字学習ソフト，動くボールを打ち返すピンポンゲーム，触った部分を音声で説明したりズームアップしたりするインタラクティブ触地図，２台で通信するホワイトボードなどを製作しました．
システム開発史/History of the system
研究のはじまり(1999年11月～)
1999年11月，福祉情報工学研究会の帰り道，特殊教育総合研究所の渡辺哲也さん(当時は障害者職業総合センターに在籍)に喫茶店で話をもちかけられたのがコトの発端でした．「触覚ディスプレイにペンをつける機器を作ってみたいんだけど」という彼の要望に答える形で，共同研究がスタートしました．
まずは触覚ディスプレイの制御です．当時私は触覚ディスプレイのハードウェアを所有していませんでしたので，私の方(つくば)でソフトウェアを作り，メール添付で幕張の渡辺さんに送付し，今度は逆に幕張で動く様子を撮ってもらって電子メールで送り返す，ということを繰り返しました．一番最初に作ったのは，WACOMのタブレットでペン入力すると，それが触覚ディスプレイに表示されるというもの．2000年の春には，学内的に予算が取れたのでハードウェアも私の方で造り始めました．左の写真がそれです．
ひっかいたら飛び出してくる，というイメージから「みみず腫れ」を愛称として製作を進めることになりました．その後「ミミズ，ミミズ」と呼び捨てにされるようになってしまいましたが．一連の赤い筐体のモデルは「アカミミズ」と(ごくごく内輪で)呼ばれていました．
ジョイスティックポートを利用して2軸アームを作成(2000年夏)
しかし右手で描いて左手で触るというやり方は，やはり描画には適しません．描画の始点を決めにくいのです．そこでなんとか触覚ディスプレイ上でペン先位置の検出をしようと，磁気による位置検出装置のISOTRAKなどで計測しましたが，安定した値が得られません．色々試行錯誤するうち，原始的ですが，アームでつないだペンを組み合わせる方法を試すことにしました．まずは簡単に実現できるインタフェースということで，可変抵抗を利用してジョイスティックポートへ入力し，2軸のアームの角度を計算することでペン位置を計算するシステムを製作しました．左の写真がその筐体．これが2000年夏のことであり，初めて通信学会やVR学会へ報告したのもこの時期です．
新聞記事に掲載(2000年秋)
次に，より正確な角度測定をするべく，ポテンショメータとADコンバータを用いてアームを改良しました．ソフトウェアについても，単純な描画・消去・全消去・ファイル保存だけでなく，左右に移動したり点滅させたり，移動する図形と静止する図形を別に指定できるようにしたりなどの改良を施して幅を持たせまし．
また，2000年の秋には毎日新聞地方版，日経産業新聞全国版に掲載していただきました．
学会賞を受賞(2001年秋)
2001年にはヒューマンインタフェースシンポジウム対話発表にて，ピンポンゲームなどを実装したシステムを発表して，優秀プレゼンテーション賞を受賞．その後，2軸であったアームを3軸化し，ペンの自由度が増しました．この年，平成13年度には電気通信普及財団，科学研究費補助金などの助成も受け，高価な触覚ディスプレイ部品を買うことができました．
しかし筑波技短の学生・教官や盲学校などに持ち込んで評価を続けるうち，なかなか現状の触覚ディスプレイでは，点で作った線を線として認識するのが難しいことが分かってきました．特に斜めの線の場合，太く感じてしまったり切れ目が分かりにくかったりすることがよく聞かれる評価者の感想でした．
ミミズイエロー，漢字学習に利用(2002年春)
そこで描画だけではなく，他の利用方法はないかと模索した結果，漢字学習に利用することを思いつき，ソフトを作成しました．これは，一般的に重度の視覚障害者には漢字の形に対する知識が不足していることに着目したものです．通常の触覚教材では，細かな形は理解できても，部首などの構成要素のまとまりを知覚することが困難です．そこで，MIMIZUを使って，ペンで指示した構成要素をまとめて上下に振動させ，更にボタン操作で音声案内も出力するようにしてみました．このようなインタラクションを使って，漢字の構成や成り立ちなどを学習させるというわけです．
このシステムとその評価は，2002年の秋に札幌で開催されたヒューマンインタフェースシンポジウムで発表し，学術奨励賞を頂きました．ちなみにこの筐体の愛称は「ミミズイエロー」です．
指サック型のポインティングデバイス(2002年夏)
2002年夏には，より触知しやすいポインティングデバイスにするため，指サック型のアーム端も製作してみました．直接指で描く感じです．
超音波ペンを実装(2002年秋～2003年)
この頃，タブレットPCが巷を賑わします．そして2002年の秋には，超音波ペンが米国SEIKOから発売され，国内でもPDA工房などが扱い始めました．実はそれ以前にも超音波ペンは富士通研究所などが開発していましたが，渡辺さんが富士通研に直接出向いて試したところ，視覚障害者がよく行なうペン先を隠すような描画手法では当然計測できず，実装を断念していました．
しかし実際にInkLinkを入手してみると，以外と指で発信機を軽く隠しても計測できたのです．これは指の上にペンを装着したり，ペン先部分を多少高くしてやるなどの工夫をすれば使えるのではないか，と考え直して，製作したものが左の写真です．ペンデバイスを超音波式にすることで，より自由な入力が可能になりました．更に2台の端末を作り，通信するシステムも構築しました．通信ソフトウェアとしては，片方で描いた図形が両方に表示されるホワイトボードや，2001年に発表したピンポンゲームの対戦版などを作りました．この時製作したシステムは，翌2003年のヒューマンインタフェースシンポジウム対話発表にて発表し，再度優秀プレゼンテーション賞を受賞することになりました．また，この発表に取材に来られた日経新聞さんにも載せていただきました．
言うまでもなく本モデルは「ミミズブルー」と呼んでいます．
DV-1,DV-2を利用するシステムとしてWeb上でソフトウェアを公開(2003年～)
ドットビュー・DV-1が2002年に発表されたことにより，ある意味MIMIZUは誰でも作ることができるものになりました．そこで，基本的なアイディアとソフトウェアをWebページで公開し，(とても高額ですが)ドットビューを買えば，超音波ペンと組み合わせて電子レーズライタが構築できるということを広く知ってもらうことにしました．
嬉しいことに，同じハードウェア構成を使って数学の教育利用をするという試みを，大分大学の福田先生が行なって下さり，ICCHP2006で発表していらっしゃいました(A.Nishi, R.Fukuda, “Graphic Editor for Visually Impaired Users”, ICCHP 2006, LNCS 4061, pp.1139-1146, 2006.)
このページのトップ写真は，DV-2と超音波ペンを組み合わせたものです．このDV-2と超音波ペンの組み合わせデバイスは，2004年冬から9ヶ月間客員研究員として留学したカールスルーエ大学で，様々な人に触ってもらいました．描画・アニメーション機能と同時に，来室した方の地元の地図や，滞在した研究室の平面図などをクリックするとズームアップして音声で説明する，というソフトが好評でした．