Keyboard without keys 製作報告
工学系研究科機械工学専攻 上林飛太
コンセプト
私達は生活上、業務上の必要でしばしばデバイスの操作や文字情報の入力をしているが、それらに主に使われるのはPCにおけるキーボード、マウス、トラックパッド、タブレットにおけるスクリーンキーボードやタッチである。音声認識でも文字情報は入力できるが、外部に音を出す行為である音声認識に抵抗のあるユーザは多い。そのためキーボード/スクリーンによる文字情報の入力は不可避な手段である。同時に、キーボード/スクリーンは、多くの場合平面上に配置された操作系となっている。それに触れる手の骨格は、指先がアーチ状に配置されていて、形状が整合していない。過去にはウェアラブルなデバイスが開発されたり、エルゴノミクスデザインのキーボードも存在したが、前者は装着するのに手間がかかったり設計やセンシングが特殊なデバイスが多く普及しなかった。後者は据え置きでの使用が中心となりモバイルで使用しにくく、また近年自作キーボードの部品が流通するようになったが、やはり普及には難があると予測される。現在のキーボードが将来にわたって入力手段としては通用しないという指摘にも一理あるが、現在のキーボードユーザがいち早くストレスから解放されるためには、使用方法に共通性があり学習が少ないことが難しい。そのため、QWERTYキーボードのための手指の動きを検出して入力を行うデバイスを製作することとした。
計画段階では、過去にもインターフェースに関する興味があったことから、現在のインターフェースに関する課題を調査し、VRについてトライしたが、結局はキーボードに関連するデバイスを選んだ。自分自身、自分が使う日本語入力はdvorak配列をカスタムした独自配列にした経験があり、自分の経験の範囲で回帰したともいえる。
実装
（デモ）
M5StickVを手首に装用し、内蔵カメラで手指の動きを検出し、キー入力に相当する動きを検出したらUSBで出力したり記録したりする（M5StickシリーズではM5StickCがBluetoothに対応しているがM5StickVは非対応）。ハードウェアは腕時計風に装着できるデバイスを設計した。ソフトウェアはMicroPython上のOpenMV画像認識ライブラリ、および独自ライブラリを用いている。画像認識は入力画像から手指と背景を弁別し、指先の位置を抽出して追跡する。キーボードの指の動きに相当する指先位置の動きがあった場合に、見かけ上の速度、方向、距離からいずれのキー入力を行っているかを識別する。
この実装にいたるまでには、まず処理能力の高いハードウェアでアルゴリズムを試そうと、RaspberryPiとOpenCVライブラリを使用したり、ディープラーニングによる姿勢認識ライブラリのOpenPoseをサーバ上で動作させ、そこに画像を伝送して認識させるということを行った。Raspberry Piで用いたプログラムは、M5StickVでの実装でもその基本的な処理を踏襲している。OpenPoseは、データセットを作成して認識に活用できる可能性もあると考えたが、大きな処理能力を要求しその割に実現するフレームレートが低いことが明らかになった。
評価
自分自身でのテストで、背景が複雑でない場合は一定の認識が可能なことを確認した。背景が複雑な場合を想定した実装を行おうとすると処理能力を超えることがあり、アルゴリズムの検討が必要である。インターフェースであるからには何人かの被験者に協力を依頼しながらの開発をするべきだがそれについても今後の課題とする。
デバイスが手首に装着可能な大きさとなっているとはいえ、M5StickVを用いると、アタッチメントを含めて60x30x30[mm]程度の大きさとなり、ユーザに大きすぎると感じられる懸念はある。より小さなハードウェアが開発できないか検討する。
自己への影響
本講座に参加する前には機械工学専攻で材料と生産技術に関わる領域を研究しており、研究ツールとしては数値計算が主であったが、あくまで深く専門化された領域内での研究であり、多くの技術を組み合わせて運用する経験が日常ではできない経験だった。また、機械工学専攻としてこれまでハードウェア中心の課題解決を考えることが多く、新たにソフトウェアでの課題解決に本格的に取り組む経験を得ることができ、これからもそのような課題解決のために能力を高める意欲も得た。
ソフトウェアでは前述のように数値計算の経験はあったものの、画像処理（必修科目でOpenCVを扱って以来）やディープラーニングを扱って理解することができた。
このプロジェクトを通じて、大学院での研究にもより目的を見出しやすくなり、またスキルの向上や作品製作の意欲もわいた。1年次に知って参加していればより大きな影響が研究のみならず自分の活動にもあったと考える。また参加時期と研究の状況との兼ね合いで本講座に望むだけ力を出すことができなかったが、その分今後自分の活動の幅を広げていきたい。