======================
(野村さんへのメモ)
・関連して筋電FFTパターン認識を補足する事例紹介です
======================

■第4部　マイコンでトライ！ 生体情報の信号処理の基礎■

第2章　mbedによる筋電情報システムの例

2-6　FFTと筋電情報パターン認識

Appendix5　筋電スペクトルからのパターン認識

本稿の2-6では、NucleoF401REにごく簡単なFFTアルゴリズムを実装して、2チャンネル筋電信号からそれぞれのチャンネルの筋電情報の周波数成分の異なる様子をリアルタイムに取得しました。NucleoF401REの能力はもう少し高いので、この性能を上げる余地はまだありますが、ここでは筆者がより本格的に「筋電スペクトルからのパターン認識」というテーマで研究/実験した内容を紹介します。マイコンでなく、ホストPC(Mac : Intel Core 2 Duo, clock 2.26GHz, Memory 4GB)の能力をフルに活用したものです。
(詳しくは→ 1-1コラムの「参考情報Webページ」を参照して下さい)

この研究では、リモコンや時計の手首バンドをイメージして、4チャンネルの筋電センサで手首〜肘のあたりをぐるりと取り囲んで筋電検出して、「手首から先のジェスチャー」を認識できるかどうかを検証しました。筆者が「第4世代」と名付けた新しい筋電センサ回路(→Appendix1)を使って、4チャンネルの筋電信号をオーディオインターフェースを経由して4チャンネルオーディオ(44.1kHzサンプリング/16ビット)として取り込みました。図Appendix5-1は、この時の筋電センサ回路と筋電電極ベルトの様子です。

(図Appendix5-1　筋電センサ回路と筋電電極ベルトの様子)

4チャンネルの筋電信号は、開発環境「Max」で作ったソフトにより、それぞれ2048段のFFT解析によってリアルタイムに各50バンドの周波数スペクトルデータを図Appendix5-2のように獲得します。

(図Appendix5-2　筋電信号を4チャンネル各50バンドのFFT分析)

この「4チャンネルの筋電信号を各50バンドのFFTデータ」、計200データが図Appendix5-3のように刻々と得られるので、あらかじめアンケートで収集した「いろいろな手首から先のポーズ」を計測してみると、図Appendix5-4〜図Appendix5-8のように、計200データのパターンが異なることが判ります。このポーズは計29種類を使いました。

(図Appendix5-3　筋電信号を計200バンドのFFTデータとして分析)
(図Appendix5-4　手首ポーズと筋電FFT情報の例(1))
(図Appendix5-5　手首ポーズと筋電FFT情報の例(2))
(図Appendix5-6　手首ポーズと筋電FFT情報の例(3))
(図Appendix5-7　手首ポーズと筋電FFT情報の例(4))
(図Appendix5-8　手首ポーズと筋電FFT情報の例(5))

筋電データには個人差があるので、ここから計22人の被験者の協力を得て実験しました。実験ソフトは簡単なゲームのように、被験者もモニタ画面を見ながら、つまり「視覚的フィードバック」実験であるところが重要です。まず図Appendix5-9のように、画面内に次々と、29種類のポーズ画像が出て来るので(被験者の右利き/左利きに対応して左右反転して提示)、これに合わせたポーズをとってもらい、それぞれのポーズに対応した計200チャンネルの筋電データ情報をまず保存します。

(図Appendix5-9　29パターンの手首ポーズの筋電FFT情報をリアルタイム記録)

29種類のポーズに対応した200チャンネル筋電データ情報を全て記録すると、次には、図Appendix5-10のようにまた同じ29種類のポーズ画像が出て来るので、被験者は再びそのポーズをとってもらいますが、ここでは画面右下の棒グラフ内のバーがわらわらと動きます。これは、ここでリアルタイムに筋電センサから得られている200チャンネル筋電データと、さきに記録した29種類のポーズの200チャンネル筋電データ情報とを刻々と照合して、もっともパラメータ距離空間内で「近い」ポーズの棒グラフ内のバーを1つずつ押し上げていきます。さっき記録したポーズの棒グラフが伸びるとは限りませんが、あれこれもぞもぞと脱力したり力加減を変えると、とにかく毎回、「もっとも似ているポーズ」が1つ選ばれて、そのスコアが伸びていきます。

(図Appendix5-10　29パターンの手首ポーズを再現して筋電FFT情報をリアルタイム照合)

実験ソフトのアルゴリズムとして、ここでそれぞれの被験者ごとに、「再現性の良好なポーズ」の上位5種を選びます。これが多くの人で共通であれば「汎用のポーズの認識」となるのですが、残念ながら、個人差が大きいために、「万人に通用するポーズ」というのはありません。

そして実験は最後のステップとして、図Appendix5-10のような「ゲーム画面」となり、被験者にはリラックスして楽しんでもらいます。ここでは、被験者ごとに選ばれた「再現性の良好なポーズ上位5種」のポーズ画像だけが、5本の真っ黒なスクリーンのいちばん下に並んでいます。ここで被験者は、好きなポーズを真似て(再現して)みると、うまく行けばそのポーズの200チャンネル筋電データ情報とヒットして(一致度が最高スコア)、ポーズ画像が1ステップ、上に上がります。ところが、別のポーズ画像が上がる事もあり、被験者はここでもあれこれもぞもぞと脱力したり力加減を変えるのですが、勘所をうまく掴むと、200チャンネル筋電データ情報を刻々と比較計算している、そのポーズを29種類の中からダントツに進めることも出来たりします。身体能力などに関わらず、多くの被験者がこの不思議な体験を短時間にマスターしたのは、筆者としても驚きでした。

(図Appendix5-11　特徴的な手首ポーズ5種を再現しして可視化するゲームモード)
