2010年7月21日水曜日

StreamSR : スケールアウト性

JNASモデルを用いてJNASテストセット(約20分音声)を評価
ビーム幅は500,4000,8000の三通り
ビーム幅以外の設定値については割愛
ソースノード数1、認識ノード数4

赤線が認識時間(RTF)である。ビーム幅に応じて増加している。
緑線が誤認識率(WER)である。ビーム幅を落とすと誤認識率は増えるが、逆にビーム幅を一定程度以上高くしても誤認識率はあまり下がらなくなる。

StreamSR : 論文構成メモ

タイトル : データストリーム処理系を用いたスケーラブルな音声認識

・ Abstract
1. 導入
 - DSMS
  - 非構造化データ (音声)
  - 背景 : コールセンターの顧客満足度向上など
  - VoIP (インターネットコンファレンスなので)
  - Streams + Julius を用いて実装した
 - スケーラビリティ
  - 認識ノードをスケールアウトすることによりスループットが向上
  - 負荷向上時にビーム幅を落として認識精度を犠牲にレイテンシ、スループットが向上
2. 前提知識
 - Streams
 - Julius
  - 主にビームサーチについて
3. システムの実装
4. 実験
 - 実験条件
  - 認識ノードのマシン構成
  - 認識器、音響モデル、言語モデル、テストセット
 - スケールアウトの実験
  - 認識精度
  - スループットの変化
 - 負荷増大時ビーム幅変動機構の実験
  - ビーム幅可変時、固定時(いくつかのビーム幅)で比較
  - 認識精度、レイテンシ
 - 考察
5. 結論
・ 参考文献

StreamSR : バグメモ

InputParser周りにバグがあるのでリビジョン4以前のStreamSRは使わないように

2010年7月20日火曜日

StreamSR : ビーム幅学習(案)

--- 学習 ---
いくつかのビーム幅の値について、そのビーム幅でのスループットの最大値を計測する。
ビーム幅 : {b[0], b[1], ..., b[n-1]} , 最大スループット : {mth[0], mth[1], ..., mth[n-1]}

--- ビーム幅設定 ---
b[0] < b[1] < ... < b[n-1]
mth[0] > mth[1] > ... > mth[n-1]
n >= 3
を仮定する。

現在のスループットを th として、以下のようにビーム幅を設定
for ( i = n - 1; i >= 2; --i ) {
if ( mth[i] >= th ) {
setBeam(b[i - 1]);
return;
}
}
setBeam(b[0]);

上記のアルゴリズムからは、ビーム幅の値が b[n - 1] に設定されることはない。

StreamSR : ビーム幅vsスループット



比較的うまく動いたときの結果。これよりも変な結果になることもあり。
この学習を基にビーム幅決定機構を作る。

StreamSR : 評価の基準(応答時間)

1. 話者が発話を開始する
2. 話者が発話を終了し、クライアントプログラムが発話データをまとめる
3. クライアントプログラムがTCP経由でサーバにクエリを送る
↓
4. サーバがTCP経由でクエリを受け取る
5. クエリを処理する(音声認識処理)
6. サーバからTCP経由でクライアントに認識結果を送る
↓
7. クライアントが認識結果を受け取る

2.の終了から7.の終了までの応答時間を小さくすることを目標とする
---
模擬実験では、実際には発話はすでに完了しているため、
スケジュール表を元に、一定のタイミングで発話が完了したものとして
その時刻から応答時間を計測する。
「実際にTCP送信を始めた時刻」ではなく「スケジュール表に基づく発話終了時刻」
からの計測であるという点がポイントとなる。

2010年7月14日水曜日

StreamSR : 入力データレートとスループット

「CPUインテンシブならば入力データレート ∝ スループットになる」というのは思い込みだった。
同じ実験で測定した入力データレートとスループットを図示する。
下図を見る限り、入力データレートではなくスループットで学習すればうまくいくかも?

学習の方法、ビーム幅の決定方法は未定