演奏追跡と本提案の概要
人間の演奏では、楽譜通り演奏したとしてもテンポの揺れや強弱の変化、意図的な挿入音など演奏表現に関わる変動のほか、純粋な演奏ミスなどによって楽譜通りの演奏にはなりません。ですので、楽譜が既知であっても演奏が楽譜のどの部分を演奏しているかをリアルタイムで追跡することは簡単ではありません。この研究では、演奏の揺れがどの程度生じるかを確率モデルによって表し、演奏の局所的なテンポを元に次の演奏位置を予測する仕組みによって演奏の位置をリアルタイムに追跡する仕組みを考案しました。
応用事例1: バイオリン演奏に同期する自動伴奏再生
楽器演奏の音響信号を入力として、他のパート（システム）が追従する自動伴奏システムを開発しました。人間の演奏と伴奏パートの楽譜(MIDIデータ)を用意することで、どのような曲でも人間と機械の合奏を楽しむことができます。下の動画では、バイオリン演奏のテンポ変化や演奏ミスに対して頑健に追従する様子が収録されています。また、バイオリンのほかにピアノやギターなどでも動作することを確認しています。
応用事例2: バイオリン演奏に同期する自動伴奏再生ライブデモ
2013年3月に行われたインタラクション2013（インタラクティブセッション）では、自動伴奏再生システムのライブデモを実施しました。インタラクティブセッションでは多数の出展者や来場者で賑わうため、周囲の雑音の影響が大変心配されましたが、それなりに頑健に動いてくれました。
その他の情報
ピアノ演奏に追従するアーム型ロボット
2015年9月より、(株)デンソー、(株)デンソーウエーブ、(株)自動車部品総合研究所との共同研究により、演奏に合わせて踊るアーム型ロボット「電舞子（でんまいこ）」を開発しました。この成果は、2015年12月の国際ロボット展2015のデンソーブースに出展されました。電子ピアノの演奏の音響信号から演奏位置を追跡し、演奏のテンポ変化に追従して3台のアーム型ロボット「Cobotta(コボッタ)」が踊ります。Cobottaは産業用ロボットを家庭や教育など人に身近なところで活用できるよう新たに開発された小型の6軸アーム型ロボットです。今後もロボット技術が家庭に導入されていくと思いますが、ロボットが人間と協調して働くためには人間の意図を適切にくみ取ることが必要となるはずです。そのような狙いで人間の演奏に追従する演奏追跡技術を活用できないか、ということで共同開発に至りました。
出展期間中は、定期的にライブデモが行われ多くの来場者に見ていただけました。幸運なことにYouTubeにデモの動画がアップされていました。Kazumichi Moriyama 氏の動画をお借りしています。
この研究テーマに関する成果発表
- 野口 綾子, 酒向 慎司, 北村 正, "打楽器音を考慮した音響信号と楽譜のアライメント", 情報処理学会研究報告 音楽情報科学(MUS), 2015-MUS-109(7), pp. 1–6, Nov. 2015. [CiNii]
- Shinji Sako, Ryuichi Yamamoto, and Tadashi Kitamura, "Ryry: A Real-Time Score-Following Automatic Accompaniment Playback System Capable of Real Performances with Errors, Repeats and", Active Media Technology (AMT) Lecture Notes in Computer Science, LNCS 8610, pp. 134–145, Aug. 2014. [DOI]
- 酒向 慎司, 山本 龍一, 北村 正, "Ryry:弾き飛ばし・弾き直しを含む演奏に追従する音響信号による自動伴奏システム", 電子情報通信学会技術研究報告, Vol. 113, No. 77, WIT2013-12, pp. 65–70, Jun. 2013. [CiNii]
- Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Robust On-line Algorithm For Real-time Audio-to-score Alignment Based on A Delayed Decision and Anticipation Framework", International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 191–195, May. 2013. [DOI: DOI]
- 山本 龍一, 酒向 慎司, 北村 正, "Ryry: 多声楽器に対応可能な音響入力自動伴奏システム", 情報処理学会シンポジウム インタラクション2013, 3EXB-13, Mar, 2013. [IPSJ]
- 山本 龍一, 酒向 慎司, 北村 正, "演奏位置とテンポの統合確率モデルに基づく楽譜追跡と音響入力自動伴奏への応用", 日本音響学会2013年春季研究発表会, 3-1-13, pp. 1065–1066, Mar. 2013.
- Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Accurate and Low Computational Audio-to-score Alignment Using Segmental CRF with An Explicit Continuous Tempo Model", International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP), pp. 345–348, Mar. 2013.
- Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Real-time Audio to Score Alignment Using Semi-Markov Conditional Random Fields and Linear Dynamical System", The Music Information Retrieval Evaluation eXchange (MIREX2012), Oct. 2012. [PDF]
- 山本 龍一, 酒向 慎司, 北村 正, "セミマルコフ条件付き確率場を用いた音楽音響信号と楽譜のアライメント", 日本音響学会2012年秋季研究発表会, 2-10-7, pp. 935–936, Sep. 2012.
- 中村 栄太, 山本 龍一, 酒向 慎司, 齋藤 康之, 嵯峨山 茂樹, "多声MIDI演奏の楽譜追跡における装飾音のモテル化と自動伴奏への応用", 日本音響学会2012年秋季研究発表会, 2-10-5, pp. 929–930, Sep. 2012.