バイオリン運指推定

研究の概要

 バイオリンを対象とした自動運指推定の研究です。運指とは楽器を演奏するときの指使いのことで、バイオリンであればどの指でどの弦を抑えるか、に相当します。バイオリンの運指は演奏者の熟練度によって適切な運指が異なるため、同じ音を発することのできる運指が複数存在します。例えば初級者では、できるだけ容易な運指が適切なのですが、習熟が進むにつれ単に演奏、習熟が進むにつれ単に演奏できるだけでなく適切な演奏表現（弦による音色の違い、ビブラートの付与など）を考慮した運指が用いられます。この研究では、このような習熟度に応じた適切な運指を任意の楽譜から決定することが目的です。

様々な習熟度に対応するためには、単に演奏可能で不自然な動きを避ける運指を定めるだけでなく演奏表現を考慮した上で判断する必要があります。演奏者はどのような運指が適切かどうかは楽譜の様々な情報を元に判断していると考えられるため、楽譜に記載されている音符以外の演奏指示記号に着目し、楽譜と運指の関係を確率モデルの一つである条件付き確率場(CRF)によりモデル化することで、教本に記載された運指データから運指推定モデルを学習によって獲得することができます。

関連文献

  • Shinji Sako, Wakana Nagata, and Tadashi Kitamura, "Violin fingering estimation according to the performer's skill level based on conditional random field", Proc. of HCII 2015, Human-Computer Interaction: Interaction Technologies, LNCS 9170, pp.485–494, Aug. 2015. [DOI]
  • Wakana Nagata, Shinji Sako, and Tadashi Kitamura, "Violin Fingering Estimation According to Skill Level based on Hidden Markov Model", Joint conference of 40th ICMC (International Computer Music Conference) and 11th SMC (Sound & Music Computing conference), pp. 1233–1238, Sep. 2014. [PDF]
  • 長田 若奈, 酒向 慎司, 北村 正, "演奏記号を考慮したバイオリン運指の推定", 情報処理学会研究報告 音楽情報科学(MUS), 2015-MUS-106(8), pp. 1–6, Mar. 2015. [CiNii]
  • 長田 若奈, 酒向 慎司, 北村 正, "条件付き確率場に基づくバイオリン運指推定のための教本からのパラメータ学習", 日本音響学会2014年秋季研究発表会, 2-4-5, pp. 909–912, Sep. 2014. [CiNii]
  • 長田 若奈, 酒向 慎司, 北村 正, "隠れマルコフモデルによる習熟度に対応したバイオリン運指推定", 情報処理学会研究報告 音楽情報科学(MUS), 2014-MUS-102(11), pp. 1–6, Feb. 2014. [CiNii]
  • 長田 若奈, 酒向 慎司, 北村 正, "習熟度に応じたバイオリン運指推定のための確率モデルとパラメータ学習", 情報科学フォーラム　(FIT2013), E-029, pp. 249–250, Sep. 2013. [CiNii] 【奨励賞受賞】
  • 長田 若奈, 酒向 慎司, 北村 正, "動的計画法に基づく音符長を考慮したバイオリン運指推定", 情報処理学会第75回全国大会, 4R-6, pp. 275–276, Mar. 2013. [CiNii]
  • 長田 若奈, 酒向 慎司, 北村 正, "隠れマルコフモデルを用いたバイオリンの運指推定", 平成24年度電気関係学会東海支部連合大会, 音声言語(2), C5-6, Sep. 2012.

自動ジャズアレンジ

研究概要

この研究では、ジャズアレンジのうちでもとくにメロディそのものをジャズらしく変形する自動アレンジを目的としています。まず、第一段階目としてジャズアレンジの重要な要素であるリズムを変形させる手法を提案しました。まず、原曲とジャズアレンジされた曲のペアからなる多数の事例データを用意します。ジャズらしいリズムの変形ルールを、一定の長さで区切られたリズムパターン間の変化として考え、既存の事例データを利用して任意のメロディに対してジャズ特有のリズムに変形させます。

関連文献

  • 佐藤 直人, 酒向 慎司, 北村 正, "自動ジャズアレンジのための事例に基づくメロディ変形", 情報処理学会第78回全国大会, 2Q-06, pp. 457–458, Mar. 2016. 【大会奨励賞受賞】
  • 佐藤 直人, 酒向 慎司, 北村 正, "自動ジャズアレンジのための事例に基づくリズム転写", 情報処理学会研究報告 音楽情報科学(MUS), Vol. 2015-MUS-107, No. 21, pp. 1–2, May 2015. [CiNii]
  • 佐藤 直人, 酒向 慎司, 北村 正, "自動ジャズアレンジにおける曲の統一性を考慮したリズム転写", 日本音響学会2014年秋季研究発表会, 2-4-19, pp. 945–946, Sep. 2014.
  • 佐藤 直人, 酒向 慎司 北村 正, "自動ジャズアレンジのための事例に基づくリズム転写", 電子情報通信学会2014年総合大会 学生ポスターセッション, ISS-SP-396, p. 225, Mar. 2014. [IEICE]

 

 

演奏追跡と自動伴奏システム

演奏追跡と本提案の概要

人間の演奏では、楽譜通り演奏したとしてもテンポの揺れや強弱の変化、意図的な挿入音など演奏表現に関わる変動のほか、純粋な演奏ミスなどによって楽譜通りの演奏にはなりません。ですので、楽譜が既知であっても演奏が楽譜のどの部分を演奏しているかをリアルタイムで追跡することは簡単ではありません。この研究では、演奏の揺れがどの程度生じるかを確率モデルによって表し、演奏の局所的なテンポを元に次の演奏位置を予測する仕組みによって演奏の位置をリアルタイムに追跡する仕組みを考案しました。

応用事例1: バイオリン演奏に同期する自動伴奏再生

楽器演奏の音響信号を入力として、他のパート（システム）が追従する自動伴奏システムを開発しました。人間の演奏と伴奏パートの楽譜(MIDIデータ)を用意することで、どのような曲でも人間と機械の合奏を楽しむことができます。下の動画では、バイオリン演奏のテンポ変化や演奏ミスに対して頑健に追従する様子が収録されています。また、バイオリンのほかにピアノやギターなどでも動作することを確認しています。

応用事例2: バイオリン演奏に同期する自動伴奏再生ライブデモ

2013年3月に行われたインタラクション2013（インタラクティブセッション）では、自動伴奏再生システムのライブデモを実施しました。インタラクティブセッションでは多数の出展者や来場者で賑わうため、周囲の雑音の影響が大変心配されましたが、それなりに頑健に動いてくれました。

 

ピアノ演奏に追従するアーム型ロボット

2015年9月より、(株)デンソー、(株)デンソーウエーブ、(株)自動車部品総合研究所との共同研究により、演奏に合わせて踊るアーム型ロボット「電舞子（でんまいこ）」を開発しました。この成果は、2015年12月の国際ロボット展2015のデンソーブースに出展されました。電子ピアノの演奏の音響信号から演奏位置を追跡し、演奏のテンポ変化に追従して3台のアーム型ロボット「Cobotta(コボッタ)」が踊ります。Cobottaは産業用ロボットを家庭や教育など人に身近なところで活用できるよう新たに開発された小型の6軸アーム型ロボットです。今後もロボット技術が家庭に導入されていくと思いますが、ロボットが人間と協調して働くためには人間の意図を適切にくみ取ることが必要となるはずです。そのような狙いで人間の演奏に追従する演奏追跡技術を活用できないか、ということで共同開発に至りました。

出展期間中は、定期的にライブデモが行われ多くの来場者に見ていただけました。幸運なことにYouTubeにデモの動画がアップされていました。Kazumichi Moriyama 氏の動画をお借りしています。

この研究テーマに関する成果発表

  • 野口 綾子, 酒向 慎司, 北村 正, "打楽器音を考慮した音響信号と楽譜のアライメント", 情報処理学会研究報告 音楽情報科学(MUS), 2015-MUS-109(7), pp. 1–6, Nov. 2015. [CiNii]
  • Shinji Sako, Ryuichi Yamamoto, and Tadashi Kitamura, "Ryry: A Real-Time Score-Following Automatic Accompaniment Playback System Capable of Real Performances with Errors, Repeats and", Active Media Technology (AMT) Lecture Notes in Computer Science, LNCS 8610, pp. 134–145, Aug. 2014. [DOI]
  • 酒向 慎司, 山本 龍一, 北村 正, "Ryry:弾き飛ばし・弾き直しを含む演奏に追従する音響信号による自動伴奏システム", 電子情報通信学会技術研究報告, Vol. 113, No. 77, WIT2013-12, pp. 65–70, Jun. 2013. [CiNii]
  • Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Robust On-line Algorithm For Real-time Audio-to-score Alignment Based on A Delayed Decision and Anticipation Framework", International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 191–195, May. 2013. [DOI: DOI]
  • 山本 龍一, 酒向 慎司, 北村 正, "Ryry: 多声楽器に対応可能な音響入力自動伴奏システム", 情報処理学会シンポジウム インタラクション2013, 3EXB-13, Mar, 2013. [IPSJ]
  • 山本 龍一, 酒向 慎司, 北村 正, "演奏位置とテンポの統合確率モデルに基づく楽譜追跡と音響入力自動伴奏への応用", 日本音響学会2013年春季研究発表会, 3-1-13, pp. 1065–1066, Mar. 2013.
  • Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Accurate and Low Computational Audio-to-score Alignment Using Segmental CRF with An Explicit Continuous Tempo Model", International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP), pp. 345–348, Mar. 2013.
  • Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Real-time Audio to Score Alignment Using Semi-Markov Conditional Random Fields and Linear Dynamical System", The Music Information Retrieval Evaluation eXchange (MIREX2012), Oct. 2012. [PDF]
  • 山本 龍一, 酒向 慎司, 北村 正, "セミマルコフ条件付き確率場を用いた音楽音響信号と楽譜のアライメント", 日本音響学会2012年秋季研究発表会, 2-10-7, pp. 935–936, Sep. 2012.
  • 中村 栄太, 山本 龍一, 酒向 慎司, 齋藤 康之, 嵯峨山 茂樹, "多声MIDI演奏の楽譜追跡における装飾音のモテル化と自動伴奏への応用", 日本音響学会2012年秋季研究発表会, 2-10-5, pp. 929–930, Sep. 2012.