音楽情報科学分野

2015年までは北村正教授の指導担当（酒向は副指導）の研究です。

2022年度

• 小木曽 雄飛：Transformerを用いたファミコン風自動編曲手法の検討(2022修了)
• 白井 建：楽譜情報と演奏音を用いたコントラバスの奏法推定(2022修了)
• 松本 優太：シリンダーオルゴールを対象としたFCNによる自動編曲(2022修了)
• 畑中 哲哉：作曲支援を目的としたGTTMに基づいた楽曲の抽象化(2022修了)
• 堀田 義眞：Cycle-GANを用いたレコード音源のノイズ除去と復元(2022修了)
• ビン ヒデオ：Transformerと強化学習を用いたコード進行からの多声音楽生成(2022修了)
• 江崎 友都：NNベースのモデリングアンプにおけるユーザ制御の導入(2022卒業)
• 川地 奎多：楽曲の繰り返し構造に基づいた音楽要約手法の提案(2022卒業)
• 中野 俊輔：実演奏の音響データによる強弱記号推定(2022卒業)
• 神田 陸人：モーションからのダンスアクセント推定(2022卒業)

2021年度

• 尾関 日向：ポピュラー楽曲のダイナミクス復元(2021年修了)
• 松岡 優太：多声音楽に対応した音楽属性を制御可能な深層音楽変換(2021年修了)
• 池田 将：音響信号と歌詞の同期に着目した楽曲ムード推定(2021年修了)
• 田中 愛菜：フルートの自動演奏生成に向けた演奏表情モデルの研究(2021年卒業)
• 辰巳 花菜：聴覚障害者の音楽体験支援のためのキロノミーに準じた旋律線による音楽の可視化(2021年卒業)

2020年度

• 高木 広大：音楽ジャンルの個人性に関する研究(2020年修了)
• 福谷 和貴：複数パート間のズレを含む演奏音に対するマルチパートビートトラッキング(2020年修了)
• 畑中 哲哉：曲のイメージを維持したメロディ変形による初学者を対象とした作曲支援システム(2020年卒業)
• 松本 優太：VAEを用いたモーフィングによるメドレーの間奏生成(2020年卒業)
• 小木曽 雄飛：繰り返し再生を考慮したRNNに基づく楽曲推薦手法(2020年卒業)
• 堀田 義眞：音響信号を用いたヴァイオリン弦の劣化状態の識別(2020年卒業)
• 白井 建：楽譜情報を用いたコントラバス演奏動作生成(2020年卒業)

2019年度

• 谷口 拓海：音色とピッチの揺らぎを考慮した歌声区間推定(2019修了)
• 神谷 祐太朗：バイオリンを対象とした楽譜情報からのビブラート予測(2019修了)
• 河島 有孝：コード認識による押弦絞り込みを取り入れた異弦同音を区別可能な演奏音からのタブ譜推定(2019修了)
• 松岡 優太：楽曲の再生履歴情報を用いたGA による自動メロディ生成(2019修了)
• 尾関 日向：音楽音響信号を対象としたギターパートの分離(2019卒業)
• 中川 樹：ホルンを対象とした音響信号による音色悪化要因判別(2019卒業)
• 池田 将：対話的楽曲推薦を目的とした発話からの感情要素と感情強度推定手法(2019卒業)

2018年度

• 山田 航大：事例データを用いたベースラインとの対応関係と遺伝的アルゴリズムによるメロディ生成(2018修了)
• 高木 広大：音楽的知識を考慮した協調フィルタリングによる楽曲推薦手法(2018卒業)
• 福谷 和貴：メドレー作成のための高揚度変化を付与した楽曲構造解析(2018卒業)
• 渡邉 樹里：バイオリンの初級者教育に有効な運指推定(2018卒業)

2017年度

• 谷口 拓海：歌謡曲のサビ抽出に有効な音響特徴の研究(2017卒業)
• 神谷 祐太朗：Recurrent Neural Network を用いた和音認識(2017卒業)
• 河島 有孝：ギター演奏の音響信号からのタブ譜推定(2017卒業)

2016年度

• 野口 綾子：楽譜情報を用いて楽器種・パートを区別した音響信号と楽譜のアライメントに関する研究(2016修了)
• 林 勇佑：効率的な対話操作による制御性の高い自動メロディ生成(2016修了)

2015年度

• 粟田 渉平：音長を考慮した音響モデルによる歌声の自動歌詞認識(2015)
• 寺島 大樹：柔軟な楽曲検索のための時間変化を考慮した楽曲の印象推定(2015修了)
• 佐藤 直人：自動ジャズアレンジのための事例に基づくメロディ変形(2015修了)

2014年度

• 林 勇佑：旋律の特徴を反映した自動メロディ生成(2014卒業)
• 前本 明宏：共起確率と音楽関連語に基づく印象空間を用いた任意の言葉による楽曲検索(2014卒業)
• 野口 綾子：打楽器音を考慮した音響信号と楽譜のアライメント(2014卒業)
• 長田 若奈：確率モデルに基づく習熟度に対応したバイオリン運指推定(2014修了)

2013年度

• 寺島 大樹：連続DPを用いた時間変化を考慮した楽曲の印象検索(2013卒業)
• 佐藤 直人：自動ジャズアレンジのための事例に基づくリズム転写(2013卒業)
• 宮田 佳奈：旋律の演奏表情を考慮した自動伴奏生成類(2013修了)
• 頭川 愛：共起確率を用いた任意の言葉による楽曲検索(2013修了)

2012年度

• 長田 若奈：音符長を考慮した初級者および中級者のバイオリン運指の推定に関する研究(2012卒業)
• 伊藤 悟：パートの重要度を考慮したオーケストラ譜の縮約によるアンサンブル譜の自動編曲(2012卒業)
• 飯島 佑紀：主成分分析を用いた感情音声聴取時の脳波活動(2012卒業)
• 岩月 靖典：印象の個人性と順序関係を考慮した楽曲の印象推定に関する研究(2012修了)
• 河合 彬弘：歌声パート間の調和を考慮した合唱に対する多重音高推定に関する研究(2012修了)
• 山本 龍一：多声演奏に頑健な音響信号と楽譜のアライメントと自動伴奏への応用に関する研究(2012修了)

2011年度

• 宮田 佳奈：旋律の演奏特徴量を反映させた作曲支援のための自動伴奏生成(2011卒業)
• 頭川 愛：任意の言葉の印象に合った楽曲検索に関する研究(2011卒業)
• 杉山 雄一：関係調を考慮したHMMに基づく音響信号の自動和音認識と類似曲分類(2011卒業)

2010年度

• 河合 彬弘：パート間の基本周波数比を用いた合唱の基本周波数推定の検討(2010卒業)
• 本多 翔：和声構造を用いたアンサンブル自動編曲(2010卒業)
• 山本 龍一：HMMに基づく楽譜追跡と演奏者の特徴を考慮した自動伴奏(2010卒業)
• 伊藤 亘平：コード進行に基づくジャズベース演奏の演奏位置推定(2010卒業)
• 伊藤 綾：音響信号を対象とした自動和音認識と類似曲分類(2010修了)
• 西尾 圭一郎：GMMに基づいた音楽の印象推定モデル(2010修了)

2009年度

• 杉山 雄一：相互相関係数を用いた混合音からの楽器音・音高推定(2009卒業)
• 稲垣 有紗：任意の言葉の印象に合った楽曲生成に関する研究(2009修了)
• 水野 理央：単旋律のパート分配最適化によるアンサンブルのための自動編曲システム(2009修了)

2008年度

• 伊藤 綾：コード進行を用いた楽曲のモデル化と楽曲間の類似度に関する研究(2008卒業)
• 西尾 圭一郎：クラシック音楽を対象としたGMMに基づく感性モデルに関する研究(2008卒業)

2007年度

• 奥村 健太：実演奏MIDIデータにおける音楽的逸脱の調査とGMMに基づくモデル化(2007修了)

研究概要

手話の研究には手話のデータを収集することがまず重要ですが、音声言語の研究と比べると十分なデータの蓄積が進んでいません。体全体と空間を利用して表現される手話ではどのようにそれを記録するかという方法も研究の目的によってさまざまであり、固有の記録方法や記録形態が定まらないという点、また、研究用のデータを収集しても別の研究者がそれを再利用できるとは限らず、様々な理由がデータの収集・蓄積を難しいものにしています。

手話の工学的な研究に長年取り組まれてきた長嶋祐二先生（工学院大学教授　※現在は名誉教授）を中心に、大規模・高精細な日本手話の単語データベースの開発プロジェクトに参加しました。世界に類を見ない、数千語規模の日本手話の単語を、光学式モーションキャプチャ装置によって記録し、そのデータベースを研究用途に公開しました。現在はKoSignデータベースとして国立情報学研究所（NII）から入手することができます。KoSignデータベースの開発は科学研究費助成事業（科研費）基盤研究（S）による支援を受けました。

関連文献

• 工学院大学 多用途型日本手話言語データベース（KoSign）[URL]
• 三浦 哲平, 酒向 慎司, "3D モーションデータを用いた手話データ生成ツール", 電子情報通信学会技術報告 福祉情報工学研究会, Oct. 2021. [IEICE]
• Keiko Watanabe, Yuji Nagashima, Daisuke Hara, Yasuo Horiuchi, Shinji Sako, Akira Ichikawa, "Construction of a Japanese Sign Language Database with Various Data Types", International Conference on Human-Computer Interaction (HCII2019), Communications in Computer and Information Science book series (CCIS), Vol. 1032, pp.317–322, Jul. 2019. [DOI]
• Shinji Sako, Yuji Nagashima, Daisuke Hara, Yasuo Horiuchi, Keiko Watanabe, Ritsuko Kikusawa, Naoto Kato, Akira Ichikawa, "Discussion of a Japanese sign language database and its annotation systems with consideration for its use in various areas", LingCologne2019, Poster Nr. 24, Jun. 2019.
• Yuji Nagashima, Daisuke Hara, Shinji Sako, Keiko Watanabe, Yasuo Horiuchi, Ritsuko Kikusawa, Naoto Kato, Akira Ichikawa, "Constructing a Japanese Sign Language Multi-Dimensional Database", The 7^th Meeting of Signed and SpokenLanguage Linguistics (SSLL 2018), Sep. 2018. [PDF]
• 長嶋 祐二, 酒向 慎司, 渡辺 桂子, 原 大介, 堀内 靖雄, 市川熹, "手話の語彙構造・文法解明に供する3D超高精度DBの開発", 日本音響学会2018年秋季研究発表会, 3-6-3, pp.1471–1474, Sep. 2018.
• 長嶋 祐二, 原大介, 堀内 靖雄, 酒向 慎司, 渡辺 桂子, 菊澤 律子, 加藤 直人, 市川 熹, "多様な研究分野に利用可能な超高精細・高精度手話言語データベースの開発", 言語資源活用ワークショップ2018, pp.148–155, Sep. 2018. [PDF]

研究の概要

♪ バイオリンの自動運指推定

この研究は2014年度修士課程修了の長田さん、2017年度学部卒業の渡邉さんが取り組んだ研究です。バイオリンを対象とした自動運指推定の研究で、演奏者の習熟度に対応した適切な運指推定を行うことが特徴です。運指とは楽器を演奏するときの指使いのことで、バイオリンであればどの指でどの弦を抑えるか、に相当します。バイオリンの運指は演奏者の熟練度によって適切な運指が異なるため、同じ音を発することのできる運指が複数存在します。例えば初級者では、できるだけ容易な運指が適切なのですが、習熟が進むにつれ単に演奏、習熟が進むにつれ単に演奏できるだけでなく適切な演奏表現（弦による音色の違い、ビブラートの付与など）を考慮した運指が用いられます。この研究では、このような習熟度に応じた適切な運指を任意の楽譜から決定することが目的です。

様々な習熟度に対応するためには、単に演奏可能で不自然な動きを避ける運指を定めるだけでなく演奏表現を考慮した上で判断する必要があります。演奏者はどのような運指が適切かどうかは楽譜の様々な情報を元に判断していると考えられるため、楽譜に記載されている音符以外の演奏指示記号に着目し、楽譜と運指の関係を確率モデルの一つである条件付き確率場(CRF)によりモデル化することで、教本に記載された運指データから運指推定モデルを学習によって獲得することができます。

♪ コントラバスの演奏動作生成

この研究は2022年度修士課程修了の白井さんが取り組んだ研究です。コントラバスを対象に与えられた楽譜を演奏する際の演奏動作（上半身の身体特徴点の三次元軌跡）を生成することを目的としています。所望の楽譜を演奏するときの押弦のしかたや運弓の動作を3Dモデルで再現することができ、初学者の演奏訓練に役立てたり、演奏表情生成技術などと組み合わせることで仮想演奏者を生成することなどが期待されます。

関連文献

• 長田 若奈, 酒向 慎司, 北村 正, "隠れマルコフモデルを用いたバイオリンの運指推定", 平成24年度電気関係学会東海支部連合大会, 音声言語(2), C5-6, Sep. 2012.
• 長田 若奈, 酒向 慎司, 北村 正, "動的計画法に基づく音符長を考慮したバイオリン運指推定", 情報処理学会第75回全国大会, 4R-6, pp. 275–276, Mar. 2013. [CiNii]
• 長田 若奈, 酒向 慎司, 北村 正, "習熟度に応じたバイオリン運指推定のための確率モデルとパラメータ学習", 情報科学フォーラム　(FIT2013), E-029, pp. 249–250, Sep. 2013. [CiNii] 【奨励賞受賞】
• 長田 若奈, 酒向 慎司, 北村 正, "隠れマルコフモデルによる習熟度に対応したバイオリン運指推定", 情報処理学会研究報告 音楽情報科学(MUS), 2014-MUS-102(11), pp. 1–6, Feb. 2014. [CiNii]
• 長田 若奈, 酒向 慎司, 北村 正, "条件付き確率場に基づくバイオリン運指推定のための教本からのパラメータ学習", 日本音響学会2014年秋季研究発表会, 2-4-5, pp. 909–912, Sep. 2014. [CiNii]
• 長田 若奈, 酒向 慎司, 北村 正, "演奏記号を考慮したバイオリン運指の推定", 情報処理学会研究報告 音楽情報科学(MUS), 2015-MUS-106(8), pp. 1–6, Mar. 2015. [CiNii]
• 渡邉 樹里, 酒向 慎司, "バイオリンの初級者教育に有効な運指推定", 情報処理学会第81回全国大会講演論文集, pp.335–336, Mar. 2019. [IPSJ] [PDF]
• Wakana Nagata, Shinji Sako, and Tadashi Kitamura, "Violin Fingering Estimation According to Skill Level based on Hidden Markov Model", Joint conference of 40^th ICMC (International Computer Music Conference) and 11^th SMC (Sound & Music Computing conference), pp. 1233–1238, Sep. 2014. [PDF]
• Shinji Sako, Wakana Nagata, and Tadashi Kitamura, "Violin fingering estimation according to the performer's skill level based on conditional random field", Proc. of HCII 2015, Human-Computer Interaction: Interaction Technologies, LNCS 9170, pp.485–494, Aug. 2015. [DOI]
• Takeru Shirai, and Shinji Sako, "3D skeleton motion generation of double bass from musical score", 15^th International Symposium on Computer Music Multidisciplinary Research (CMMR), pp.41–46, Nov. 2021. [PDF]

研究概要

既存の楽曲から、その演奏形態やメロディを目的に応じて作り変えることはジャズやポピュラー音楽、クラシックなどでも広く行われています。編曲には作曲と同じように知識や経験が必要ですが、コンピュータがそれを支援することを目的とした研究が広く行われています。編曲はその対象や目的によって方法論も様々あり、当研究室でも様々な視点・アプローチから自動編曲の研究に取り組んできました。

♬ アンサンブル譜の自動生成

この研究は2009年度修士課程修了の水野理央さんが主に取り組んだ研究です。ピアノ譜と所望の編成（楽器構成）が与えられたとき、そのメロディに合い、それぞれの楽器が演奏可能な伴奏や副旋律を生成するとともに、楽器が途中で入れ替わりすべての楽器が活躍できるようなアンサンブル譜を自動生成します。MIDIデータによるピアノ譜を入力すると、その場でアンサンブル譜を作成（PDFファイルとして出力可）し、演奏可能なデモシステム「MusicPipe」を開発し、インタラクション等でも発表しました。

♬ 自動ジャズアレンジ

この研究は2015年度修士課程修了の佐藤直人さんが取り組んだ研究です。ジャズアレンジのうちでもとくにメロディそのものをジャズらしく変形する自動アレンジを目的としています。まず、第一段階目としてジャズアレンジの重要な要素であるリズムを変形させる手法を提案しました。まず、原曲とジャズアレンジされた曲のペアからなる多数の事例データを用意します。ジャズらしいリズムの変形ルールを、一定の長さで区切られたリズムパターン間の変化として考え、既存の事例データを利用して任意のメロディに対してジャズ特有のリズムに変形させます。

♬ 自動オルゴールアレンジ

この研究は2022年度修士課程修了の松本さんが取り組んだ研究です。一般的に流通しているシリンダーオルゴールを対象に、与えられたメロディからオルゴールの構造的制約を満たすメロディに変換します。シリンダーオルゴールは回転する円筒上のピンを一定個数の弁（固有の音高が鳴るように作られた金属板）ではじくことで発音します。構造が単純で弁の数も限られているため、音域が限られ、連続して同一の音高を鳴らせないなどの構造的な制約があり、それを満たすような音符列の変換をニューラルネットワークを用いて実現しました。

♬ ファミコン音楽の自動編曲

この研究は2022年度収支課程修了の小木曽さんが取り組んだ研究です。任天堂のファミリーコンピュータに代表される当時のゲーム音楽は、そのハードウエア（音源モジュール）の制約から特徴的な電子音（矩形波や三角波など）の組み合わせでBGMや効果音が作られていました。その独特の音楽はゲームの音楽の枠を超えてファミコン音楽風に作曲することや既存の楽曲をファミコン音源用にアレンジするなどされ、一つのジャンルとして確立しています。この研究では、既存の楽曲をファミコンの音源で再生可能な楽曲に自動でアレンジを行うことを目的として、その変換をニューラルネットワークを用いて実現しました。

関連文献

• 佐藤 直人, 酒向 慎司, 北村 正, "自動ジャズアレンジにおける曲の統一性を考慮したリズム転写", 日本音響学会2014年秋季研究発表会, 2-4-19, pp. 945–946, Sep. 2014.
• 佐藤 直人, 酒向 慎司 北村 正, "自動ジャズアレンジのための事例に基づくリズム転写", 電子情報通信学会2014年総合大会 学生ポスターセッション, ISS-SP-396, p. 225, Mar. 2014. [IEICE]
• 佐藤 直人, 酒向 慎司, 北村 正, "自動ジャズアレンジのための事例に基づくリズム転写", 情報処理学会研究報告 音楽情報科学(MUS), Vol. 2015-MUS-107, No. 21, pp. 1–2, May 2015. [CiNii]
• 佐藤 直人, 酒向 慎司, 北村 正, "自動ジャズアレンジのための事例に基づくメロディ変形", 情報処理学会第78回全国大会, 2Q-06, pp. 457–458, Mar. 2016. 【大会奨励賞受賞】
• 松本 優太, 酒向 慎司, "シリンダーオルゴールを対象としたFCNによる自動編曲", 情報処理学会第85回全国大会講演論文集, 1T-05, pp.491–492, Mar. 2023. [IPSJ]
• 小木曽 雄飛, 酒向 慎司, "Transformerを用いたファミコン風自動編曲手法の検討", 情報処理学会第85回全国大会講演論文集, 1T-07, pp.495–496, Mar. 2023. [IPSJ]

研究概要

手話に関する工学分野には、主には手話の読み取り（手話認識）と手話映像を生成するもの（手話合成）があります。当研究室では主に前者の研究領域でいろいろな研究を行っています。これまでの研究の取り組みについて、本学の産学官連携室の関連資料もご覧ください。[聴覚障害者とのコミュニケーション を支援する自動手話単語認識技術]

☝ サブユニットモデルによる手話認識

この研究は主に2009年度修士課程修了の有賀さんが取り組みました。手話の語彙は主に手指信号によってあらわされるとされています。それらの身体動作の特徴を画像やセンサから取得し、なんらかのパターン認識技術によって認識・分類を行う手法が広く研究されてきました。この研究では、手指信号が主に手の動き・手の位置・手の形によって構成されることを念頭に、その性質に合わせた認識モデルを検討しました。隠れマルコフモデルを拡張することで、そのような特徴を個別に扱えるようにすると同時に、単語表現の中に現れる共通性を利用することで、手話単語の認識性能が高まることを示しました。

☝ 深度センサを用いた手話認識システム

この研究は主に2015年度修士課程修了の波多野さんが取り組みました。視覚言語である手話では3次元的な身体動作に様々な語彙・文法表現が含まれます。深度センサ(Depthセンサ）の登場により、画像処理を用いることなく奥行情報を高速・高精度に取得できるようになりました。この研究では、代表的な深度センサであるKinect version 2を用いて手話単語のリアルタイム認識技術を提案しました。この研究成果は、経済産業省の支援事業により、民間企業との協力のもとで小型キオスク端末による連続手話認識システムの開発にも活用されました。

☝ 指文字の認識

この研究は2017年度修士課程修了の細江さん、2019年度修士課程修了のナムさんが取り組みました。手話では様々な語彙は主に手の動きや形によって表現されますが、人名や地名などの固有名詞には特定の表現が存在しない場合もあり、そのような場合に日本手話では日本語のひらがな一文字一文字に対応した固有の指の形（指文字）を使って表現します。これは他の手話でも主要な言語の表音文字を指で表現します（fingerspelling）。手話の自動認識の研究の一部として、動画像から指文字を認識する研究が広く行われています。指文字は文字ごとに決まった形はあるものの、人によって指の形や提示方法が異なり、撮影する方向によってさまざまに変化します。たくさんの種類のデータを収集することなく、3Dモデルによってさまざまな形状の変化や視点による違いを再現したデータを生成し、指文字認識の性能向上を目指しました。ポーランドAGH科学技術大学のBogdan Kwolek先生との共同研究を行いました。

☝ 一人称視点映像による手話認識

この研究は主に2022年度博士課程修了（学位取得）の三浦さんが取り組みました。手話の読み取りを、手話をしている本人視点の映像（一人称視点映像）によって行うというほかに類のない研究です。従来の映像を用いた手話の自動認識技術は、そのほとんどが手話をしている人物を対面で撮影した動画データを用いて行ってきました。しかし、手話は空間全体を用いて行う視覚言語であることから、手話者本人が見ている視界の情報も不可欠です。例えば、指差し（ポインティング）の先にある対象が手話の意味理解に必要になるため、従来のような本人を撮影した映像データでは、ポインティングの先にある人物や物体、あるいは方向のような情報が欠損する問題があり、完全な意味解釈ができないという課題がありました。

そこでこの研究では、本人視点の全方位カメラ（360°カメラ）を用いることで、手話をする人物の視点の映像データだけでなく、手話をする本人の身体動作のトラッキングも同時に行うための技術について検討し、そのようにして得られた身体動作情報が手話の自動認識に役立つことができるのかについて検討を行いました。

関連文献

• 中村 光希, 酒向 慎司, 北村 正, "手単語認識のためのサブユニットHMMの自動生成", 電子情報通信学会総合大会, D-12-124, p. 233, Mar. 2009. [CiNii]
• 中村 光希, 酒向 慎司, 北村 正, "手話単語を構成するためのサブユニットHMMの自動生成", 第8回情報科学技術フォーラム (FIT2009), K-019, pp. 565–566, Sep. 2009. [CiNii]
• 有賀 光希, 酒向 慎司, 北村 正, "HMMを用いた手話単語を構成するサブユニットの自動生成手法", 電子情報通信学会研究会技術報告 福祉情報工学研究会(WIT), Vol. 109, No. 358, pp. 1–6, Jan. 2010. [CiNii]
• 有賀 光希, 酒向 慎司, 北村 正, "HMMに基づく手の動きと形状特徴のストリーム別クラスタリングを用いた手話認識手法", 第9回情報科学技術フォーラム (FIT2010), K-057, pp. 747–748, Sep. 2010. [CiNii]
• 有賀 光希, 酒向 慎司, 北村 正, "日本手話の音韻構造を考慮したHMMに基づく手話認識", 電子情報通信学会技術研究報告 福祉情報工学研究会(WIT), Vol. 110, No. 221, WIT2010-56, pp. 127–132, Oct. 2010. [CiNii]
• 酒向 慎司, 有賀 光希, 北村 正, "手話の音韻構造に基づいたHMM手話認識の改善", 電子情報通信学会 福祉情報科学研究会(WIT), Vol. 111, No. 58, WIT2011-8, pp. 41–46, May 2011. [CiNii]
• 波多野 美歌, 酒向 慎司, 北村 正, "手話動作の3要素に基づく実時間手話認識", 電子情報通信学会研究会技術報告, Vol. 114, No. 92, WIT2014-13, pp. 69–74, Jun. 2014. [CiNii]
• Mika Hatano, Shinji Sako, and Tadashi Kitamura, "Contour-based Hand Pose Recognition for Sign Language Recognition", Proc. of 6^th Workshop on Speech and Language Processing for Assistive Technologies, Sep. 2015. [PDF]
• 波多野 美歌, 酒向 慎司, 北村 正, "手話認識のための輪郭特徴を用いた手形状認識", 電子情報通信学会研究会技術報告 福祉情報工学(WIT), Vol. 115, No. 100, WIT2015-31, pp. 175–180, Jun. 2015. [CiNii]
• 波多野 美歌, 酒向 慎司, 北村 正, "Kinect v2による手話動作の3要素に基づく実時間手話認識", 電子情報通信学会研究会技術報告 福祉情報工学研究会(WIT), Vol. 115, No. 491, WIT2015-99, pp. 59–64, Mar 2016. [IEICE]
• 酒向 慎司, 細江 花, Bogdan Kwolek, "3次元モデルとCNNを用いた指文字認識の検討", 電子情報通信学会技術報告 福祉情報工学研究会, Vol. 117, No. 66, WIT2017-10, pp. 45–49, May 2017.[IEICE]
• Bogdan Kwolek, and Shinji Sako, "Learning Siamese Features for Finger Spelling Recognition", Advanced Concepts for Intelligent Vision Systems, LNCS, Vol. 10617, pp.225–236, Sep. 2017. [DOI]
• グエン トゥ ナム, 酒向 慎司, ボグダン クォーレック, 3次元CGモデルとdeep CNNによる指文字認識, 電子情報通信学会技術報告 福祉情報工学研究会, Vol.119, No.165, WIT2019-14, pp.29–34, Aug. 2019. [IEICE]
• Nam Tu Nguyen, Shinji Ssako and Bogdan Kwolek, "Deep CNN-based Recognition of JSL Finger Spelling", International Conference on Hybrid Artificial Intelligent Systems (HAIS), Lecture Notes in Computer Science book series (LNCS), Vol. 11734, pp.602–613, Sep. 2019. [DOI]
• Nguyen Tu Nam, Shinji Sako, Bogdan Kwolek, "Fingerspelling recognition using synthetic images and deep transfer learning", 2020 The 13th International Conference on Machine Vision (ICMV 2020), 11605, pp. 528–535, Nov. 2020. [DOI]
• 三浦 哲平, 酒向 慎司, "3D モーションデータを用いた手話データ生成ツール", 電子情報通信学会技術報告 福祉情報工学研究会, Oct. 2021. [IEICE]
• Teppei Miura, and Shinji Sako, "SynSLaG: Synthetic Sign Language Generator", The 23^rd International ACM SIGACCESS Conference on Computers and Accessibility, pp.1–4, Oct. 2021.[DOI]
• 三浦 哲平, 酒向 慎司, 手話認識への応用を目的としたモバイル MoCap システム ～ OpenPose を利用した 3D ポーズ推定の精度向上 ～, 電子情報通信学会技術報告 福祉情報工学研究会, vol. 121, no. 52, WIT2021-11, pp. 54–58, Jun. 2021. [IEICE]
• Teppei Miura, Shinji Sako, "3D Ego-Pose Lift-Up Robustness Study for Fisheye Camera Perturbations", 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, Vol. 4: pp. 600–606, Feb. 2023. [DOI]

演奏追跡と本提案の概要

人間の演奏では、楽譜通り演奏したとしてもテンポの揺れや強弱の変化、意図的な挿入音など演奏表現に関わる変動のほか、純粋な演奏ミスなどによって楽譜通りの演奏にはなりません。ですので、楽譜が既知であっても演奏が楽譜のどの部分を演奏しているかをリアルタイムで追跡することは簡単ではありません。この研究では、演奏の揺れがどの程度生じるかを確率モデルによって表し、演奏の局所的なテンポを元に次の演奏位置を予測する仕組みによって演奏の位置をリアルタイムに追跡する仕組みを考案しました。

応用事例1: バイオリン演奏に同期する自動伴奏再生

楽器演奏の音響信号を入力として、他のパート（システム）が追従する自動伴奏システムを開発しました。人間の演奏と伴奏パートの楽譜(MIDIデータ)を用意することで、どのような曲でも人間と機械の合奏を楽しむことができます。下の動画では、バイオリン演奏のテンポ変化や演奏ミスに対して頑健に追従する様子が収録されています。また、バイオリンのほかにピアノやギターなどでも動作することを確認しています。

応用事例2: バイオリン演奏に同期する自動伴奏再生ライブデモ

2013年3月に行われたインタラクション2013（インタラクティブセッション）では、自動伴奏再生システムのライブデモを実施しました。インタラクティブセッションでは多数の出展者や来場者で賑わうため、周囲の雑音の影響が大変心配されましたが、それなりに頑健に動いてくれました。

その他の情報

• 本学の研究シーズ発表での資料（産学官連携）

ピアノ演奏に追従するアーム型ロボット

2015年9月より、(株)デンソー、(株)デンソーウエーブ、(株)自動車部品総合研究所との共同研究により、演奏に合わせて踊るアーム型ロボット「電舞子（でんまいこ）」を開発しました。この成果は、2015年12月の国際ロボット展2015のデンソーブースに出展されました。電子ピアノの演奏の音響信号から演奏位置を追跡し、演奏のテンポ変化に追従して3台のアーム型ロボット「Cobotta(コボッタ)」が踊ります。Cobottaは産業用ロボットを家庭や教育など人に身近なところで活用できるよう新たに開発された小型の6軸アーム型ロボットです。今後もロボット技術が家庭に導入されていくと思いますが、ロボットが人間と協調して働くためには人間の意図を適切にくみ取ることが必要となるはずです。そのような狙いで人間の演奏に追従する演奏追跡技術を活用できないか、ということで共同開発に至りました。

出展期間中は、定期的にライブデモが行われ多くの来場者に見ていただけました。幸運なことにYouTubeにデモの動画がアップされていました。Kazumichi Moriyama 氏の動画をお借りしています。

この研究テーマに関する成果発表

• 野口 綾子, 酒向 慎司, 北村 正, "打楽器音を考慮した音響信号と楽譜のアライメント", 情報処理学会研究報告 音楽情報科学(MUS), 2015-MUS-109(7), pp. 1–6, Nov. 2015. [CiNii]
• Shinji Sako, Ryuichi Yamamoto, and Tadashi Kitamura, "Ryry: A Real-Time Score-Following Automatic Accompaniment Playback System Capable of Real Performances with Errors, Repeats and", Active Media Technology (AMT) Lecture Notes in Computer Science, LNCS 8610, pp. 134–145, Aug. 2014. [DOI]
• 酒向 慎司, 山本 龍一, 北村 正, "Ryry:弾き飛ばし・弾き直しを含む演奏に追従する音響信号による自動伴奏システム", 電子情報通信学会技術研究報告, Vol. 113, No. 77, WIT2013-12, pp. 65–70, Jun. 2013. [CiNii]
• Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Robust On-line Algorithm For Real-time Audio-to-score Alignment Based on A Delayed Decision and Anticipation Framework", International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 191–195, May. 2013. [DOI: DOI]
• 山本 龍一, 酒向 慎司, 北村 正, "Ryry: 多声楽器に対応可能な音響入力自動伴奏システム", 情報処理学会シンポジウム インタラクション2013, 3EXB-13, Mar, 2013. [IPSJ]
• 山本 龍一, 酒向 慎司, 北村 正, "演奏位置とテンポの統合確率モデルに基づく楽譜追跡と音響入力自動伴奏への応用", 日本音響学会2013年春季研究発表会, 3-1-13, pp. 1065–1066, Mar. 2013.
• Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Accurate and Low Computational Audio-to-score Alignment Using Segmental CRF with An Explicit Continuous Tempo Model", International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP), pp. 345–348, Mar. 2013.
• Ryuichi Yamamoto, Shinji Sako, and Tadashi Kitamura, "Real-time Audio to Score Alignment Using Semi-Markov Conditional Random Fields and Linear Dynamical System", The Music Information Retrieval Evaluation eXchange (MIREX2012), Oct. 2012. [PDF]
• 山本 龍一, 酒向 慎司, 北村 正, "セミマルコフ条件付き確率場を用いた音楽音響信号と楽譜のアライメント", 日本音響学会2012年秋季研究発表会, 2-10-7, pp. 935–936, Sep. 2012.
• 中村 栄太, 山本 龍一, 酒向 慎司, 齋藤 康之, 嵯峨山 茂樹, "多声MIDI演奏の楽譜追跡における装飾音のモテル化と自動伴奏への応用", 日本音響学会2012年秋季研究発表会, 2-10-5, pp. 929–930, Sep. 2012.