Sako web Sako web
  • 日本語 (JP)
  • English (UK)
  • ホーム
  • 研究
    • 酒向研究室について
    • 研究トピック
      • 演奏追跡に関する研究
      • 自動編曲・アレンジに関する研究
      • 運指・演奏動作に関する研究
      • 手話認識に関する研究
      • 手話データベース開発
      • 研究テーマ一覧
    • 発表文献
      • 学術論文
      • 国際会議
      • 国内会議
    • 研究助成
    • 知的財産
    • 受賞・報道
    • 当研究室に興味のある方へ
  • 社会貢献
    • 委員会活動
    • 所属学会
    • 講演・講師
  • 教育活動
    • 講義・演習
    • 国際交流
  • リンク
    • 関連組織
    • 関係する研究者
  • プロフィール
    • 経歴
    • コンタクト
    • アクセス

ソフトウエア開発

Empty
  •  印刷 
詳細
実績
2015年12月20日
最終更新日:2023年10月12日

ソフトウエア

  • 自動伴奏システム Ryry
  • 自動作曲システム Orpheus (東京大学 嵯峨山研究室)
    www.orpheus-music.org/v3/
  • アンサンブル自動編曲システム MusicPipe
    http://www.musicpipe.net/
  • 深山 覚,酒向 慎司,西本 卓也,嵯峨山 茂樹,“自動作曲システムOrpheus”,
    予感研究所2(独立行政法人科学技術振興機構、「デジタルメディア作品の制作を支援する基盤技術」研究領域主催),Jul. 2008.
  • 音声信号処理ツールキット SPTK (Speech signal Processing ToolKit)
    http://sp-tk.sourceforge.net/
  • HMM音声合成ツールキット HTS (HMM-Based Speech Synthesis System)
    http://hts.sp.nitech.ac.jp/
  • 擬人化音声対話エージェントツールキット Galatea
    http://sourceforge.jp/projects/galateatalk/
  • 日本語テキスト音声合成ソフトウエア Galatea Talk / HMM音声合成システム学習ツールキット VoiceMaker
    http://galateatalk.sourceforge.jp/

研究用データベース

  • 研究用マルチモーダル音声データベース M2TINIT
    http://m2tinit.sp.nitech.ac.jp/
  • 工学院大学多用途型日本手話言語データベース KoSign
    https://www.nii.ac.jp/dsc/idr/rdata/KoSign/

 

研究助成

Empty
  •  印刷 
詳細
実績
2015年12月20日
最終更新日:2023年10月12日

科学研究費補助金(科研費)

  • 文部科学省科学研究費補助金 若手研究(B), 課題番号: 21700191, "多彩な歌唱表現を自動学習する制御性に優れた歌唱音声合成システムの研究", 2009年4月~2012年3月 (研究代表者) [完了]
  • 文部科学省科学研究費補助金 基盤研究(C), 課題番号: 22500506, "統計モデルに基づく手話動作のサブユニットモデル自動生成と大語彙連続手話認識", 2010年4月~2013年3月 (研究分担者) [完了]
  • 文部科学省科学研究費補助金 基盤研究(C), 課題番号: 25350666, "手指動作と非手指動作のサブユニットモデルに基づく手話認識に関する研究", 2013年4月~2016年3月 (研究分担者) [完了]
  • 文部科学省科学研究費補助金 若手研究(B), 課題番号: 26730182, "演奏者の個人性を転写する演奏生成と協調演奏システムの研究", 2014年4月~2017年3月 (研究代表者) [完了]
  • 文部科学省科学研究費補助金 国際共同研究加速基金, 課題番号: 15KK00008, "演奏者の個人性を転写する演奏生成と協調演奏システムの研究", 2016年4月~2019年3月 (研究代表者) [完了]
  • 文部科学省科学研究費補助金 基盤研究(S),課題番号: 17H06114, "多目的な手話言語データベース構築に関する研究", 2017年~2021年(研究分担者) [完了]
  • 文部科学省科学研究費補助金 挑戦的研究(萌芽), 課題番号: 18K18698, "視覚障害者が能動的に白杖で叩くことによる音情報の作製と利用に関する基礎的研究", 2018年7月~2022年3月(研究分担者)
  • 文部科学省科学研究費補助金 基盤研究(B), 課題番号: 22509579, "手話コーパス,深層学習向けラベル付き手話データ半自動生成システムの開発", 2022年4月~2025年3月予定(研究分担者)
  • 文部科学省科学研究費補助金 基盤研究(C), 課題番号: 23K11197, "一人称視点映像を用いた手話対話の支援技術および記録技術基盤の構築", 2023年4月~2026年3月予定(研究代表者)
  • 文部科学省科学研究費補助金 挑戦的研究(萌芽), 課題番号: 23747929 , " 自己教師あり学習手法による手話認識エンジンの開発", 2023年4月~2025年3月(研究分担者)
  • 文部科学省科学研究費補助金 基盤研究(B), 課題番号: 21408227 , "音声認識手法を応用した自動作曲・自動作詞・自動伴奏の研究", 2023年4月~2024年3月予定(研究分担者)

その他の競争的資金

  • 科学技術振興機構 研究成果最適展開支援事業(A-STEP) FSステージ 探索タイプ, 課題番号: AS231Z02560A,"ユーザーの嗜好と利用シーンの変動に対応可能な統計モデルに基づいた楽曲からの感性推定モデルの研究", 2011年8月~2012年3月 (研究代表者) [完了]
  • 科学技術振興機構 研究成果最適展開支援事業(A-STEP) FSステージ 探索タイプ, 課題番号: AS251Z01921H, "多様な利用形態に柔軟に対応する自動伴奏リハビリ支援システムの開発", 2013年8月~2014年3月 (研究代表者) [完了]
  • 科学技術振興機構 研究成果最適展開支援事業(A-STEP) FSステージ 探索タイプ, 課題番号: AS262Z00622H , "心地よく人間に合わせる自動演奏システムの研究", 2015年1月~2015年12月  (研究代表者) [完了]
  • 愛知県重点研究プロジェクト, "繊維産業に於けるAI自動検査システムの構築に関する研究開発", 2022年10月~2025年3月 (研究分担者)

奨学寄附金

  • 財団法人 堀情報科学技術財団(現 公益財団法人 堀科学芸術振興財団) 第18回研究助成, "アンサンブル用重奏譜の自動編曲手法の研究と編曲支援システムの開発", 2009年4月~2010年3月 (研究代表者) [完了]
  • 公益財団法人 立松財団 第17回研究助成, "隠れ領域を考慮した手話の基本動作モデリングの研究と高精度手話動画データベースの構築", 2009年8月~2010年7月 (研究代表者) [完了]
  • 公益財団法人 御器谷科学技術財団 平成21年度研究助成, "大規模手話コーパスによる文脈を考慮した手話の基本動作モデリングの研究", 2010年4月~2011年3月 (研究代表者) [完了]
  • 公益財団法人 電気通信普及財団  平成22年度研究助成, "隠れマルコフモデルを用いた音響信号からのコード認識と楽曲分類に関する研究", 2010年4月~2011年3月 (研究代表者) [完了]
  • 財団法人 サウンド技術振興財団(現 一般財団法人 カワイサウンド技術・音楽振興財団) 平成22年度研究助成, "Music Pipe―任意のメロディと楽器編成からアンサンブル用重奏譜面を生成する編曲手法の研究と編曲支援システムの開発", 2010年4月~2011年3月 (研究代表者) [完了]
  • 公益財団法人 市原国際奨学財団 平成24年度研究助成, "音響信号を入力とした協調的自動演奏システムに関する研究", 2012年4月~2013年3月 (研究代表者) [完了]
  • 一般財団法人 人工知能財団 平成25年度研究助成, "過去の音声資料を用いた効率的な音声合成システムの構築に関する研究", 2013年4月~2014年3月 (研究代表者) [完了]
  • 公益財団法人 電気通信普及財団 平成26年度研究助成, "音響信号によるリアルタイム楽譜追跡と能動的演奏支援システムに関する研究", 2014年4月~2015年3月 (研究代表者) [完了]
  • 公益財団法人 中部電気利用基礎研究振興財団 平成26年度研究助成, "人間の演奏に心地よく合わせてくれる音響信号による自動伴奏システム", 2015年4月~2016年3月 (研究代表者)[完了]
  • 一般財団法人カワイサウンド技術・音楽振興財団 平成27年度研究助成,"異なる習熟度に対応したバイオリン運指推定に関する研究", 2015年4月~2016年3月 (研究代表者) [完了]
  • 一般財団法人 東海産業技術振興財団 第27回 助成研究, "手指・非手指動作を統合した手話翻訳のための深度センサによる頭部動作・表情認識の研究", 2015年4月~2016年3月 (研究代表者) [完了]
  • 公益財団法人 堀科学芸術振興財団 第25回第2部研究費助成事業, "習熟度に対応したバイオリン運指推定に関する研究", 2016年4月~2017年3月 (研究代表者) [完了]
  • 公益財団法人 栢森情報科学振興財団 2019年度研究助成, "全周囲カメラを用いた一人称視点による手話認 識システムに関する研究", 2020年1月~2022年3月(研究代表)[完了]
  • 公益財団法人 日比科学技術振興財団 2023年度研究開発助成, "手話言語習得に効果的なメタ言語的視覚フィードバックに関する研究", 2023年4月~2025年3月(研究代表)

その他(主に学内研究費)

  • 名古屋工業大学 学内研究推進経費 (若手研究), "演奏者の個性を自動学習する確率的モデリングの研究", 2010年4月~2011年3月 (研究代表者) [完了]
  • 名古屋工業大学 学内研究推進経費 (若手研究), "演奏解釈に基づいた制御性の高い演奏表情生成の研究", 2011年4月~2012年3月 (研究代表者) [完了]
  • 名古屋工業大学 学内研究推進経費 (若手研究), "楽器演奏による表現技巧を転写する協調演奏システムに関する研究", 2012年4月~2013年3月 (研究代表者) [完了]
  • 名古屋工業大学 学内研究推進経費 (若手研究), "バイオリンの自動運指推定に関する研究", 2013年4月~2014年3月 (研究代表者) [完了]
  • 名古屋工業大学 学内研究推進経費 (若手研究), "名演と呼ばれる演奏技法を転写する表情付き演奏生成に関する研究", 2014年4月~2015年3月 (研究代表者) [完了]
  • 名古屋工業大学 平成26年度国際化推進経費, "手話認識の高度化を目指した国際ワークショップと国際交流推進", 2015年8月~2015年9月 (取組事業責任者) [完了]
  • 名古屋工業大学 学内推進研究費 (将来を見据えた研究), "手話の手指動作と非手指動作の自動認識技術と手話コーパス構築に関する研究", 2015年4月~2016年3月 (研究代表者) [完了]
  • 名古屋工業大学 平成27年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2016年8月~2016年11月  (取組事業責任者) [完了]
  • 名古屋工業大学 平成28年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2016年10月~2016年11月  (取組事業責任者) [完了]
  • 名古屋工業大学 平成29年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2018年7月~2016年8月  (取組事業責任者)[完了]
  • 名古屋工業大学 平成30年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2018年8月~2018年11月  (取組事業責任者)[完了]
  • 名古屋工業大学 平成31年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2019年9月~2019年11月  (取組事業責任者)[完了]
  • 名古屋工業大学 令和2年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2020年9月~2021年3月  (取組事業責任者)[完了]
  • 名古屋工業大学 学内推進研究費 (将来を見据えた研究), "全天球カメラによる手話認識に関する研究", 2021年6月~2022年3月 (研究代表者) [完了]

共同研究

  • 2007年8月~2008年3月, ユニバーサルロボット株式会社 (研究代表者) [完了]
  • 2009年10月~2010年6月, ユニバーサルロボット株式会社  (研究代表者) [完了]
  • 2011年9月~2012年8月, 竹田設計工業株式会社 (研究代表者) [完了]
  • 2014年9月~2015年4月,  ユニバーサルロボット株式会社 (研究代表者) [完了]
  • 2015年5月~2016年4月, ユニオンソフトウエアマネイジメント (研究分担者) [完了]
  • 2015年9月~2016年3月, 株式会社デンソー (研究代表者) [完了]

渡航助成(国際会議・海外派遣事業など)

  • 名古屋工業大学 産学連携関係海外派遣事業, 2011年 ユニバーサルロボット香港, 香港理工大学訪問 (香港)
  • 日本学術振興会, 若手研究者インターナショナル・トレーニング・プログラム(拡大ITP), 2012年6月~12月, Technische Universität München (TUM), (ミュンヘン・ドイツ連邦共和国), 客員研究員
  • 公益財団法人 大幸財団, 国際学術交流助成事業 海外学術交流研究助成, 2011年8月, ISMIR2011 発表 (アメリカ合衆国・フロリダ)
  • 公益財団法人 立松財団, 海外調査研究助成, 2013年, 15th International Conference on Human-Computer Interaction (HCII2013) (アメリカ合衆国・ラスベガス)
  • 公益財団法人 電気通信普及財団, 2014年8月, 2014 International Conference on Active Media Technology (AMT2014) 発表 (ポーランド共和国・ワルシャワ) 
  • 日本学術振興会 平成26年度特定国派遣事業, 2014年7月~8月 AGH科学技術大学 (ポーランド共和国・クラクフ), 客員研究員
  • 名古屋工業大学 平成27年度産学連携関係海外派遣事業, 2015年9月8日~9日, VoicePIN (ポーランド共和国・クラクフ), 訪問

知的財産

Empty
  •  印刷 
詳細
実績
2015年12月20日
最終更新日:2020年03月11日

特許

  • 青井 基行, 赤津 舞子, 三浦 七瀬, 酒向 慎司, 単語決定システム, 特願2018-048022, Mar. 2018.
  • 岩田 英三郎,酒向 慎司,飲酒状態判定装置及び飲酒状態判定方法,特開2011-553634, PCT/JP2010/062776, Apr. 2012.
  • 嵯峨山 茂樹,槐 武也,酒向 慎司,松本 恭輔,西本 卓也,”音声合成方法及び装置”,特開2007-114355,東京大学,May 2007.
  • 山口 辰彦,酒向 慎司,山本 博史,菊井 玄一郎,”音声認識装置及びコンピュータプログラム”,特開2005-84436,株式会社国際電気通信基礎技術研究所,Mar. 2005.

受賞・報道等

Empty
  •  印刷 
詳細
実績
2015年12月20日
最終更新日:2024年09月08日

受賞

  • 2024年8月, 情報処理学会音楽情報科学研究会(SIGMUS) ベストプレゼンテーション賞 Best New Direction賞 [詳細] [IPSJ]
    "音響情報と歌詞を用いた楽曲のレビュー文生成" 川地 奎多, 酒向 慎司
  • 2024年8月2023年12月, 日本音響学会東海支部優秀発表賞, "Chironomieに準ずる旋律線による音楽の可視化", 辰巳 花菜
  • 2023年10月, 電子情報通信学会福祉情報工学研究会, "聴覚障害者の音楽体験支援のためのChironomieによる音楽可視化手法の提案", 辰巳 花菜
  • 2023年8月, 第27回東海地区音声関連研究室修士論文中間発表会 総合3位
    "Chironomieに準ずる旋律線による音楽の可視化", 辰巳 花菜 [詳細]
  • 2021年12月,日本音響学会東海支部優秀発表賞, "ラウドなポピュラー音楽のダイナミクス復元", 尾関 日向
  • 2021年9月, 情報処理学会音楽情報科学研究会(SIGMUS) 学生奨励賞 Best New Direction賞 [詳細] [IPSJ]
    "ラウドなポピュラー音楽のダイナミクス復元", 尾関 日向, 酒向 慎司
  • 2021年9月, 第25回東海地区音声関連研究室修士論文中間発表会 総合2位
    "ラウドなポピュラー音楽のダイナミクス復元", 尾関 日向
  • 2017年9月, 知能と情報(日本知能情報ファジィ学会誌)論文賞
    "楽譜と表情を関連付けた統計モデルに基づく鍵盤楽器演奏の自動生成手法", 奥村 健太, 酒向 慎司, 北村 正 [詳細]
  • 2016年3月, 情報処理学会山下記念研究賞
    "楽譜と表情を関連付けた統計モデルに基づく楽器演奏の比較分析の検討", 奥村 健太, 酒向 慎司, 北村 正  [詳細]
  • 2016年3月10日, 情報処理学会第78回全国大会学生奨励賞
    "自動ジャズアレンジのための事例に基づくメロディ変形", 佐藤 直人, 酒向 慎司, 北村 正
  • 2014年3月28日, 日本音響学会東海支部活動貢献賞
  • 2014年3月13日, 情報処理学会第76回全国大会学生奨励賞
    "旋律の演奏表情を考慮した自動伴奏生成", 宮田 佳奈, 酒向 慎司, 北村 正 [CiNii]
  • 2014年3月13日, 情報処理学会第76回全国大会学生奨励賞
    "印象空間を用いた任意の言葉による楽曲検索:言葉の写像方法の改善と評価方法の再構築", 頭川 愛, 酒向 慎司, 北村 正 [CiNii]
  • 2013年9月, 日本音響学会学生優秀発表賞
    "演奏位置とテンポの統合確率モデルに基づく楽譜追跡と音響入力自動伴奏への応用", 山本 龍一, 酒向 慎司, 北村 正
  • 2013年9月, 第12回情報科学フォーラム(FIT2013)奨励賞
    "習熟度に応じたバイオリン運指推定のための確率モデルとパラメータ学習", 長田 若奈, 酒向 慎司, 北村 正 [CiNii]
  • 2013年5月19日, 情報処理学会東海支部学生論文奨励賞
    奥村 健太, 酒向 慎司, 北村 正
  • 2013年1月22日, 平成25年度電気関係学会東海支部連合大会奨励賞
    "隠れマルコフモデルを用いたバイオリンの運指推定", 長田 若奈, 酒向 慎司, 北村 正
  • 2012年12月12日, 平成24年度日本音響学会東海支部優秀発表賞
    "セミマルコフ条件付き確率場に基づく音楽音響信号と楽譜のアライメントと実時間拍予測アルゴリズム", 山本 龍一, 酒向 慎司, 北村 正
  • 2011年12月7日, 2011年度電子情報通信学会ヒューマンコミュニケーショングループ賞
    "手話の音韻構造に基づいたHMM手話認識の改善", 酒向 慎司, 有賀 光希, 北村 正 [CiNii]
  • 2010年12月6日 日本音響学会東海支部優秀発表賞
    "個人性を考慮したGMMに基づいた音楽の印象推定モデル", 西尾 圭一郎, 酒向 慎司, 北村 正
  • 2010年3月, 情報処理学会山下記念研究賞
    "Orpheus: 歌詞の韻律に基づく自動作曲システム", 深山 覚, 中妻 啓, 酒向 慎司, 西本 卓也, 嵯峨山 茂樹 [CiNii] [詳細]
  • 2010年3月, 情報処理学会全国大会学生奨励賞
    "単旋律のパート分配と伴奏・副旋律生成によるアンサンブルのための自動編曲手法", 水野 理央, 酒向 慎司, 北村 正 [IPSJ]
  • 2009年12月, 日本音響学会東海支部優秀発表賞
    "重奏用譜面を生成するための経路探索を用いたメロディのパート分配", 水野 理央, 酒向 慎司, 北村 正
  • 2009年12月, 日本音響学会東海支部優秀発表賞
    "HMMを用いた日変動パターンに基づく環境電磁波のモデル化と異常放射検出", 高瀬 裕矢, 酒向 慎司, 北村 正

 

報道

新聞雑誌やテレビ・ラジオ局などで研究成果を紹介していただきました。

読売新聞 あしたを拓く科学の匠「音声合成語る亡父」

  • 掲載日:2017年1月5日
  • 概要:徳田恵一先生(名古屋工業大学)の音声合成技術の研究を中心に取り上げた記事の中で、応用事例の一つとして2012年に竹田設計工業との共同研究で取り組んだ故人の声合成の成果を紹介していただきました。

テレビ朝日 報道ステーションSUNDAY: 「あの人に会いたい…」最新技術で“亡き人”に会える未来

  • 掲載日:2016年7月17日
  • 概要:亡くなられた方を偲ぶ遺族の方のための新しい技術の一つとして、2012年に竹田設計工業とともに取り組んだ「故人の声合成」の事例が紹介されました。どちらかというと活用事例として当事者の方のインタビューが中心です。音声データからその人の声を合成する技術も紹介されておりましたが、これは名工大とは別の会社のものです。

読売新聞夕刊 「失った声を取り戻す」

  • 掲載日:2015年6月25日
  • 概要:音声合成技術の幅広い応用を取り上げた記事の中で、2012年に竹田設計工業とともに取り組んだ「故人の声合成」の事例が紹介されました。この記事では、徳田恵一先生(名工大)のHMM音声合成の技術紹介のほか、山岸順一先生(国立情報学研究所)らのボイスバンクプロジェクトなどALS患者や声帯を手術されて発声ができない人に自分の声を取り戻す取り組みが紹介されました。ヤマハによる故人の歌声を合成する取り組みも紹介され、音声合成技術の幅広い展望が期待されるという内容の記事でした。一方で、音声合成技術が詐欺などに悪用される恐れがあることにも触れられており、合成音を見破る技術も研究されていることが山岸先生のコメントとして紹介されていました。

WIRED.UK -Rencon: a 'Turing Test for musical expression'- [Link]

  • 掲載日:2013年9月25日
  • RENCON2013では奥村健太君(博士課程)の取り組む演奏生成システムが自動生成システムの部門で優勝することができました。イギリス版WIRED誌では、RENCONの取り組みを紹介する中で、優勝チームとして我々の研究を取り上げていただきました。

エフエム豊橋

  • 放送日:2013年9月23日
  • 日本音響学会東海支部40周年記念事業として、歌声合成コンサートの企画に参画しました。豊橋で開催されることもあり、そのコンサートの宣伝と歌声合成の研究紹介のため生出演させていただきました。パーソナリティの渡辺欣生さんはもともと歌声合成に大変興味を持たれていたそうで、こちらも楽しく出演させていただけました。

名古屋テレビ UP! 特集 「ここまで来た!音声 "再生" の最前線」

  • 放送日:2012年7月30日
  • 現在の音声合成技術を特集したもので、主に徳田恵一先生(名工大)が取り組んでいる音声合成技術が紹介されています。その中で、故人の声合成の取り組みを紹介していただきました。依頼された遺族の方のインタビューなども行われ、音声合成の研究が普段の生活の中に活かされたことはとても意義があったことだと思います。余談ですが、ミュンヘン工科大滞在中にテレビ放送されたため、テレビ局の方からDVDビデオを郵送していただきましたが、税関で止められてしまい手に入れるのに苦労しました。

中日新聞夕刊1面 「故人の声でメッセージ ― 名工大 ビデオなどから合成」

  • 掲載日:2012年5月2日
  • 概要:竹田設計工業との共同研究の中で取り組んだ、「故人の声合成」の取り組みを紹介していただきました。この取り組みは、亡くなった父親の声をホームビデオのビデオテープの音声をもとに「本人らしい声」の音声合成システムを構築し、娘の披露宴でメッセージを再生するというものでした。新聞で取り上げていただいた反響は大きく、いくつか依頼もありましたがこの事例ほど音声データが残っていない場合が多く、技術的にはまだ簡単ではないこともあり、まだまだ研究を進める必要があります。
Bootstrap is a front-end framework of Twitter, Inc. Code licensed under MIT License. Font Awesome font licensed under SIL OFL 1.1.