ソフトウエア開発

ソフトウエア

  • 自動伴奏システム Ryry
  • 自動作曲システム Orpheus (東京大学 嵯峨山研究室)
    www.orpheus-music.org/v3/
  • アンサンブル自動編曲システム MusicPipe
    http://www.musicpipe.net/
  • 深山 覚,酒向 慎司,西本 卓也,嵯峨山 茂樹,“自動作曲システムOrpheus”,
    予感研究所2(独立行政法人科学技術振興機構、「デジタルメディア作品の制作を支援する基盤技術」研究領域主催),Jul. 2008.
  • 音声信号処理ツールキット SPTK (Speech signal Processing ToolKit)
    http://sp-tk.sourceforge.net/
  • HMM音声合成ツールキット HTS (HMM-Based Speech Synthesis System)
    http://hts.sp.nitech.ac.jp/
  • 擬人化音声対話エージェントツールキット Galatea
    http://sourceforge.jp/projects/galateatalk/
  • 日本語テキスト音声合成ソフトウエア Galatea Talk / HMM音声合成システム学習ツールキット VoiceMaker
    http://galateatalk.sourceforge.jp/

研究用データベース

 

研究助成

科学研究費補助金(科研費)

  • 文部科学省科学研究費補助金 若手研究(B), 課題番号: 21700191, "多彩な歌唱表現を自動学習する制御性に優れた歌唱音声合成システムの研究", 2009年4月~2012年3月 (研究代表者) [完了]
  • 文部科学省科学研究費補助金 基盤研究(C), 課題番号: 22500506, "統計モデルに基づく手話動作のサブユニットモデル自動生成と大語彙連続手話認識", 2010年4月~2013年3月 (研究分担者) [完了]
  • 文部科学省科学研究費補助金 基盤研究(C), 課題番号: 25350666, "手指動作と非手指動作のサブユニットモデルに基づく手話認識に関する研究", 2013年4月~2016年3月 (研究分担者)
  • 文部科学省科学研究費補助金 若手研究(B), 課題番号: 26730182, "演奏者の個人性を転写する演奏生成と協調演奏システムの研究", 2014年4月~2017年3月 (研究代表者)
  • 文部科学省科学研究費補助金 国際共同研究加速基金, 課題番号: 15KK00008, "演奏者の個人性を転写する演奏生成と協調演奏システムの研究", 2016年4月~2019年3月 (研究代表者)
  • 文部科学省科学研究費補助金 基盤研究(S),課題番号: 17H06114, "多目的な手話言語データベース構築に関する研究", 2017年~2021年(研究分担者)

その他の競争的資金

奨学寄附金

  • 財団法人 堀情報科学技術財団(現 公益財団法人 堀科学芸術振興財団) 第18回研究助成, "アンサンブル用重奏譜の自動編曲手法の研究と編曲支援システムの開発", 2009年4月~2010年3月 (研究代表者) [完了]
  • 公益財団法人 立松財団 第17回研究助成, "隠れ領域を考慮した手話の基本動作モデリングの研究と高精度手話動画データベースの構築", 2009年8月~2010年7月 (研究代表者) [完了]
  • 公益財団法人 御器谷科学技術財団 平成21年度研究助成, "大規模手話コーパスによる文脈を考慮した手話の基本動作モデリングの研究", 2010年4月~2011年3月 (研究代表者) [完了]
  • 公益財団法人 電気通信普及財団  平成22年度研究助成, "隠れマルコフモデルを用いた音響信号からのコード認識と楽曲分類に関する研究", 2010年4月~2011年3月 (研究代表者) [完了]
  • 財団法人 サウンド技術振興財団(現 一般財団法人 カワイサウンド技術・音楽振興財団) 平成22年度研究助成, "Music Pipe―任意のメロディと楽器編成からアンサンブル用重奏譜面を生成する編曲手法の研究と編曲支援システムの開発", 2010年4月~2011年3月 (研究代表者) [完了]
  • 公益財団法人 市原国際奨学財団 平成24年度研究助成, "音響信号を入力とした協調的自動演奏システムに関する研究", 2012年4月~2013年3月 (研究代表者) [完了]
  • 一般財団法人 人工知能財団 平成25年度研究助成, "過去の音声資料を用いた効率的な音声合成システムの構築に関する研究", 2013年4月~2014年3月 (研究代表者) [完了]
  • 公益財団法人 電気通信普及財団 平成26年度研究助成, "音響信号によるリアルタイム楽譜追跡と能動的演奏支援システムに関する研究", 2014年4月~2015年3月 (研究代表者) [完了]
  • 公益財団法人 中部電気利用基礎研究振興財団 平成26年度研究助成, "人間の演奏に心地よく合わせてくれる音響信号による自動伴奏システム", 2015年4月~2016年3月 (研究代表者)
  • 一般財団法人カワイサウンド技術・音楽振興財団 平成27年度研究助成,"異なる習熟度に対応したバイオリン運指推定に関する研究", 2015年4月~2016年3月 (研究代表者)
  • 一般財団法人 東海産業技術振興財団 第27回 助成研究, "手指・非手指動作を統合した手話翻訳のための深度センサによる頭部動作・表情認識の研究", 2015年4月~2016年3月 (研究代表者)
  • 公益財団法人 堀科学芸術振興財団 第25回第2部研究費助成事業, "習熟度に対応したバイオリン運指推定に関する研究", 2016年4月~2017年3月 (研究代表者)

その他(主に学内研究費)

  • 名古屋工業大学 学内研究推進経費 (若手研究), "演奏者の個性を自動学習する確率的モデリングの研究", 2010年4月~2011年3月 (研究代表者) [完了]
  • 名古屋工業大学 学内研究推進経費 (若手研究), "演奏解釈に基づいた制御性の高い演奏表情生成の研究", 2011年4月~2012年3月 (研究代表者) [完了]
  • 名古屋工業大学 学内研究推進経費 (若手研究), "楽器演奏による表現技巧を転写する協調演奏システムに関する研究", 2012年4月~2013年3月 (研究代表者) [完了]
  • 名古屋工業大学 学内研究推進経費 (若手研究), "バイオリンの自動運指推定に関する研究", 2013年4月~2014年3月 (研究代表者) [完了]
  • 名古屋工業大学 学内研究推進経費 (若手研究), "名演と呼ばれる演奏技法を転写する表情付き演奏生成に関する研究", 2014年4月~2015年3月 (研究代表者) [完了]
  • 名古屋工業大学 平成26年度国際化推進経費, "手話認識の高度化を目指した国際ワークショップと国際交流推進", 2015年8月~2015年9月 (取組事業責任者) [完了]
  • 名古屋工業大学 学内推進研究費 (将来を見据えた研究), "手話の手指動作と非手指動作の自動認識技術と手話コーパス構築に関する研究", 2015年4月~2016年3月 (研究代表者) [完了]
  • 名古屋工業大学 平成27年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2016年8月~2016年11月  (取組事業責任者) [完了]
  • 名古屋工業大学 平成28年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2016年10月~2016年11月  (取組事業責任者) [完了]
  • 名古屋工業大学 平成29年度国際化推進経費, "欧州の大学との研究型インターンシップの推進", 2018年7月~2016年8月  (取組事業責任者)

共同研究

渡航助成(国際会議・海外派遣事業など)

知的財産

特許

  • 岩田 英三郎,酒向 慎司,飲酒状態判定装置及び飲酒状態判定方法,特開2011-553634, PCT/JP2010/062776, Apr. 2012.
  • 嵯峨山 茂樹,槐 武也,酒向 慎司,松本 恭輔,西本 卓也,”音声合成方法及び装置”,特開2007-114355,東京大学,May 2007.
  • 山口 辰彦,酒向 慎司,山本 博史,菊井 玄一郎,”音声認識装置及びコンピュータプログラム”,特開2005-84436,株式会社国際電気通信基礎技術研究所,Mar. 2005.

受賞・報道等

受賞

  • 2016年3月, 情報処理学会山下記念研究賞
    "楽譜と表情を関連付けた統計モデルに基づく楽器演奏の比較分析の検討", 奥村 健太, 酒向 慎司, 北村 正  [詳細]
  • 2016年3月10日, 情報処理学会第78回全国大会学生奨励賞
    "自動ジャズアレンジのための事例に基づくメロディ変形", 佐藤 直人, 酒向 慎司, 北村 正
  • 2014年3月28日, 日本音響学会東海支部活動貢献賞
  • 2014年3月13日, 情報処理学会第76回全国大会学生奨励賞
    "旋律の演奏表情を考慮した自動伴奏生成", 宮田 佳奈, 酒向 慎司, 北村 正 [CiNii]
  • 2014年3月13日, 情報処理学会第76回全国大会学生奨励賞
    "印象空間を用いた任意の言葉による楽曲検索:言葉の写像方法の改善と評価方法の再構築", 頭川 愛, 酒向 慎司, 北村 正 [CiNii]
  • 2013年9月, 日本音響学会学生優秀発表賞
    "演奏位置とテンポの統合確率モデルに基づく楽譜追跡と音響入力自動伴奏への応用", 山本 龍一, 酒向 慎司, 北村 正
  • 2013年9月, 第12回情報科学フォーラム(FIT2013)奨励賞
    "習熟度に応じたバイオリン運指推定のための確率モデルとパラメータ学習", 長田 若奈, 酒向 慎司, 北村 正 [CiNii]
  • 2013年5月19日, 情報処理学会東海支部学生論文奨励賞
    奥村 健太, 酒向 慎司, 北村 正
  • 2013年1月22日, 平成25年度電気関係学会東海支部連合大会奨励賞
    "隠れマルコフモデルを用いたバイオリンの運指推定", 長田 若奈, 酒向 慎司, 北村 正
  • 2012年12月12日, 平成24年度日本音響学会東海支部優秀発表賞
    "セミマルコフ条件付き確率場に基づく音楽音響信号と楽譜のアライメントと実時間拍予測アルゴリズム", 山本 龍一, 酒向 慎司, 北村 正
  • 2011年12月7日, 2011年度電子情報通信学会ヒューマンコミュニケーショングループ賞
    "手話の音韻構造に基づいたHMM手話認識の改善", 酒向 慎司, 有賀 光希, 北村 正 [CiNii]
  • 2010年12月6日 日本音響学会東海支部優秀発表賞
    "個人性を考慮したGMMに基づいた音楽の印象推定モデル", 西尾 圭一郎, 酒向 慎司, 北村 正
  • 2010年3月, 情報処理学会山下記念研究賞
    "Orpheus: 歌詞の韻律に基づく自動作曲システム", 深山 覚, 中妻 啓, 酒向 慎司, 西本 卓也, 嵯峨山 茂樹 [CiNii] [詳細]
  • 2010年3月, 情報処理学会全国大会学生奨励賞
    "単旋律のパート分配と伴奏・副旋律生成によるアンサンブルのための自動編曲手法", 水野 理央, 酒向 慎司, 北村 正 [IPSJ]
  • 2009年12月, 日本音響学会東海支部優秀発表賞
    "重奏用譜面を生成するための経路探索を用いたメロディのパート分配", 水野 理央, 酒向 慎司, 北村 正
  • 2009年12月, 日本音響学会東海支部優秀発表賞
    "HMMを用いた日変動パターンに基づく環境電磁波のモデル化と異常放射検出", 高瀬 裕矢, 酒向 慎司, 北村 正

 

報道

新聞雑誌やテレビ・ラジオ局などで研究成果を紹介していただきました。

読売新聞 あしたを拓く科学の匠「音声合成語る亡父」

  • 掲載日:2017年1月5日
  • 概要:徳田恵一先生(名古屋工業大学)の音声合成技術の研究を中心に取り上げた記事の中で、応用事例の一つとして2012年に竹田設計工業との共同研究で取り組んだ故人の声合成の成果を紹介していただきました。

テレビ朝日 報道ステーションSUNDAY: 「あの人に会いたい…」最新技術で“亡き人”に会える未来

  • 掲載日:2016年7月17日
  • 概要:亡くなられた方を偲ぶ遺族の方のための新しい技術の一つとして、2012年に竹田設計工業とともに取り組んだ「故人の声合成」の事例が紹介されました。どちらかというと活用事例として当事者の方のインタビューが中心です。音声データからその人の声を合成する技術も紹介されておりましたが、これは名工大とは別の会社のものです。

読売新聞夕刊 「失った声を取り戻す」

  • 掲載日:2015年6月25日
  • 概要:音声合成技術の幅広い応用を取り上げた記事の中で、2012年に竹田設計工業とともに取り組んだ「故人の声合成」の事例が紹介されました。この記事では、徳田恵一先生(名工大)のHMM音声合成の技術紹介のほか、山岸順一先生(国立情報学研究所)らのボイスバンクプロジェクトなどALS患者や声帯を手術されて発声ができない人に自分の声を取り戻す取り組みが紹介されました。ヤマハによる故人の歌声を合成する取り組みも紹介され、音声合成技術の幅広い展望が期待されるという内容の記事でした。一方で、音声合成技術が詐欺などに悪用される恐れがあることにも触れられており、合成音を見破る技術も研究されていることが山岸先生のコメントとして紹介されていました。

WIRED.UK -Rencon: a 'Turing Test for musical expression'- [Link]

  • 掲載日:2013年9月25日
  • RENCON2013では奥村健太君(博士課程)の取り組む演奏生成システムが自動生成システムの部門で優勝することができました。イギリス版WIRED誌では、RENCONの取り組みを紹介する中で、優勝チームとして我々の研究を取り上げていただきました。

エフエム豊橋

  • 放送日:2013年9月23日
  • 日本音響学会東海支部40周年記念事業として、歌声合成コンサートの企画に参画しました。豊橋で開催されることもあり、そのコンサートの宣伝と歌声合成の研究紹介のため生出演させていただきました。パーソナリティの渡辺欣生さんはもともと歌声合成に大変興味を持たれていたそうで、こちらも楽しく出演させていただけました。

名古屋テレビ UP! 特集 「ここまで来た!音声 "再生" の最前線」

  • 放送日:2012年7月30日
  • 現在の音声合成技術を特集したもので、主に徳田恵一先生(名工大)が取り組んでいる音声合成技術が紹介されています。その中で、故人の声合成の取り組みを紹介していただきました。依頼された遺族の方のインタビューなども行われ、音声合成の研究が普段の生活の中に活かされたことはとても意義があったことだと思います。余談ですが、ミュンヘン工科大滞在中にテレビ放送されたため、テレビ局の方からDVDビデオを郵送していただきましたが、税関で止められてしまい手に入れるのに苦労しました。

中日新聞夕刊1面 「故人の声でメッセージ ― 名工大 ビデオなどから合成」

  • 掲載日:2012年5月2日
  • 概要:竹田設計工業との共同研究の中で取り組んだ、「故人の声合成」の取り組みを紹介していただきました。この取り組みは、亡くなった父親の声をホームビデオのビデオテープの音声をもとに「本人らしい声」の音声合成システムを構築し、娘の披露宴でメッセージを再生するというものでした。新聞で取り上げていただいた反響は大きく、いくつか依頼もありましたがこの事例ほど音声データが残っていない場合が多く、技術的にはまだ簡単ではないこともあり、まだまだ研究を進める必要があります。