研究内容
人間の口調や表情などの情報からその人の感情や意欲を推定したり，また逆に感情を込めた声や表情を作成したりするための技術を中心に，幅広い研究に取り組んでいます．
＜＜＜卒業研究を希望する学生諸君へ＞＞＞
日常的なゼミは，音声グループと言語グループに分かれて行っています．それに加え，中間発表や岡山大学との合同ゼミも実施しています．
音声グループ
人間の口調や表情からの感情推定
人は口調や表情の変化から相手が喜んだり怒ったりしていることを．本研究室ではその口調や表情変化の特徴を機械学習器に学習させることで，話し手の感情や本心をリアルタイムで推定するための手法について研究しています．
感情推定技術の社会的応用
声や表情から感情を推定する技術を応用することで，相手がやる気になっているか，強がりやお世辞を言っているかなどの判別にも使えます．さらに，そのような本心を考慮して対話できるシステムについても研究を行っています
音源分離/声質変換
特定話者の音声だけを抽出したり，他人の声に変換したり，人間の声に関する研究を行っています．特に，振幅や位相と言った音声情報を2次元の特徴量として扱うことにより，畳み込み等の深層学習との親和性を高めています．独自のVTuber育成も目的のひとつです．
ファッションを題材とした画像処理
人間が持つ印象決定をコンピュータに行わせるため，商品紹介文等のテキスト情報だけでなく，コーディネート写真等の画像を処理する技術を研究しています．シルエットによるサイズ感を抽出したり，フレア感を計測したりすることにより，コーディネート写真から得られる雰囲気を決定します．
言語グループ
観光情報学に関する研究
旅行ブログエントリ中のテキストや画像を用いて，様々な観点から分類し，旅行者のみならず観光地を活性化するために役立つ情報を見つける研究をしています．しまなみジャパンと協力して集めた観光サイクリストの行動情報を分析する研究に展開しています．
テキストマイニングに関する研究
新型コロナウイルス感染症に関する英語で書かれた学術論文が大量に生産されています．大量の文書集合から役立つ知識を見つけるテキストマイニング技術は今後ますます重要となります．ベンチャー企業を題材に，機械学習を用いてWebにある文書から企業情報を抽出・分析する研究を進めています．
過去の卒業研究・修了研究
要旨は知能工学科オリジナルサイト（学内専用ページ）から閲覧できます．
2023年度修士論文
- 丸 照正 多様な旅行者へ向けた観光案内文生成のための興味関心等の抽出
- 海原 颯馬 動きを伴う議論参加者の不適切態度の検出手法
- 坂根 剛 音声感情認識のための学習データ拡張手法の検討および分析
- 和田 楓也 x-vectorを用いた声質変換における日本語感情音声の分析
- 後藤 大喜 歌唱曲におけるコード進行のアノテーションデータベース作成と分析
2023年度卒業論文
- 井川 想太 クラスタ分析を用いた旅行記からの典型的な旅行プランの抽出
- 河合 勝吾 多言語WikipediaとBERTを用いた歴史的建造物の観光特性抽出
- 山本 梨央 旅行者向け郷土料理説明文生成のための食材情報を用いた類似料理検出
- 近藤 汐音 ソーシャルメディアコンテンツから個人性を再現するペルソナ文生成手法
- 加藤 美有 発話の感情尤度と音響特徴量を用いた動画編集支援手法
- 森木 颯麻 感情誘導による疑似抑うつデータを用いた音声からの抑うつ度推定手法
- 下久保 健 ファッションアイテムのシルエットと柄の操作による単眼深度推定アルゴリズムの比較
- 山田 涼太 U-Net内の中間表現操作による生成画像の一貫性を維持する手法の検討
2022年度修士論文
- 沖本 航大 マルチモーダル情報を考慮したオンデマンド講義受講者の学習エンゲージメント推定手法
- 宮本 侑季 他者にとって感情識別が容易な演技音声における音響的特徴の分析
2022年度卒業論文
- 天野 椋太 発話音声からの脳ネットワーク賦活度推定手法の改善
- 溝口 和輝 対話における時系列を考慮した感情遷移確率の分析
- 森 浩貴 発話音声の音響特徴量を用いた抑うつ度推定手法
- 柴田 夕利亜 StarGANを用いた日本語感情音声の声質変換
- 山本 歩香 コーディネート画像を用いた骨格タイプの分類
- 深津 玲穂 観光の形態を考慮したFlickrの分類と説明文自動生成
- 坂上 知司 Twitter を利用した旅行計画者の行動目的の自動判定
- 関藤 稀良 GPT-2によるテーマに沿った詩的な文生成に基づく作詞支援の検討
2021年度修士論文
- 羽原 俊輔 声質変換におけるフレシェ距離を用いた音声品質向上の検討
2021年度卒業論文
- 大加田 華実 Flickrを用いた観光スポット検出と説明文自動生成
- 中野 直樹 旅行コミサイトを用いたコロナ禍における影響と対策の自動判定
- 丸 照正 CRFを用いたTwitterからのコロナ後の旅行意向の抽出
- 藤本 真央 発話音声からの脳ネットワーク賦活度推定手法
- 坂根 剛 発話の音響情報に基づく疑問表現判定手法
- 後藤 大喜 話者ダイアライゼーションにおける相づち認識の精度向上
- 和田 楓也 時間系列を考慮した声質変換の検討
2020年度修士論文
- 大道 博文 Image Inpainting技術を応用したクロスモーダル表情画像修復
- 柴田 有基 観光の形態を考慮した将来の訪問国の予測
- 高市 晃佑 大規模対話音声コーパス作成を目的とする人的コスト削減手法
- 見尾 和哉 機械学習を用いたマルチモーダル本心推定に有効な学習データおよび特徴量の検討
2020年度卒業論文
- 田中 佑弥 台詞自由発話からの口調と表情に基づく話者の本心推定
- 宮本 侑季 同一話者による感情移入演技音声と技術的演技音声の違いの検証
- 沖本 航大 オンデマンド講義受講者に対する興味度推定に有効な特徴量の検討
- 石田 真佑奈 話者感情を考慮した統計的対話システムの構築
- 江守 初心 感情に関連する脳ネットワーク活性状態の時系列分析
- 齊藤 実希 敵対的ネットワークによる自発音声を用いた声質変換
- 田原 風弥 異常検知技術を用いた楽器音の自然性評価法の検討
- 石垣 航大 AIベンチャー企業のメンバーページの自動抽出
- 加納 崇平 しまなみ海道観光サイクリスト停車地点の特徴分析と自動分類
2019年度修士論文
- 篠田 広人 感情に基づいた観光情報の推薦
2019年度卒業論文
- 青山 博人 口調と発話文字列を用いた行動意欲推定手法
- 高亀 夏樹 脳計測情報に基づいた発話音声と表情からの感情推定手法
- 嶋 あすか LSTMを用いた発話音声からの話者感情の強弱認識手法
- 高橋 敦哉 話者感情推定に用いる学習データとしての演技音声の有効性の検証
- 大町 怜生 損失関数による画像評価指標を用いた深層学習による音声抽出
- 柴田 悠馬 深層学習による声質変換及びスペクトログラムからの基本周波数推定
- 羽原 俊輔 大規模対話音声コーパス作成を目的とした複数話者と単数話者の区間分類
- 澤井 千春 ベンチャー企業の会社概要ページの自動判定
