SlideShare une entreprise Scribd logo
1  sur  7
Télécharger pour lire hors ligne
©Yuki Saito, Sep. 07, 2021
日本音響学会 2021年秋季研究発表会 1-3Q-14
End-to-End 音声合成の
Continual Learning における
破滅的忘却の影響の調査
○齋藤 佑樹, 猿渡 洋 (東大院・情報理工)
(Google Slides へのリンク & 音声サンプルのページ)
本発表のハイライト
● やりたいこと
○ これまでに学習したことを忘れずに , 継続的に学習可能な音声合成の実現
● やったこと
○ Continual Learning (CL) に基づく End-to-End 音声合成の提案
■ 複数の音声コーパスで単一の音声合成モデルを逐次的に学習
■ これまでに学習した知識の破滅的忘却を防ぐための手法を検討
○ FastSpeech 型音声合成の学習 w/ JSUT コーパスでの実験的評価
● 結果
○ 破滅的忘却の影響は , 音声特徴量の予測誤差悪化で顕著
○ リハーサル法 (古いデータを一部再利用 ) に基づく CL は, 破滅的忘却の影響を緩和
2
Continual Learning (CL) [Chen+16]
● AI が継続的・階層的・追加的に知識を学習するための枠組み
○ 学習された既知のドメインと未知のドメイン両方に対する性能改善が目的
○ 人間にとっては容易だが , AI にとっては困難
○ 音声認識 [Chang+21], 音響イベント分類 [Wang+21] などの認識タスクにおける先行研究は存在
○ 生成タスクにおける先行研究は少数 (話者適応 for TTS [Hemati+21] or VC [Koshizuka+21])
● DNN における CL の難しさ: 過去に学習した知識の破滅的忘却 [French99]
○ 与えられたデータセットを用いた勾配法での学習 → 当該データセットのみに適合
■ 複数データセットで逐次的に学習する CL では, 古い知識を保持する保証がない
AI の CL (古い知識を忘却)
人間の CL (古い知識を保持)
3
本発表で評価する音声合成モデル & CL 手法
● 音響モデル: FastSpeech 2 [Ren+21]
○ 音素列からメルスペクトログラムを予測
○ F0, energy は音素単位で平均したものを予測
(FastPitch [Lancucki+21] を参考)
○ Wataru-Nakata による日本語音声合成向け
オープンソース実装 を参考
● 波形生成モデル: HiFi-GAN [Kong+20]
○ jik876 により公開されている UNIVERSAL_V1 事前学習モデルを使用 (CL は適用せず)
● 用いる CL 手法: リハーサル法 (古いデータの一部を再利用) [Robins95]
○ データの選択基準は , 音声認識における先行研究 [Chang+21] を参考に Median Length を採用
(データセット中で発話長が中央値に近い音声データを優先的に再利用 )
4
実験条件 (詳細は原稿を参照)
● データセット: JSUT コーパス [Takamichi+20]
○ 単一女性話者による日本語音声約 10h (実験では countersuffix26 サブセットは除外)
○ voiceactress100 サブセットは学習データから除外 (未知のドメインとみなす )
● 比較手法
○ Full: 全てのサブセットで 200k steps 学習
○ basic5000: 最もデータが多い basic5000 (5000文) だけで 200k steps 学習
○ Cont. : 右の表に示す順番・ステップ数で CL
○ Cont. w/ rehearsal: リハーサル法を用いた CL
■ 追加データ量の上限 M = { 5, 40, 400 } MB
● 評価指標: 合成音声の Mel-Cepstral Distortion
○ 各タスク終了時点でのモデルを用いて計算(“Best” = 最良, “Last” = 最終の評価値)
5
評価結果 (太字/下線字は各行で最良/最悪の評価値)
● Cont. の評価結果: 多くのサブセットに対して最悪の評価値
○ 特に, “Best” と “Last” の評価値に大きな差を観測 → 破滅的忘却の影響
● Cont. w/ rehearsal の評価結果: 破滅的忘却の影響を緩和
○ M > 40MB の場合, 全サブセットを学習に用いる Full を上回る性能も達成可能
講演論文集掲載の結果に一部誤りあり
→ 著者版原稿にて修正 6
本発表のハイライト (再掲)
● やりたいこと
○ これまでに学習したことを忘れずに , 継続的に学習可能な音声合成の実現
● やったこと
○ Continual Learning (CL) に基づく End-to-End 音声合成の提案
○ FastSpeech 型音声合成の学習 w/ JSUT コーパスでの実験的評価
● 結果
○ 破滅的忘却の影響は , 音声特徴量の予測誤差悪化で顕著
○ リハーサル法に基づく CL は, 破滅的忘却の影響を緩和
● 今後
○ 知識蒸留やモデルパラメータ正則化に基づく CL の検討
7

Contenu connexe

Tendances

日本音響学会2018春 ”雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習” (宇根)
日本音響学会2018春 ”雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習” (宇根)日本音響学会2018春 ”雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習” (宇根)
日本音響学会2018春 ”雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習” (宇根)Shinnosuke Takamichi
 
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用Shinnosuke Takamichi
 
Saito20asj_autumn
Saito20asj_autumnSaito20asj_autumn
Saito20asj_autumnYuki Saito
 
音情報処理における特徴表現
音情報処理における特徴表現音情報処理における特徴表現
音情報処理における特徴表現NU_I_TODALAB
 
Nakai22sp03 presentation
Nakai22sp03 presentationNakai22sp03 presentation
Nakai22sp03 presentationYuki Saito
 
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案Keisuke Imoto
 
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案Yuki Okamoto
 
Saito19asjAutumn_DeNA
Saito19asjAutumn_DeNASaito19asjAutumn_DeNA
Saito19asjAutumn_DeNAYuki Saito
 
キーワード推定を内包したオーディオキャプション法
キーワード推定を内包したオーディオキャプション法キーワード推定を内包したオーディオキャプション法
キーワード推定を内包したオーディオキャプション法Yuma Koizumi
 
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法Daichi Kitamura
 
日本語音声合成のためのsubword内モーラを考慮したProsody-aware subword embedding
日本語音声合成のためのsubword内モーラを考慮したProsody-aware subword embedding日本語音声合成のためのsubword内モーラを考慮したProsody-aware subword embedding
日本語音声合成のためのsubword内モーラを考慮したProsody-aware subword embeddingShinnosuke Takamichi
 
短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討Shinnosuke Takamichi
 
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”Shinnosuke Takamichi
 
Divergence optimization based on trade-off between separation and extrapolati...
Divergence optimization based on trade-off between separation and extrapolati...Divergence optimization based on trade-off between separation and extrapolati...
Divergence optimization based on trade-off between separation and extrapolati...Daichi Kitamura
 
英語リスニング研究最前線:実験音声学からのアプローチ
英語リスニング研究最前線:実験音声学からのアプローチ英語リスニング研究最前線:実験音声学からのアプローチ
英語リスニング研究最前線:実験音声学からのアプローチKosuke Sugai
 
応用を視野に入れながらの基礎研究:音声知覚からリスニングへ
応用を視野に入れながらの基礎研究:音声知覚からリスニングへ応用を視野に入れながらの基礎研究:音声知覚からリスニングへ
応用を視野に入れながらの基礎研究:音声知覚からリスニングへKosuke Sugai
 
リスニング訓練法としての シャドーイングとリピーティング
リスニング訓練法としての シャドーイングとリピーティングリスニング訓練法としての シャドーイングとリピーティング
リスニング訓練法としての シャドーイングとリピーティングKosuke Sugai
 
音読のバリエーションに応じた音声編集(関西英語教育学会 2016年度(第21回)研究大会 企画ワークショップ第2室)
音読のバリエーションに応じた音声編集(関西英語教育学会 2016年度(第21回)研究大会 企画ワークショップ第2室)音読のバリエーションに応じた音声編集(関西英語教育学会 2016年度(第21回)研究大会 企画ワークショップ第2室)
音読のバリエーションに応じた音声編集(関西英語教育学会 2016年度(第21回)研究大会 企画ワークショップ第2室)Kosuke Sugai
 

Tendances (20)

日本音響学会2018春 ”雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習” (宇根)
日本音響学会2018春 ”雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習” (宇根)日本音響学会2018春 ”雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習” (宇根)
日本音響学会2018春 ”雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習” (宇根)
 
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
 
Saito19asj_s
Saito19asj_sSaito19asj_s
Saito19asj_s
 
Saito20asj_autumn
Saito20asj_autumnSaito20asj_autumn
Saito20asj_autumn
 
音情報処理における特徴表現
音情報処理における特徴表現音情報処理における特徴表現
音情報処理における特徴表現
 
Nakai22sp03 presentation
Nakai22sp03 presentationNakai22sp03 presentation
Nakai22sp03 presentation
 
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
 
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
 
Saito19asjAutumn_DeNA
Saito19asjAutumn_DeNASaito19asjAutumn_DeNA
Saito19asjAutumn_DeNA
 
miyoshi17sp07
miyoshi17sp07miyoshi17sp07
miyoshi17sp07
 
キーワード推定を内包したオーディオキャプション法
キーワード推定を内包したオーディオキャプション法キーワード推定を内包したオーディオキャプション法
キーワード推定を内包したオーディオキャプション法
 
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法
 
日本語音声合成のためのsubword内モーラを考慮したProsody-aware subword embedding
日本語音声合成のためのsubword内モーラを考慮したProsody-aware subword embedding日本語音声合成のためのsubword内モーラを考慮したProsody-aware subword embedding
日本語音声合成のためのsubword内モーラを考慮したProsody-aware subword embedding
 
短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討
 
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
 
Divergence optimization based on trade-off between separation and extrapolati...
Divergence optimization based on trade-off between separation and extrapolati...Divergence optimization based on trade-off between separation and extrapolati...
Divergence optimization based on trade-off between separation and extrapolati...
 
英語リスニング研究最前線:実験音声学からのアプローチ
英語リスニング研究最前線:実験音声学からのアプローチ英語リスニング研究最前線:実験音声学からのアプローチ
英語リスニング研究最前線:実験音声学からのアプローチ
 
応用を視野に入れながらの基礎研究:音声知覚からリスニングへ
応用を視野に入れながらの基礎研究:音声知覚からリスニングへ応用を視野に入れながらの基礎研究:音声知覚からリスニングへ
応用を視野に入れながらの基礎研究:音声知覚からリスニングへ
 
リスニング訓練法としての シャドーイングとリピーティング
リスニング訓練法としての シャドーイングとリピーティングリスニング訓練法としての シャドーイングとリピーティング
リスニング訓練法としての シャドーイングとリピーティング
 
音読のバリエーションに応じた音声編集(関西英語教育学会 2016年度(第21回)研究大会 企画ワークショップ第2室)
音読のバリエーションに応じた音声編集(関西英語教育学会 2016年度(第21回)研究大会 企画ワークショップ第2室)音読のバリエーションに応じた音声編集(関西英語教育学会 2016年度(第21回)研究大会 企画ワークショップ第2室)
音読のバリエーションに応じた音声編集(関西英語教育学会 2016年度(第21回)研究大会 企画ワークショップ第2室)
 

Plus de Yuki Saito

hirai23slp03.pdf
hirai23slp03.pdfhirai23slp03.pdf
hirai23slp03.pdfYuki Saito
 
Interspeech2022 参加報告
Interspeech2022 参加報告Interspeech2022 参加報告
Interspeech2022 参加報告Yuki Saito
 
fujii22apsipa_asc
fujii22apsipa_ascfujii22apsipa_asc
fujii22apsipa_ascYuki Saito
 
nakai22apsipa_presentation.pdf
nakai22apsipa_presentation.pdfnakai22apsipa_presentation.pdf
nakai22apsipa_presentation.pdfYuki Saito
 
saito22research_talk_at_NUS
saito22research_talk_at_NUSsaito22research_talk_at_NUS
saito22research_talk_at_NUSYuki Saito
 
Neural text-to-speech and voice conversion
Neural text-to-speech and voice conversionNeural text-to-speech and voice conversion
Neural text-to-speech and voice conversionYuki Saito
 
Nishimura22slp03 presentation
Nishimura22slp03 presentationNishimura22slp03 presentation
Nishimura22slp03 presentationYuki Saito
 
GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)Yuki Saito
 
Interspeech2020 reading
Interspeech2020 readingInterspeech2020 reading
Interspeech2020 readingYuki Saito
 
ICASSP読み会2020
ICASSP読み会2020ICASSP読み会2020
ICASSP読み会2020Yuki Saito
 
Saito20asj s slide_published
Saito20asj s slide_publishedSaito20asj s slide_published
Saito20asj s slide_publishedYuki Saito
 
Deep learning for acoustic modeling in parametric speech generation
Deep learning for acoustic modeling in parametric speech generationDeep learning for acoustic modeling in parametric speech generation
Deep learning for acoustic modeling in parametric speech generationYuki Saito
 
釧路高専情報工学科向け進学説明会
釧路高専情報工学科向け進学説明会釧路高専情報工学科向け進学説明会
釧路高専情報工学科向け進学説明会Yuki Saito
 
miyoshi2017asj
miyoshi2017asjmiyoshi2017asj
miyoshi2017asjYuki Saito
 
Saito2017icassp
Saito2017icasspSaito2017icassp
Saito2017icasspYuki Saito
 

Plus de Yuki Saito (20)

hirai23slp03.pdf
hirai23slp03.pdfhirai23slp03.pdf
hirai23slp03.pdf
 
Interspeech2022 参加報告
Interspeech2022 参加報告Interspeech2022 参加報告
Interspeech2022 参加報告
 
fujii22apsipa_asc
fujii22apsipa_ascfujii22apsipa_asc
fujii22apsipa_asc
 
nakai22apsipa_presentation.pdf
nakai22apsipa_presentation.pdfnakai22apsipa_presentation.pdf
nakai22apsipa_presentation.pdf
 
saito22research_talk_at_NUS
saito22research_talk_at_NUSsaito22research_talk_at_NUS
saito22research_talk_at_NUS
 
Neural text-to-speech and voice conversion
Neural text-to-speech and voice conversionNeural text-to-speech and voice conversion
Neural text-to-speech and voice conversion
 
Nishimura22slp03 presentation
Nishimura22slp03 presentationNishimura22slp03 presentation
Nishimura22slp03 presentation
 
GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)
 
Saito2103slp
Saito2103slpSaito2103slp
Saito2103slp
 
Interspeech2020 reading
Interspeech2020 readingInterspeech2020 reading
Interspeech2020 reading
 
ICASSP読み会2020
ICASSP読み会2020ICASSP読み会2020
ICASSP読み会2020
 
Saito20asj s slide_published
Saito20asj s slide_publishedSaito20asj s slide_published
Saito20asj s slide_published
 
Deep learning for acoustic modeling in parametric speech generation
Deep learning for acoustic modeling in parametric speech generationDeep learning for acoustic modeling in parametric speech generation
Deep learning for acoustic modeling in parametric speech generation
 
Une18apsipa
Une18apsipaUne18apsipa
Une18apsipa
 
Saito18sp03
Saito18sp03Saito18sp03
Saito18sp03
 
Saito18asj_s
Saito18asj_sSaito18asj_s
Saito18asj_s
 
釧路高専情報工学科向け進学説明会
釧路高専情報工学科向け進学説明会釧路高専情報工学科向け進学説明会
釧路高専情報工学科向け進学説明会
 
miyoshi2017asj
miyoshi2017asjmiyoshi2017asj
miyoshi2017asj
 
Saito2017icassp
Saito2017icasspSaito2017icassp
Saito2017icassp
 
Slp201702
Slp201702Slp201702
Slp201702
 

Saito21asj Autumn Meeting

  • 1. ©Yuki Saito, Sep. 07, 2021 日本音響学会 2021年秋季研究発表会 1-3Q-14 End-to-End 音声合成の Continual Learning における 破滅的忘却の影響の調査 ○齋藤 佑樹, 猿渡 洋 (東大院・情報理工) (Google Slides へのリンク & 音声サンプルのページ)
  • 2. 本発表のハイライト ● やりたいこと ○ これまでに学習したことを忘れずに , 継続的に学習可能な音声合成の実現 ● やったこと ○ Continual Learning (CL) に基づく End-to-End 音声合成の提案 ■ 複数の音声コーパスで単一の音声合成モデルを逐次的に学習 ■ これまでに学習した知識の破滅的忘却を防ぐための手法を検討 ○ FastSpeech 型音声合成の学習 w/ JSUT コーパスでの実験的評価 ● 結果 ○ 破滅的忘却の影響は , 音声特徴量の予測誤差悪化で顕著 ○ リハーサル法 (古いデータを一部再利用 ) に基づく CL は, 破滅的忘却の影響を緩和 2
  • 3. Continual Learning (CL) [Chen+16] ● AI が継続的・階層的・追加的に知識を学習するための枠組み ○ 学習された既知のドメインと未知のドメイン両方に対する性能改善が目的 ○ 人間にとっては容易だが , AI にとっては困難 ○ 音声認識 [Chang+21], 音響イベント分類 [Wang+21] などの認識タスクにおける先行研究は存在 ○ 生成タスクにおける先行研究は少数 (話者適応 for TTS [Hemati+21] or VC [Koshizuka+21]) ● DNN における CL の難しさ: 過去に学習した知識の破滅的忘却 [French99] ○ 与えられたデータセットを用いた勾配法での学習 → 当該データセットのみに適合 ■ 複数データセットで逐次的に学習する CL では, 古い知識を保持する保証がない AI の CL (古い知識を忘却) 人間の CL (古い知識を保持) 3
  • 4. 本発表で評価する音声合成モデル & CL 手法 ● 音響モデル: FastSpeech 2 [Ren+21] ○ 音素列からメルスペクトログラムを予測 ○ F0, energy は音素単位で平均したものを予測 (FastPitch [Lancucki+21] を参考) ○ Wataru-Nakata による日本語音声合成向け オープンソース実装 を参考 ● 波形生成モデル: HiFi-GAN [Kong+20] ○ jik876 により公開されている UNIVERSAL_V1 事前学習モデルを使用 (CL は適用せず) ● 用いる CL 手法: リハーサル法 (古いデータの一部を再利用) [Robins95] ○ データの選択基準は , 音声認識における先行研究 [Chang+21] を参考に Median Length を採用 (データセット中で発話長が中央値に近い音声データを優先的に再利用 ) 4
  • 5. 実験条件 (詳細は原稿を参照) ● データセット: JSUT コーパス [Takamichi+20] ○ 単一女性話者による日本語音声約 10h (実験では countersuffix26 サブセットは除外) ○ voiceactress100 サブセットは学習データから除外 (未知のドメインとみなす ) ● 比較手法 ○ Full: 全てのサブセットで 200k steps 学習 ○ basic5000: 最もデータが多い basic5000 (5000文) だけで 200k steps 学習 ○ Cont. : 右の表に示す順番・ステップ数で CL ○ Cont. w/ rehearsal: リハーサル法を用いた CL ■ 追加データ量の上限 M = { 5, 40, 400 } MB ● 評価指標: 合成音声の Mel-Cepstral Distortion ○ 各タスク終了時点でのモデルを用いて計算(“Best” = 最良, “Last” = 最終の評価値) 5
  • 6. 評価結果 (太字/下線字は各行で最良/最悪の評価値) ● Cont. の評価結果: 多くのサブセットに対して最悪の評価値 ○ 特に, “Best” と “Last” の評価値に大きな差を観測 → 破滅的忘却の影響 ● Cont. w/ rehearsal の評価結果: 破滅的忘却の影響を緩和 ○ M > 40MB の場合, 全サブセットを学習に用いる Full を上回る性能も達成可能 講演論文集掲載の結果に一部誤りあり → 著者版原稿にて修正 6
  • 7. 本発表のハイライト (再掲) ● やりたいこと ○ これまでに学習したことを忘れずに , 継続的に学習可能な音声合成の実現 ● やったこと ○ Continual Learning (CL) に基づく End-to-End 音声合成の提案 ○ FastSpeech 型音声合成の学習 w/ JSUT コーパスでの実験的評価 ● 結果 ○ 破滅的忘却の影響は , 音声特徴量の予測誤差悪化で顕著 ○ リハーサル法に基づく CL は, 破滅的忘却の影響を緩和 ● 今後 ○ 知識蒸留やモデルパラメータ正則化に基づく CL の検討 7