Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet
•
1 j'aime•411 vues
Recommandé
Contenu connexe
Similaire à Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet
Similaire à Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet (20)
Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet
- 1. EXTRAÇÃO DE DESCRITORES SONOROS TIMBRÍSTICOS A PARTIR DA TRANSFORMADA WAVELET PACKET Thiago Rossi Roque Rafael Santos Mendes DCA/FEEC/UNICAMP AES BRASIL 2014
- 2. • Busca por novas formas de extração de informações sonoras (descritores) • Possibilidade de modulação dos descritores • Alterações controladas no timbre • Transformada Wavelet – Decomposição tempo-frequencial (descritores frequenciais variantes no tempo) – Cálculo simples e eficiente tanto para análise quanto para síntese MOTIVAÇÃO Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 2
- 3. • Descritores de Áudio – Quantificar aspectos qualitativos de um sinal, ou seja, descrever as características de um sinal sonoro de forma objetiva INTRODUÇÃO Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 3
- 4. • MPEG-7: Descritores Timbrísticos – Temporais • Tempo Logarítmico de Ataque • Centroide Temporal – Espectrais • Centroide Espectral Harmônico • Espalhamento Espectral Harmônico • Desvio Espectral Harmônico • Variação Espectral Harmônica • Centroide Espectral INTRODUÇÃO Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 4
- 5. TEMPO LOGARITMICO DE ATAQUE 5Extração de Descritores SonorosTimbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 6. CENTROIDE TEMPORAL 6Extração de Descritores SonorosTimbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 7. CENTROIDE ESPECTRAL Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 7 • Média frequencial ponderada pela amplitude de cada componente. • Sensação de brilho de um som 𝐶𝐸 = 𝐹 𝑛 ∗ 𝑛𝑁 𝑛=1 𝐹(𝑛)𝑁 𝑛=1 • Análogo ao primeiro momento estatístico – Centro de massa espectral
- 8. CENTROIDE ESPECTRAL HARMÔNICO 8Extração de Descritores SonorosTimbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 9. ESPALHAMENTO ESPECTRAL HARMÔNICO 9Extração de Descritores SonorosTimbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 • Espalhamento espectral médio em relação ao CEH • Sensação de harmonicidade de um som 𝐸𝐸𝐻𝐿 𝑛 = 1 𝐶𝐸𝐻𝐿(𝑛) ( 𝐹ℎ,𝑛 − 𝐶𝐸𝐻𝐿(𝑛) 2 ∗ 𝐴2 ℎ,𝑛)𝑁ℎ ℎ=1 𝐴2 ℎ,𝑛 𝑁ℎ ℎ=1 • Análogo ao segundo momento estatístico
- 10. • Transformada de Fourier Janelada (STFT) – Técnica predominante para sinais de áudio – Deficiências conhecidas: • Decompor sinais de energia finita em base de energia infinita – Sons naturais são pseudo-periódicos • Janelamento do sinais através de janelas fixas ANÁLISE ESPECTRAL 10Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 11. • Wavelet Packet – Análise em multiresolução – Muito efetiva com sinais não periódicos e pseudo- periódicos – Utilização de wavelets para estimação espectral é muito recente! ANÁLISE ESPECTRAL 11Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 12. • Funções finitas – Energia concentrada no tempo • Sem componentes de frequência nula WAVELET Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 12 dtt 2 |)(| 0)( dtt )2(2)(, ktt jj kj
- 13. • Análise multi-resolução – Funções wavelets possibilitam escalamentos e deslocamentos temporais • Possibilitando análises tanto no domínio da frequência quanto no domínio do tempo A TRANSFORMADA WAVELET 13Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 dtttfttfjkW kjkj )()()(),(),( ,,
- 14. • Sendo um sinal discreto: • e são os coeficientes da transformada wavelet discreta • e são respectivamente a função escala e função wavelet A TRANSFORMADA WAVELET 14Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 )(tx (k)jd)(cr k k k rj j j r r ktkdktkctx )2()()2()()( )(t )(t
- 15. A TRANSFORMADA WAVELET 15Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 )()2()( 1 ncknhkc n jj )()2()( 11 ncknhkd n jj
- 16. WAVELET PACKET Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 16
- 17. WAVELET PACKET Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 17
- 18. • É necessário reordenar os coeficientes de forma frequencial • Código Gray: 000,001, 011, 010, 110, 111, 101, 100 0, 1, 3, 2, 6, 7, 5, 4 WAVELET PACKET Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 18
- 19. • Análise espectral wavelet de um trompete (A3) ANÁLISE ESPECTRAL A PARTIR DA WP 19Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 20. • Análise espectral wavelet de um trompete (A3) ANÁLISE ESPECTRAL A PARTIR DA WP 20Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 21. DSCRITORES TEMPORAIS WAVELET Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 21 • TLA WT • -0,1948 • TLA convencional • - 0,1938 • CT WT • 2,2349 s • CT convencional • 2,0844 s
- 22. CENTROIDE ESPECTRAL WAVELET Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 22 • CE STFT • CE Wavelet
- 23. CENTROIDE ESPECTRAL HARMÔNICO Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 23 • CEH STFT • CEH Wavelet
- 24. ESPALHAMENTO ESPECTRAL HARMÔNICO Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 24 • EEH STFT • EEH Wavelet
- 25. • Análise espectral wavelet se demonstrou eficiente • Alta correlação entre o descritores calculados pela transformada wavelet e pela forma convencional CONCLUSÕES 25Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 26. • Estudos mais profundos a cerca da estimação espectral wavelet • Aprimorar a técnica para outros descritores • Manipulação dos coeficientes wavelet de forma a alterar controladamente os descritores sonoros – Transformada Wavelet de Banda Harmônica PRÓXIMOS PASSOS 26Extração de Descritores Sonoros Timbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014
- 27. • Obrigado pela atenção! FIM 27Extração de Descritores SonorosTimbrísticos a Partir daTransformada Wavelet Packet – AES Brasil 2014 Duvidas? Questões? Sugestões?