Le document fournit une introduction détaillée sur les tenseurs en apprentissage machine et en traitement du signal. Il aborde leurs structures multidimensionnelles, la décomposition des tenseurs, et leur application dans l'apprentissage automatique. Des concepts avancés comme l'analyse en composantes principales multilinéaires et le traitement de données à grande échelle y sont également discutés.

1. Tensors in Machine Learning and Signal Processing
Notes to a Simple Introduction
Andres Mendez-Vazquez
October 21, 2018
Contents
1 Introduction to the Physics Way 3
1.1 Descartes and Intuitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 The Mathematical Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 The New Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 The Final Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5 Tensors from Vectors and Covectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6 Formal Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.7 Examples of Tensors and more Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2 Tensors as Multidimensional Structures (Simplicity, First Principles) 10
2.1 The Order of a Tensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2 Rank-One Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3 Diagonal Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Changing Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 Matrix Kronecker, Khatri–Rao, and Hadamard Products . . . . . . . . . . . . . . . . . . . . . 12
2.6 Representing Tensors with Lower Ranks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3 Tensor Decomposition 12
3.1 The Problem of Storing Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2 Low-Rank Matrix Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3 Parallel Factors for Cross Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.4 Canonical Decomposition with Linear Constraints . . . . . . . . . . . . . . . . . . . . . . . . 12
3.5 Decomposition into Directional Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.6 Tucker Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4 Machine Learning and Tensors 12
4.1 Fundamentals of Multilinear Subspace Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.2 Multilinear Principal Component Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.3 Multilinear Discriminant Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.4 Accelerating Gradient Descent for Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.5 Deep Learners as Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.6 Relational Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1

2. Tensors in Machine Learning
5 Signal Processing 12
5.1 Compressed Sensing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
5.2 Large Scale Data and the Curse of Dimensionality . . . . . . . . . . . . . . . . . . . . . . . . 12
5.3 Multiway Component Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
5.4 Mutliway Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
5.5 Tensor Data Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2