Some initial schedule of notes to study tensors and their applications in ML

1. Tensors in Machine Learning and Signal Processing
Notes to a Simple Introduction
Andres Mendez-Vazquez
October 21, 2018
Contents
1 Introduction to the Physics Way 3
1.1 Descartes and Intuitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 The Mathematical Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 The New Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 The Final Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5 Tensors from Vectors and Covectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6 Formal Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.7 Examples of Tensors and more Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2 Tensors as Multidimensional Structures (Simplicity, First Principles) 10
2.1 The Order of a Tensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2 Rank-One Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3 Diagonal Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Changing Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 Matrix Kronecker, Khatri–Rao, and Hadamard Products . . . . . . . . . . . . . . . . . . . . . 12
2.6 Representing Tensors with Lower Ranks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3 Tensor Decomposition 12
3.1 The Problem of Storing Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2 Low-Rank Matrix Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3 Parallel Factors for Cross Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.4 Canonical Decomposition with Linear Constraints . . . . . . . . . . . . . . . . . . . . . . . . 12
3.5 Decomposition into Directional Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.6 Tucker Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4 Machine Learning and Tensors 12
4.1 Fundamentals of Multilinear Subspace Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.2 Multilinear Principal Component Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.3 Multilinear Discriminant Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.4 Accelerating Gradient Descent for Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.5 Deep Learners as Tensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.6 Relational Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1

2. Tensors in Machine Learning
5 Signal Processing 12
5.1 Compressed Sensing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
5.2 Large Scale Data and the Curse of Dimensionality . . . . . . . . . . . . . . . . . . . . . . . . 12
5.3 Multiway Component Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
5.4 Mutliway Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
5.5 Tensor Data Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2