header

aléatoire et indépendance

Disons qu'on a un vecteur aléatoires dans $E^n$ (où $E$ pourrait être $ℝ$ par exemple) distribué selon la densité $$ f: E^n → ℝ^+ $$ Bien entendu $f$ est une distribution donc a forcément que la somme sur toutes les possibilités a une masse de $1$ $$ ∫_E dx_1 ... ∫_E dx_n f(x_1,...,x_n)= 1$$

Comment détecter l'indépendance des composantes du vecteur ?

Regardons la fonction densité pour la composante $x_i$ étant donné une réalisation des $x_1$,...,$x_{i-1}$,$x_{i+1}$,...,$x_n$ $$ f_i(x_1,...,x_n) := \frac{f(x_1,...,x_n)}{∫_E dx_i f(x_1,...,x_n)}$$ avec convention $0$ quand l'intégrale dessous est $0$ (oui car ça veut dire que ça ne va pas se produire)

Si $x_i$ est indépendante des autres, alors on doit avoir $$ f_i(x_1,...,x_n) = f_i(x_i)$$ La signification étant que "savoir quelque chose des autres composantes ne nous renseigne pas sur une composante, elle agira avec le même aléatoire, indépendament"

Ainsi si toutes les composantes sont indépendantes, on peut reconstruire $f$ uniquement avec les $f_i$ $$ f(x_1,...,x_n) = Π_i f_i(x_i)$$ ce qui peut s'intuiter comme une "extrusion"

La règle de la chaîne proba dit la même chose sur l'indépendance $$ \al{ p(x_1,...,x_n) &= p(x_1)⋅p(x_2|x_1)⋅...⋅p(x_n|x_1,...,x_{n-1}) \\ &= p(x_1)⋅p(x_2)⋅...⋅p(x_n) & \text{ si indep.}\\ } $$

noise Fourier Transform

Prenons un vecteur $s$ de variables aléatoires, et interprétons le comme un signal. La question est de savoir à quoi ressemble la distribution de la transformée de Fourier que voici $$ F[s](ω) = \left⟨s \,\middle|\, n ↦ \exp\left(i2π\frac{n}{N}ω\right) \right⟩$$ qu'on peut expliciter $$ F[s](ω) = ∑_{n=0}^{N-1} s(n)\exp\left(i2π\frac{n}{N}ω\right)$$

On peut aussi voir ceci comme une fonction $ϕ$ qui transforme le vecteur $s$ en $\hat{s} = F[s]$, où $ϕ$ est une application linéaire inversible.

Ainsi pour obtenir la distribution d'un vecteur $\hat{s}$ on peut calculer $f(ϕ^{-1}(\hat{s}))$ où $f(s)$ est la densité pour $s$. C'est super ! Quand on connaît $f$ et $ϕ^{-1}$ on peut calculer explicitement la distribution !

Regardons un cas facile représentable en 2D : un signal constitué de 2 pixels $$\al{s = \mat{s_1\\s_2} &&&& \hat{s} = F[s] = \mat{s_1+s_2\\s_1-s_2}}$$

Super pratique, on reste même complètement dans les réels.

Avec $f: ℝ²→ℝ^+$ la distribution de $s$ (qu'on prendra gaussienne), on peut calculer $\hat{f}$ la distribution de $\hat{s}$ $$ \hat{f}(\hat{s}) = f(F^{-1}[s]) = f\left(\mat{\frac{\hat{s}_1+\hat{s}_2}{2} \\ \frac{\hat{s}_1-\hat{s}_2}{2}}\right)$$

distribution de $s$ distribution de $\hat{s}$ $σ_x$ $σ_y$ $μ_x$ $μ_y$

On dirait que tant que les inputs sont identiquement distribués, l'output l'est aussi

Regardons un cas facile mais qui n'est plus représentable en 2D : un signal constitué de 3 pixels (wow !) $$\al{s = \mat{s_1\\s_2\\s_3} &&&& \hat{s} = F[s] = \mat{ s_1 + s_2 + s_3\\ s_1 + s_2\exp\left(i\frac{2}{3}π\right)+s_3\exp\left(i\frac{4}{3}π\right)\\ s_1 + s_2\exp\left(i\frac{4}{3}π\right)+s_3\exp\left(i\frac{8}{3}π\right)\\ }}$$

On est plus dans les réels, les axes deviennent complexes... on va collapse la masse sur le module, puis la phase séparément par exemple.

Pour ne pas s'embrouiller, nommons $a := abs(F[s])$, ainsi la distribution associée $f_a$ se calcule $$ f_a(a) = f_a(abs(F[s])) = f(F^{-1}[abs^{-1}(\hat{s})])$$ J'abuse des notation car ici je regarde l'image d'un ensemble, comme $abs$ n'est pas invertible. Il faut cumuler la masse associée.