
\section{Definizione del problema}
\label{sec:DefinizioneDelProblema}

Sia $\{z_t\}_{t\in \mathbb{Z}} \, z_t\in \mathbb{R}^m $ un processo stocastico, stazionario che descrive l'evoluzione temporale di qualche variabile di interesse. Con un piccolo abuso di notazione in questo contesto $z_t$ indica sia la variabile aleatoria che la sua realizzazione. Come mostrato in figure \ref{fig:rete} ogni componente del processo $\{z_t\}_{t\in \mathbb{Z}}$ può essere pensato come un nodo di una grafo. L'obiettivo di questi algoritmi di identificazione è di trovare modelli lineari dinamici che descrivono tutti i componenti di $\{z_t\}$ come funzione degli altri componenti. A questo scopo si definisce $y_t:=z_t^{[i]}$ (la componente i-esima di $z_t$) come uscita e tutte le altre componenti $u_t:=z_t^{[-i]}\in \mathbb{R}^{m-1}$ come ingressi. Ovviamente il procedimento può essere ripetuto per ogni $i=1,\ldots,m$ ottenendo in questo modo una descrizione completa di tutte le variabili di $z_t$ come funzione degli altri. In questa sezione però per questioni di chiarezza si sceglie un valore specifica per $i$, per esempio $i=1$. In questo caso $z_t$ può essere rappresentato come
\begin{equation*}
z_t = \begin{bmatrix} y_t \\ u_t \end{bmatrix}
\end{equation*}

Si definiscono gli insiemi delle variabili passate all'istante $t$
$$ Y^t=[y_{t-1},y{t-2},\ldots] \quad U^t=[u_{t-1},u{t-2},\ldots] $$

Dalla stazionarietà del processo $\{z_t\}_{t\in \mathbb{Z}}$ segue che anche i processi $\{y_t\}_{t\in \mathbb{Z}}$ e $\{u_t\}_{t\in \mathbb{Z}}$ sono processi stocastici, congiuntamente stazionari che possono quindi essere pensati rispettivamente come ingressi e uscita di un sistema dinamico tempo-invariante
\begin{equation}
y_t = \sum_{k=1}^{\infty}f_k u_{t-k}+\sum_{k=0}^{\infty}g_k e_{t-k}
\label{eq:SisDin}
\end{equation}
dove $f_k\in\mathbb{R}^{1\times m}$ (avendo assunto assenza di retroazione diretta, cioè $f_0=0$) e $g_k\in\mathbb{R}$ sono coefficienti incogniti della risposta impulsiva e $e_t$ rappresenta un processo di innovazione che è equivalente all'errore di predizione di un passo
\begin{align*}
	e_t &:= y_t - \hat{y}_{t|t-1} = y_t - E[y_t|Y^t,U^t] \\
	E[y_t|Y^t,U^t] &:= \sum_{j=1}^{m-1}\left[ \sum_{k=1}^{\infty}h_k^{j}u_{t-k}^{[j]} \right] +\sum_{k=1}^{\infty}h_k^{[m]}y_{t-k}.
\end{align*}
Le sequenze $h_k:=[h_k^{[1]},h_k^{[2]},\ldots,h_k^{[m]}]\in\mathbb{R}^{1\times m}, k\in \mathbb{Z}^+$ rappresentano i coefficienti della risposta impulsiva del predittore e servono a descrivere sistemi (BIBO) stabili e si ha quindi $h^{[m]}\in l_1(\mathbb{Z}^+)$.\\

Nell'ambito della PEM la predizione di sistemi dinamici può essere vista come predizione dei coefficienti della risposta impulsiva $h_k$ del predittore. Si vuole prestare particolare attenzione a situazioni in cui non tutte le variabili sono necessari per predire $y_t$, il che in termini matematici equivale ad avere $h_k^{[i]}=0$ per ogni $k\in\mathbb{Z}^+$. In una rappresentazione grafica c'è una arco diretto $u_k^{[i]}$ al nodo $y_k$ se e solo se esiste $k\in\mathbb{Z}^+$ tale che $h_k^{[i]}\neq0$ per $i=1,\ldots,m-1$; inoltre non c'è un capo se e solo se esiste $k\in\mathbb{Z}^+$ tale che $h_k^{[m]}\neq0$. Per esempio per il grafo rappresentato in figura \ref{fig:rete} si ha $h_k^{[5]}=h_k^{[1]}=0, \, \forall k\in\mathbb{Z}+$, mentre $h_k^{[2]}=h_k^{[3]}=h_k^{[4]}$ e $h_k^{[6]}$ non sono identicamente nulle. Questo significa che per predire $y_t$ serve il passato di $u^{[2]},\ u^{[3]},\ u^{[4]}$ e di $y$ stesso.

\begin{figure}[t]
    \begin{center}
      \includegraphics[width=0.7\textwidth]{figure/rete}
    \caption[rete]
    {\label{fig:rete}
    Grafo che rappresenta l'interconnessione di $m=6$ variabili. Gli archi solidi rappresentano le connessioni nel modello dinamico con il nodo $y_t:=z_t^{[1]}$ da tutti gli altri nodi. L'assenza degli archi da $u-t^{[i]},\ i=1,5$ a $y_t$ indica che $h_k^{[i]}=0,\ i=1,5,\ \forall k \in \mathbb{Z}^+$. Il nodo $y_t$ ha l'arco entrante indicando la dipendenza dall'errore di predizione a un passo $e_t$. Gli archi punteggiati indicano dipendenze tra gli ingressi $u_t$.}
    \end{center}
\end{figure}

In pratica non si sa a priori quali variabili saranno significativi per predire la uscita $y_t$. I metodi PEM e N4SID non effettuano alcuna selezione di ingressi e stimano un modello ``completo'' che tiene conto di tutti gli ingressi. Questo è un motivo per cui questi due algoritmi a volte producono stime scarse.\\

Qui di seguito si presentano degli algoritmi che favoriscono la sparsità e che sono quindi capaci di individuare una struttura del sistema dinamico simile a quella riportata in figura \ref{fig:rete}. Allo stesso momento riescono a stimare le risposte impulsive $h_k^{[i]}$ nulle.











