

\section{Pem: Prediction Error Methods}
\label{sec:PemPredictionErrorMethods}

In questo capitolo viene spiegato brevemente il principio di funzionamento dei metodi a minimizzazione dell'errore di predizione.\\
Dato un modello $M(\theta)$ appartenente a una certa classe parametrica $\mathcal{M}\equiv\{M(\theta);\theta \in \Theta\}$ e dato una sequenza di $N$ misure dei segnali d'ingresso e d'uscita
$$u^N:=\{u(t);t=1,\ldots,N\} \qquad y^N:=\{y(t);t=1,\ldots,N\} $$
si procede nel modo seguente:
\begin{enumerate}
	\item Per un qualche valore di $\theta$ fissato si costruisce il miglior (secondo qualche criterio) predittore all'istante $t-1$ dell'uscita $y(t)$. Questo predittore è una funzione dei dati passati che viene denotata col simbolo $\hat{M}(\theta)$:
	$$ \hat{M}(\theta):(y^{t-1},u^{t-1})\rightarrow \hat{y}_{\theta}(t|t-1). $$
	La predizione $\hat{y}_{\theta}(t|t-1)$ si può pensare come funzione dei dati passati e quindi come una funzione aleatoria che viene indicata usando il simbolo in grassetto $\hat{\textbf{y}}_{\theta}(t|t-1)$.
	\item Si formano gli errori di predizione
$$ \varepsilon_{\theta}(t) := y(t)-\hat{y}_{\theta}(t)\qquad \text{per }  t=1,\ldots,N. $$
Analogamente a quanto detto nel caso del predittore anche gli errori di predizione possono essere visti come quantità aleatorie e vengono quindi indicate col simbolo in grassetto $\mathbf{\varepsilon}_{\theta}(t)$.
	\item Si minimizza rispetto a $\theta$ una cifra di merito che descrive quanto bene il modello predice il dato successivo. Ad esempio si minimizza l'errore quadratico medio di predizione
$$ V_N(\theta):=\frac{1}{N}\sum_{t=1}^N \varepsilon_{\theta}(t)^2$$
	o più in generale una media degli errori quadratici di predizione pesati con una cifra di merito non negativa $\beta(N,t) > 0$,
$$ V_N(\theta):=\frac{1}{N}\sum_{t=1}^N \beta(N,t) \varepsilon_{\theta}(t)^2$$
	che per $N$ piccoli dà peso minore agli errori di predizione compiuti nella fase iniziale dell'algoritmo quando l'influenza di condizioni iniziali stimate in modo approssimativo è più deleteria. Per $N$ grande $\beta(N,t)$ tende a essere inutile e quindi deve tendere a uno.\\
In ogni caso si ricava la stima si $\theta$ dalla minimizzazione della cifra di merito
$$ \hat{\theta}_N:= Arg \min_{\theta}V_N(\theta) $$
che è la stima PEM del parametro del modello. Lo stimatore $\hat{\theta}_N$ viene chiamato stimatore PEM del parametro $\theta$.
\item Infine si prende come stima della varianza dell'innovazione $\lambda^2 = var \{\textbf{e}(t) \}$ l'errore quadratico residuo
$$ \hat{\lambda}^2:=V_N(\hat{\theta}_N). $$	
\end{enumerate}

Per quanto questa procedura sembra intuitivamente sensata, l'unica giustificazione per la sua adozione nei procedimenti di identificazione sta nelle sue proprietà statistiche. Per avere una trattazione completa delle proprietà statistiche dello stimatore PEM si consulti \cite{Picci11}.\\


Finora si è visto come ricavare lo stimatore PEM nel caso si ha un parametro $\theta$ fissato. Poiché in generale però non si ha alcuna informazioni sulla struttura del sistema vero serve uno strumento per scegliere la classe parametrica $\mathcal{M}$ alla quale appartiene il modello identificato $M(\theta)$. Dato un set di misure e diverse classi di modelli con ordini $p$ plausibili si calcolano degli indici che danno la possibilità di scegliere la classe che promette di ottenere un modello identificato con buone prestazioni. Questi indici sono sostanzialmente una generalizzazione del criterio FPE (Final Prediction Error, vedere \cite{Picci11} per la trattazione completa). Nelle simulazioni svolte per questo elaborato sono stati usati l'AICC (Akaike Information Criterion with a second-order Correction) e il BIC (Bayesian Information Criterion) definito dalle seguenti formule:
\begin{align*}
	AICC &= N\cdot \ln\frac{rss}{N}+N\cdot\frac{N+p}{N-p-2} \\
	BIC &= N\cdot \ln\frac{rss}{N}+p\cdot \ln(N)
\end{align*}
dove $rss$ (Residual Sum of Squares) è definito da $rss=\sum_{t=1}^N \varepsilon_{\theta}(t)^2$, mentre $N$ è il numero di misure e $p$ è l'ordine del parametro $\theta$ del modello.\\
Nel progetto in esame è stata implementata una routine nella quale viene considerato la classe dei modelli ARMAX. In un ciclo ad ogni passo viene aumentato l'ordine del parametro $\theta$ e vengono calcolati i valori dei due indici. Terminato il ciclo si controlla in relazione a quale ordine gli indici hanno raggiunto i valori minimi. Viene quindi rifatta l'identificazione PEM usando i rispettivi ordini ritenuti ottimi ottenendo due modelli che spesso si verificano aver ordine differente. Si noti però che per i due criteri considerati all'aumentare di $N$ la probabilità che la scelta dell'ordine sia sbagliato tende a zero (e quindi si dice che la selezione dell'ordine è consistente).\\

