\section{glars}
\label{glars}
Quando tutti i fattori ( $Y=\sum_{j=1}^{J} X_j \beta_j + \varepsilon$ ) hanno lo stesso numero di variabili di input derivati $(p_1= \ldots =p_j)$ una naturale estensione del LARS per la selezione fattore che mantiene la proprietà di linearità a tratti del percorso di soluzione è la seguente: definire l'angolo $\theta(r,X)$, definito come l'angolo compreso tra r (vettore di $n$ elementi) ed il fattore rappresentato da $X_j$, che acquista il senso dell'angolo tra il vettore r e lo spazio generato dalle colonne di $X_j$, ovviamente è di più facile comprensione interpretare l'angolo $\theta(r,X)$ come l'angolo tra $r$ e la sua proiezione $r_{X_j}$ sullo spazio generato da $X_j$.

Dunque il $\cos^2 \{ \theta (r,X) \}$ è proporzionale alla somma dei quadrati delle variazioni in $r$ ( è proporzionale alla proiezione $r_{X_j}$ ), che è motivato dalla regressione di $X_j$, $R^2$  
Finché $X_j$ è ortonormale si ha che

\begin{equation}
	Y=\sum_{j=1}^{} X_j \beta_j + \varepsilon .
	\label{y}
\end{equation}

Iniziando  con tutti i coefficienti vettoriali posti a zero, group LARS trova il fattore (che chiameremo $X_{j1}$) che è l'angolo più piccolo tra $Y$ e la proiezione di $Y$ nello spazio creato dagli altri fattori (che chiameremo X_{j2}) che hanno un angolo più piccolo con il corrente residuo,

\begin{equation}
\cos^2 \{ \theta (r,X) \}=||X_j'r||^2/||r||^2
\end{equation}

dove $r$ è il corrente residuo. A questo punto la proiezione del corrente residuo nello spazio generato dalle colonne di  $X_j1$ e di $X_j2$ ha lo stesso angolo con i due fattori ed il group LARS procede in questa direzione. Groups LLARS continua in questa direzione finché il residuo con $X_j3$ non è maggiormente correlato. Group Lars continua come il suo spigato precedentemente nel LARS ad avanzare finchè non trova uno spazio maggiormente correlto e a questo punto aggiorna la sua direzione. Il lettore avrà capito che 


\begin{equation}
||X_{j1}'r||^2=||X_{j2}'r||^2
\end{equation}


Per riassumere, la nostra versione a gruppi dell'algoritmo LARS procede nella seguente maniera:

\begin{itemize}
	\item Passo 1: si inizia con $\beta^{[0]}=0$, $k=1$ e $r^{[0]}=Y$.
	\item Passo 2: si calcola il vettore maggiormente correlato
	
	\begin{equation}
			\mathcal{A}_1=\arg \max_{j} ||X_j' r{[k-1]}||^2/p_j.
	\end{equation}
	
\item Passo 3: si calcola la direzione corrente $\gamma$ come $p=\sum p_j$	vettore di dimensione con $\gamma \mathcal{A}^{c}_{k}=0$
	\begin{equation}
		\gamma_{\mathcal{A}_k}=(X'_{\mathcal{A}_k} X_{\mathcal{A}_k})X'_{\mathcal{A}_k} r^{[k-1]}		
	\end{equation}
	dove $X_{\mathcal{A}_k}$ denota la matrice che comprende le colonne di $X$ corrispondenti a $\mathcal{A}_k$.
	\item Passo 4:
		\begin{equation}
		||X'_j(r^{[k-1]}-\alpha_j X \gamma)||^2/p_j=||X'_{j'}(r^{[k-1]}-\alpha_{j'} X \gamma)||^2/p_{j'}
		\label{XP}
	\end{equation}
	dove $j'$ è arbitrariamente scelto da $\mathcal{A}_k$.
	\item Passo 5: se $\mathcal{A}_k \neq \{1, \ldots , J \} $, si prende $\alpha= \min_{j \notin \mathcal{A}_k}(\alpha_j)\equiv \alpha_{j^*}$ e si aggiorna $\mathcal{A}_{k+1}=\mathcal{A}\cup \{j^* \}$; altrimenti si imposta $\alpha=1$.
	\item Passo 6: si aggiorna $\beta^{[k]}=\beta^{[k-1]}+ \alpha \gamma$, $r^{[k]}=Y-X \beta^{[k]}$ e $k=k+1$. Si torna al passo 3 finché non si ottiene $\alpha=1$.
\end{itemize}


L'equazione \ref{XP} è una equazione quadratica di $\alpha_j$ che può essere risolta facilmente. Finché $j'$ è il vettore maggiormente correlato, la parte sinistra dell'equazione è minore rispetto alla parte destra nel caso in cui $\alpha_j=0$. Comunque in accordo con la definizione di $\gamma$ , il lato destro dell'equazione \ref{XP} è zero quando $\alpha_j=1$. Per cui all'ultima iterazione la soluzione di \ref{XP} deve essere compresa tra 0 e 1. In altre parole $\alpha_j$ al passo 4 è sempre ben definita. L'algoritmo si ferma solo al raggiungimento di $\alpha_j=1$, a quel punto il residuo sarà ortogonale con tutte le colonne di $X$ perciò la soluzione dopo l'ultimo passo è la stima ai minimi quadrati, con probabilità 1 che viene raggiunta in J passi.

