Reti neurali - Risoluzione gioco numerico

[pinklady]

Non ho capito la tua frase...
Noi abbiamo in ogni riga 10 componenti, 9 corrispondono alle caselle, l'ultima alla vittoria o meno della x.

[dimaios]

Si ma puoi anche associare ad ogni riga colonna e diagonale una funzione indicatrice per la vittoria o perdita.
Sono due modi per approcciare allo stesso problema ..... divide et impera!

[pinklady]

Ah ecco capisco, non avevo pensato a questa possibilità...
Ora vediamo cosa riusciamo a fare e poi metterò qualche aggiornamento ;)

[dimaios]

[pinklady]

Aggiornamenti...
La rete ha ottenuto un errore quadratico medio dell'ordine di 10^-2, abbastanza scarso rispetto a ciò che ci aspettavamo, però è anche giustificabile dallo scarso numero di partite. Vorrei sapere cosa secondo voi si poteva cambiare per ottenere risultati migliori. Qualcuno mi aveva parlato di Support Vector Machines (SVM), a noi è venuta in mente anche la Principal Component Analysis (PCA), ma dovremmo motivare queste scelte...

[dimaios]

Sono due cose completamente diverse. Se hai sintetizzato una rete neurale è più coerente confrontarla con una SVM. Esprimi meglio lo scopo per cui vuoi cambiare struttura o trasformazione. Sicura che l'algoritmo di training sia stato alimentato con un set di dati significativo?

[pinklady]

Le partite vinte erano 626 nella matrice base, si è deciso di usare solo le vinte per addestrarla meglio. Poi siccome c'erano dei doppioni si sono ridotte a 490. Come training ne abbiamo scelte 200. Ovviamente non sono tante, ma pensavamo di ottenere errori più contenuti, invece siamo a 10^-1, troppo elevato... Quindi dici che citare le PCA non sia opportuno?

[dimaios]

Non conosco i dettagli implementativi della tua soluzione.
Probabilmente in base a qualche criterio avrai scelto il numero di neuroni e li avrai collegati ottenendo una certa struttura della rete.

Poi hai eseguito il training della rete con un algoritmo tipo backward propagation.

Hai provato a cambiare il numero dei neuroni ?
Hai provato a collegarli in modo alternativo creando una struttura diversa ?
Hai provato ad addestrare la rete con un algoritmo diverso ? ( quest'ultimo passaggio e' importante solo in certi contesti per cui anche evitabile in prima istanza ... magari lo fai dopo, consideralo come una possibilita'. ).

Se si, allora passerei ad un'altra tecnica tipo SVM per vedere se riesco ad ottenere un risultato migliore.

Non ho ben compreso in che contesto vorresti impiegare la PCA, ovvero se congiunta alla rete neurale o come approccio alternativo indipendente dalla prima soluzione.

[pinklady]

Si abbiamo messo prima 30, poi 50 neuroni nascosti, con 9 neuroni in ingresso e 9 in uscita.
Strutture diverse o algoritmi diversi non ne abbiamo provato.
Dovremmo semplicemente dire perché una soluzione alternativa potrebbe essere migliore, senza però averne fatto tutte le prove e dimostrazioni, perché già è abbastanza complesso così... Solo che queste tecniche le abbiamo accennate, ma non sappiamo bene come usarle, quindi sarebbe solo da descrivere a voce.
La PCA era intesa come soluzione alternativa.
Poi vabbé la presentazione della tesina è domani, dunque se non ci viene in mente nulla non parleremo di queste alternative