Learning systems

From Carls wiki

Therese tentapluggar och skriver sammanfattande anteckningar om hela kursen.

Contents 1 Beslutsteori 2 Visualisering 3 Regression 4 Gömda Markovmodeller (HMM) 5 Generaliseringsproblemet 6 Markov Chain Monte Carlo

Beslutsteori

• KNN — K-Nearest-Neighbour (wp)
• Diskriminantfunktion — poängräknare, minimera felsannolikhet
• Täthetsskattning
  • MAP (wp)
  • Laplaces Rule of Succession (Rule of succession, Sunrise problem)
    • (n₁ + T)/(N + L_r)
• Marginalisering — medelvärdesbilda, integral
• Skattning (wp)
  1. Parametrisk
  2. Icke-parametrisk

Visualisering

• Klustring (wp)
  1. Hierarkisk
     • Dendrogram — visar hur exempel grupperas i ett kluster (wp)
     • d_min, d_max kallas?
  2. Modellbaserad
     • KMC — K-Means Clustering — finner lämpliga m
• PCA — projicera x på underrum incipal_components_analysis|wp]])
  • A = (a₁, ... , a_M), y = A^tr(x-m), x med hatt = m + Ay
  • C = E[(x-m)(x-m)^tr] → evä
  • Egenskaper? (Viktigt)
• Fishers linjära diskriminantfunktion — se hur separerbara klasser är (wp)

Regression

• Linjärregression — tillgång till träningsdata, känner ej p(y, x) (wp)
  • Image:LinearRegressionFormula.png
  • OLS (Ordinary Least Squares) — väntevärdesriktighet på â (wp)
  • Ridge Regression (RR) â ej längre väntevärdesriktig (wp)
  • PCR — Principal Component Regression
• Olinjär regression (wp)
  • RBF — Radiella BasFunktioner — snabbt hittar w (wp)
  • Träning (parametertest)
• MLP — MultiLayer Perceptron (ANN, Perceptron)
  • Error Backpropagation (wp)
  • Bestäm lämplig modellstruktur — exempelvis med "leave-one-out" (wp)
  • Perceptronregeln — går att träna perceptronen till att lösa linjärt separerbara problem
  • Sigmoidfunktioner (wp)
  • Träning (wp)
    • Gradientmetoden (wp)
    • Newtons metod (wp)
  • UFAT — Universella FunktionsApproximationsTeoremet
  • Klassificeringsproblemet — kräver 3 lager

Gömda Markovmodeller (HMM)

• Hidden Markov model
• Beror endast på tillståndet innan (Markov chain, Memorylessness)
• Skilj på observation och tillstånd
• Sekvensgenerering
• Standardmodellen
• Algoritmer
  • Framåtalgoritmen — rekursion
  • Viterbi — rekursion, dynamisk programmering, träning (wp) — använder framåtalgoritmen
  • Baum-Welch (wp) — även kallad alfa/beta-algoritmen

Generaliseringsproblemet

• Regressionsproblem (wp)
• Bias/Variance dilemma (demo)
  • Regularisering — inför straffterm i träning
  • Validering
• Bayesiansk inferens — y = h(x) + e
  • Känt eller okänt gradtal

Markov Chain Monte Carlo

• MCMC
• Gibbs sampling (wp)
• Metropolis-Hastings (wp)

• Simulated annealing (wp)