Big data och analys av högdimensionella data

Om kursen

Moment 1 (2 hp): Teori.
I momentet diskuteras vad som karakteriserar big data och högdimensionella data, inkluderande en historisk bakgrund och exempel på tillämpningar. Regressionsanalys inklusive maximum likelihood- och minsta kvadratmetoderna repeteras. Det generella klassificeringsproblemet introduceras. Mål med klassificering och hur prestanda mäts diskuteras. Vidare ingår valideringsmetoder, inklusive korsvalidering och utvärdering med hjälp av oberoende testdata. Teori för, och tillämpningar av logistisk regressionsanalys samt linjär och kvadratisk diskriminantanalys (LDA respektive QDA) tas upp. Variabelselektion för klassificeringsproblem, ridge regression, lasso, och principalkomponentanalys (PCA) behandlas, samt hur dessa metoder kan användas tillsammans med logistisk regression, LDA och QDA. Programspråket R och intressanta programbibliotek introduceras, inkluderande diskussion av ett genomarbetat exempel innehållande variabelselektion, klassificering och evaluering. Vidare ingår metoderna "K-nearest neighbour" (KNN), "support vector machines" (SVM) och "random forest". Det generella klusteranalysproblemet introduceras. Mål med klusteranalys och hur prestanda (robusthet) mäts diskuteras. I samband med detta behandlas hierarkisk klusteranalys, "k-means" och "self-organizing maps" (SOM).
 
Moment 2 (5.5 hp) Datorlaborationer.
I momentet ingår analys av flera datamaterial med hjälp av de i kursen ingående statistiska metoderna. Analyserna utförs i programspråket R. I momentet ingår omfattande skriftliga redogörelser av analyserna och dess resultat.

I en examen får denna kurs ej ingå tillsammans med en annan kurs med likartat innehåll. Vid osäkerhet bör den studerande rådfråga studierektor i matematik och matematisk statistik. Kursen kan ingå i en examen som en kurs i huvudområdet beräkningsteknik