Spårning av ansiktsfunktioner är en viktig del av avbildande ballistokardiografi (BCG) där förskjutningen av ansiktets nyckelpunkter måste kvantifieras noggrant för att ge en bra uppskattning av hjärtfrekvensen. Spårning av huddrag gör det också möjligt att videobaserat kvantifiera motorisk försämring på grund av demens vid Parkinsons sjukdom.
Under de senaste fem åren har djupa konvolutionella neurala nätverk överträffat traditionella metoder för de flesta datorseende uppgifter. Vi föreslår en pipeline för spårning av funktioner som tillämpar en konvolutionell staplad autoenkoder för att identifiera de mest framträdande grödorna i en bild och matcha dem med en andra bild. Autoenkodern lär sig att representera bildens beskärningar i djupa funktionskodningar som är specifika för den objektkategori som den tränas på, vilket gör den bättre för tillämpningsspecifika fall.
Vi tränar autoenkodern på ansiktsbilder och validerar dess förmåga att spåra huddrag med hjälp av manuellt märkta ansikts- och handvideor. Spårningsfelen för distinkta huddrag (moln) är så små att vi inte kan utesluta att de härrör från den manuella märkningen baserat på ett χ2-test. Vår metod uppnådde ett lägre medelfel än de andra metoderna i alla scenarier utom ett. Ännu viktigare är att vår metod, till skillnad från alla andra spårningsmetoder, var den enda som inte avvek i något scenario.
Dessa resultat visar att vår metod skapar bättre funktionsdeskriptorer för funktionsspårning, funktionsmatchning och bildregistrering än de traditionella algoritmerna.
Jose Chang, doktorand vid avdelningen för maskinteknik, National Cheng Kung University.