Multimedia Information Retrieval

Question 1

Nicht-textuelle Dokumente

Answer 1

• automatisch erzeugte Annotationen meist nur syntaktische Informationen (Dateigröße, Pixelanzahl, Dauer, Bitrate)
• Semantische Information (Aussehen, Funktion/Einsatzzweck, Stil, Genre) manuell annotiert
• Sprache ist ungenau

Question 2

Ansatz Inhaltsbasierte Suche

Answer 2

• Eigenschaften ableiten, die die Dokumente (sinnvoll & semantisch) beschreiben
• Mathematische Deskriptoren werden aus dem Inhalt der Dokumente mit Hinblick auf diese Eigenschaften berechnet
• Ein Distanzmaß über diese Deskriptoren erlaubt einen inhaltlichen Vergleich der Dokumente

Question 3

Mathematische Beschreibung von Bildern

Answer 3

• Darstellung eines Bild als Funktion (r,g,b)
• Durchschnittsfarben-Feature-Vektor
• Distanz zwischen zwei Bildern mit euklidischem Abstand

Question 4

Distanzmaße

Answer 4

• Beschreibung von Dokumenten mittels Feature Vektoren
• Ähnlichkeitsbestimmung über Distanz der FV
• Welches Distanzmaß?
• Typische Distanzmaße (euklidische Distanz, City-Block) sind Metriken

Question 5

Distanzmaße - Metriken

Answer 5

• Menge S von Features und Metrik d: S x S -> R
• Metrik erfüllt:
  -> Nicht-Negativität d(x,y) >= 0
  -> Definitheit d(x,y) = 0 <-> x=y
  -> Symmetrie d(x,y) = d (y,x)
  -> Dreiecksungleichung d(x,y) <= d(x,z) + d(z,y)

Question 6

Query-Modalitäten

Answer 6

• Query by text
• Manuell annotierte Metadaten
• Darstellung als Zeichenfolge
• Algorithmisch gelernte Annotationen

Question 7

Query-Modalitäten: Text

Answer 7

• Eingabe: Notenscans/Audiofiles
• Zwischenschritt: MIDI Extraktion
• Output: Zeichenfolge
• Syntaktisch, nicht semantisch textuell
• gut für Suchindizes
• automatische Annotation
• gelabelte Daten
• ML
• Anwendung: image tagging, Übersetzungen

Question 8

Query Modalitäten: Example

Answer 8

• Suchen anhand eines Beispielobjekts
• ähnliche Objekte aus der DB holen
  -> Distanz der Feature Vektoren

Question 9

Query Modalitäten: Example - Bilder

Answer 9

• Suche anhand eines Beispielbildes
• Berechnung der n-D Feature Vektoren aller Bilder der DB
• Bestimmung der ähnlichsten Bilder mittels k-nearest-neighbors
• Cosine Distance

Question 10

Query Modalitäten: Sketch

Answer 10

• Kein Beispielobjekt erforderlich
• Nutzer hat Vorstellung davon, was er sucht
• Algorithmus Idee: Konvertierung der Objekte in Bilder, die Skizzen ähnlich sind
• Bilder: Canny-Edge-Alg.
• 3D Modelle: Non-photorealistic Render
• Problem: zeichnerische Fähigkeiten entscheidend

Question 11

Explorative Suche

Answer 11

• Im Vergleich zum Querying (Retrieval) Keine konkrete Suchanforderung
  -> Auffinden von interessanten Objekten
  -> Clustering für Überblick
  -> Details on Demand

Question 12

Explorative Suche - Research Data

Answer 12

• Riesige Datenmengen
• Textueller Zugang gegeben
• Funktionale Zusammenhänge der Daten mit FV beschreiben, Gruppierung, Scatterplots

Question 13

Metriken, die nicht (immer) der menschlichen Wahrnehmung entsprechen

Answer 13

• Dreieckungleichung
• Symmetrie

Question 14

Weitere Query Modalitäten

Answer 14

• Sing/hum
• Math
• Speech