valutazione motori ricerca Flashcards
(10 cards)
cos’è una matrice di confusione? su cosa viene costruita nel caso della valutazione di motori di ricerca?
una matrice di confusione è uno strumento di valutazione che viene costruito, in questo caso, andando a valutare le intersezioni fra gli elementi effettivamente ritornati e quelli rilevanti.
quali sono i possibili 4 casi della matrice di confusione che si può usare per calcolare la bontà di un motore di ricerca
veri positivi -> intersezione fra rilevanti e ritornati
veri negativi -> intersezione non rilevanti e non ritornati
falsi positivi -> intersezione non rilevanti e ritornati
falsi negativi -> intersezione rilevanti e non ritornati
cosa sono precision e recall in questo caso?
recall -> elementi ritornati intersecati elementi importanti / elementi ritornati -> se ritorno tutto -> 1
precision -> elementi ritornati intersecati elmenti importanti / elementi importanti -> se non ritorno nulla -> 1
cos’è f1-score?come si calcola? perchè si calcola così?
si calcola come media armonica fra precision e recall; permette di avere un idea sul rapporto di questi; si usa la media armonica in quanto con la media aritmetica sarebbe banale ottenere un f1-score di uno ( recall 1, precision 0 o viceversa; in questo modo invece uno zero distrugge il punteggio
che tipo di misure si rivelano più utili per la valutazioen dei sistemi rispetto a c’è/non c’è?
tutte quelle misure che si basano sull’ordine con cui sono ritornati i risultati
cos’è la MAP? come funziona
mean average precision, consiste nel applicare la precisione ogni elemento considerato e ritornare la precisione su questi. (curva precision-recall) un errore all’inizio è molto + rilevante in quanto continuo a portarmelo dietro. di solito viene fatta una IMAP (interpoleted map ) e si calcola la precision ogni decile per esempio ( così si evitano fluttuazioni particolari)
cos’è MRR? come funziona?
MRR è mean reciprocal rank, il punteggio ritornato è 1 se la pagina cercata è la prima, 1/2 se la seconda, 1/3 se la terza e così via (credo)
cos’è normalized discounted cumulative gain?
una tecnica di valutazione per la quale ad ogni elemento viene associato un punteggio. sommo il punteggio degli elementi ritornati; la variante discounted prevede dividere tutto per (1+log i) dove i è la posizione in cui è tornato il sito. la variante normalized prevede di dividere l’intero risultato per un punteggio ideale
come assegno punteggio ad un sito in base ad una query?
due opzioni : se ho motore di ricerca monitoro i click e utilizzo euristiche basate su quelli (l’utente esce subito dal sito -> scarso).
in alternativa posso utilizzare dell’information retrivial per la quale ho un algoritmo di intelligenza artificiale fortissimo che calcola gli score in anticipo e che vengono utilizzati al momento della richiesta dell’utente.
cos’è il pulling?
metodologia per la quale per valutare dei motori di ricerva prendo i primi tot risultati di diversi motori, li inseirsco in un insieme, assegno un punteggio solo agli elementi di sto insieme e poi calcolo il punteggio dei singoli motori in base ai risultati che avevano tornato in precedenza
