Cours 5 Flashcards
(34 cards)
Le cortex inférotemporal –> La reconnaissance d’objets est rapide !
Des études indiquent que la reconnaissance d’objets se produit en aussi peu que 150 ms.
C’est un laps de temps si court qu’il ne peut pas y avoir beaucoup de rétroaction des zones cérébrales ultérieures.
Processus “feed-forward” : un processus qui effectue un calcul (par exemple, la reconnaissance d’objets) une étape neuronale après l’autre, sans avoir besoin de rétroaction d’une étape ultérieure à une étape antérieure.
Retour au pseudo-paradoxe de la perception
Si le monde est tel que nous le percevons, le cerveau est tel que nous le percevons;
Or 50% de la lumière visible ambiante traverse le médium oculaire * 20% traverse les cellules de la rétine * moins de 1% de l’information dans les récepteurs rétiniens sort des cellules ganglionnaires * 40% de l’information qui arrive dans le LGN le quitte pour V1 = moins de 0,04% de l’information dans la lumière visible parvient au cortex extrastrié;
Donc le monde n’est pas tel que nous le percevons.
–>bcp de perte d’information dans la rétine
au fur et a mesure quon avance dans le cortex, y,a d’avantage d’info qui est perdu
donc esque le monde est vrm comme on le percoit?
solution au pseudo-paradoxe + étude
solution au pseudo-paradoxe: le monde est dans une large mesure a l’interieur de notre cerveau donc le traitement que notre cerveau fait c’est notre construction du monde physique
Le monde est tel que nous le percevons, mais le monde est différent pour tous!
–>Les représentations d’objet (mesurées à l’aide d’apprentissage machine et de l’IRMf) sont unique aux individus et prédisent le comportement.
–>Mesure les représentations avec la Representational Similarity Analysis, puis compare les participants pour identifier les idiosyncrasies.
–>Les représentations d’objets dans le cortex IT peuvent être perçues comme une “empreinte” qui reflète nos différences individuelles en lien avec nos expériences uniques.
ce que ça veut dire
personnes qui se connaissent pas et doivent amener album photo genre photo de leur maison, leur main, leurs clés etc
on voulait voir si on pouvait identifier le participsnt et ses photos selon son patron d’activité en regardant les images
→ images reconnues ou pas? etc
en comparant les matrices les représentations sont uniques à chaque individu → une empreinte cérébrale unique à tous mm pour des objets pareils ou similaires
les scènes visuelles c’est compliqué..
scène visuelle du stade olympique
→ si on veut faire description complète faudrait aussi dire que y’a une skate park avec des skater, le ciel est bleu, y’a quelques nuages etc
slide 12
si on veut capturer la richesse d’une scène visuelle
slide 13
distinction entre segmenter les objets dans une scene ou une description riche qui depend du langage pour décrire une scène
Mouvements oculaires et diète visuelle
À chaque instant de notre vie, on échantillonne notre environnement environ trois à cinq fois par seconde par des mouvements oculaires saccadés.
–>chaque échantillon c’est une scène visuelle
Chaque fixation produit une scène, une riche collection d’objets, de surfaces, d’agents, de structures, de textures et de couleurs.
Différents types de scènes émergent, notamment séparées en deux catégories principales.
Deux catégories de scènes visuelles
Scènes Naturelles
Scènes artificielles
Scènes Naturelles
Paysages : Montagnes, forêts, plages, déserts, prairies. Ces scènes évoquent typiquement des émotions et souvenirs distincts, s’appuyant fortement sur l’agencement spatial, la couleur et les textures naturelles.
Étendues d’eau : Océans, lacs, rivières, chutes d’eau. Le mouvement de l’eau ajoute des aspects dynamiques à la perception des scènes, ainsi que des reflets et des paysages sonores uniques.
Conditions météorologiques : Journées ensoleillées, pluie, neige, brouillard. Les phénomènes atmosphériques ont un impact significatif sur notre perception des scènes, affectant la visibilité, les conditions de lumière et l’esthétique générale.
Biomes : Savanes, forêts tropicales, récifs coralliens. Reconnaître des biomes spécifiques implique d’intégrer des informations sur la végétation, la vie animale et les caractéristiques du terrain.
–>textures particulières pour des scènes naturelles vs artificielles
–>grande variabilité de scènes naturelles
Scènes artificielles
Environnements urbains : Rues, bâtiments, places, parcs. Ces scènes nécessitent le traitement de relations spatiales complexes, d’indices de navigation et d’interactions sociales.
Environnements intérieurs : Maisons, bureaux, cafés, bibliothèques. La reconnaissance implique de comprendre les activités humaines et la fonction des différents espaces en fonction du mobilier, de la décoration et de l’agencement.
Lieux culturels : Bâtiments religieux, monuments historiques, musées. Ces scènes déclenchent souvent des connaissances et émotions spécifiques associées à une importance culturelle.
Scènes dynamiques : Carrefours, marchés bondés, événements sportifs. Le traitement de ces scènes nécessite des changements rapides d’attention et l’intégration des informations de mouvement dans la compréhension de la scène.
–>dès que l’humain a mis la patte a construire des batiments ou arranger des choses genre mm un parc (mais avec des jeu d’enfant dedans genre)
→ plus de chance d’avoir interaction sociales dans ce genre de scènes
–>inclut la présence de dautres personnes
Différence entre reconnaissance des scènes et reconnaissance des objets
Impliquent deux processus cognitifs distincts, chacun jouant un rôle crucial dans notre interaction avec l’environnement.
La principale différence entre ces deux processus réside dans la manière dont notre cerveau traite et interprète les informations visuelles.
Reconnaissance d’objets
Ce processus implique l’identification et la catégorisation d’éléments individuels dans notre champ visuel, tels que des objets, des personnes ou des animaux.
La reconnaissance d’objets se concentre sur les caractéristiques spécifiques de ces éléments:
-la forme,
-la taille,
-la couleur,
-la texture
C’est par le traitement de ces caractéristiques que l’on peut distinguer les objets les uns des autres.
–>pour la recon d’objets on va id l’objet dans la scène (encadrés sur objets → teintés de couleur différente pour montrer catégories différentes)
ce genre de tâche d’id d’objet c’est une tâche très utilisée dans réseaux de neurones, modèles computationnels
en traitant toutes les carct on id les objets
Reconnaissance de scènes
Contrairement à la reconnaissance d’objets, la reconnaissance des scènes englobe une compréhension plus large et plus globale de l’environnement visuel.
Elle ne se limite pas à identifier des éléments individuels, mais inclut également l’interprétation du contexte, la compréhension des relations spatiales entre les objets, et la capacité à saisir le sens global ou l’essence d’un environnement.
Les scènes sont souvent complexes et contiennent de multiples objets qui interagissent dans un espace partagé, ce qui nécessite une intégration des informations visuelles à un niveau supérieur.
–>une scènes est plus grande que la somme des objets qui la forme
donc pas juste id tous les objets mais aussi une interpretation de la scène
pas évident a modeliser genre sur ordi
plus complexe que la présence simple d’objets dans une scène
Rôle du contexte dans la recon des scènes
Le contexte:
Joue un rôle crucial dans la reconnaissance des scènes, car il fournit des informations supplémentaires qui aident à interpréter les objets dans leur environnement.
–>Par exemple, voir une tasse sur une table dans une cuisine est attendu, ce qui facilite la reconnaissance de la scène comme une cuisine.
Aide à prédire quels objets sont susceptibles d’être présents et comment ils sont disposés, améliorant ainsi notre capacité à comprendre et à interagir avec notre environnement.
–>le contexte guide notre recon
contexte va fournir infos supplémentaires qui aident a l’interpretation de la scène et des objets
si objets sont dynamiques on a peu de temps pour id les objet mias le contexte peut nous aider a reconnaitre
ex: auto arrive vite mais le fait quon est dans la rue, scène urbaine nous aide a savoir c’est auto
Rôle des relations spatiales dans la recon de scènes
Les relations spatiales :
Font référence à la disposition et à l’organisation des objets dans l’espace.
Comprendre la disposition des objets est essentiel pour interpréter une scène.
Ces relations aident à déterminer la structure d’une scène et à comprendre comment naviguer ou interagir avec l’environnement.
–> Par exemple, la reconnaissance qu’une chaise est sous une table peut indiquer un espace de salle à manger et influencer notre interaction avec cet espace (par exemple, en tirant la chaise pour s’asseoir).
–>ex: craie à grande probabilité de se retrouver porche du tableau
comment les choses sont disposées va jouer role dans la compréhension de la scène
Théories de la reconnaissance des scènes noms
- Théorie des affordances :
Théories autour du traitement de l’information :
2.Images intrinsèques (Harrow et Tenenbaum, 1978)
3. Relations d’objets ou de composantes (Biedermann, 1982)
4. Propriétés de l’enveloppe spatiale (scene gist) (GIST; Oliva & Torralba, 2001):
- Grammaire de la scène
Théorie des affordances :
James J. Gibson
Cette théorie met l’accent sur l’information “affordée” par l’environnement pour l’action.
La reconnaissance des scènes ne se base pas sur une analyse détaillée des éléments visuels, mais sur la perception des affordances, c’est-à-dire les possibilités d’action offertes par l’environnement.
Cette théorie explique bien la rapidité et l’efficacité de la reconnaissance des scènes dans la vie quotidienne.
Cependant, elle ne prend pas en compte la capacité à reconnaître des scènes complexes ou ambiguës.
–>les scènes nous suggèrent des choses dans notre environnement
–>les possibilités d’action offertes par l’environnement
NOTES CHAT
🌿 Qu’est-ce qu’une “affordance” ?
Une affordance, selon James Gibson (le psychologue qui a développé cette théorie), c’est une possibilité d’action offerte par l’environnement.
Exemples simples :
Une chaise “afforde” (offre) la possibilité de s’asseoir.
Une poignée “afforde” la possibilité d’être tirée ou poussée.
Une rampe “afforde” la possibilité de glisser ou de marcher dessus.
Ces possibilités ne dépendent pas seulement de l’objet, mais aussi de l’observateur (ex: un bébé ne peut pas s’asseoir sur une chaise haute — l’affordance est là, mais pas accessible pour lui).
🎯 1. L’environnement “afforde” de l’information utile à l’action
Plutôt que d’analyser chaque détail d’un objet ou d’une scène, notre cerveau perçoit directement ce qu’on peut faire avec ce qu’on voit.
→ L’environnement est perçu en termes d’opportunités d’action, pas juste comme une image passive.
Exemple :
Quand tu entres dans une cuisine, tu reconnais vite que tu peux ouvrir le frigo, allumer la lumière, t’asseoir à la table — sans analyser chaque objet un par un.
👁 2. Reconnaissance rapide des scènes basée sur les affordances
On ne reconnaît pas une scène parce qu’on identifie précisément chaque objet (ex: “voici une table, une chaise, un four…”).
On la reconnaît car on perçoit directement les actions possibles : cuisiner, s’asseoir, ranger, etc.
→ Cela explique pourquoi on peut reconnaître une scène très rapidement, même si on voit peu de détails ou si l’image est floue.
Théorie des images intrinsèques :
Harry Barrow
Une image peut être décomposée en un ensemble d’« images intrinsèques », chacune représentant une propriété fondamentale de la scène qu’elle dépeint.
Ces propriétés incluent :
1. Réflectance : La proportion de lumière réfléchie par les surfaces de la scène (albédo).
2. Illumination : La quantité et la direction de la lumière tombant sur les surfaces.
3. Distance : La distance des surfaces par rapport à la caméra (profondeur).
NOTES
🧩 C’est quoi une “image intrinsèque” ?
La théorie des images intrinsèques (ou intrinsic image theory) propose que lorsqu’on regarde une image (photo, scène visuelle), notre cerveau essaie de séparer cette image en différentes couches fondamentales qui correspondent aux propriétés physiques réelles de la scène.
➡️ Une seule image qu’on voit contient plusieurs types d’informations enchevêtrées, que notre système visuel doit “démêler”.
🎨 Les 3 composantes principales d’une image (intrinsèques)
🌟 Réflectance (ou albédo)
C’est la quantité de lumière réfléchie par une surface, indépendamment de l’éclairage.
C’est ce qui fait que, par exemple, une feuille blanche reste blanche, que la lumière soit forte ou faible.
Elle correspond à la couleur réelle ou propriété matérielle de l’objet.
🔹 Exemple : Un mur blanc réfléchit beaucoup de lumière (haute réflectance), alors qu’un mur noir en réfléchit peu (basse réflectance), même si les deux sont éclairés pareil.
💡 Illumination
C’est la quantité et la direction de la lumière qui tombe sur chaque point de la scène.
Elle dépend de la source lumineuse (soleil, lampe, etc.).
Elle crée des ombres, reflets, brillances, mais ne fait pas partie de la couleur réelle de l’objet.
🔹 Exemple : Si une lampe éclaire un objet par la droite, le côté gauche sera dans l’ombre — ce n’est pas dû à la couleur de l’objet, mais à l’illumination.
📏 Distance (ou profondeur)
C’est la distance entre la caméra (ou les yeux) et les différents points de la scène.
Cela permet de reconstruire une carte de profondeur de l’image, c’est-à-dire une sorte de “version 3D” de la scène.
🔹 Exemple : Les objets proches apparaissent plus nets et plus grands que les objets éloignés.
🧠 Pourquoi c’est important ?
Quand tu regardes une scène, ton cerveau essaie automatiquement de reconstituer ces trois composantes pour mieux comprendre ce qu’il voit.
Exemple :
Si tu vois un objet sombre, ton cerveau évalue :
→ Est-ce sa vraie couleur (faible réflectance) ?
→ Ou est-il juste mal éclairé (basse illumination) ?
→ Ou est-il loin, donc paraît plus sombre à cause de la distance ?
Ce traitement complexe aide à percevoir la scène de manière plus fidèle à la réalité, même si les conditions visuelles (lumière, distance…) changent.
Théorie des composantes :
Irving Biederman (1939 - 2022)
Tout comme dans la reconnaissance des objets, la théorie des composantes de Biederman joue un rôle dans la reconnaissance des scènes.
On peut reconnaître une scène rapidement de par les relations entre les objets qui la constituent.
–>les objets jouent un rôle dans la recon des scènes
–>comme on peut construire tt objets avec géons bin on peut construire, reconnaître une scènes par ses objets et les relations entre objets
5 classes de relations entre les objets:
- l’Interposition (les objets interrompent leur arrière-plan).
- le Support (les objets ont tendance à reposer sur des surfaces).
- la Probabilité (les objets ont tendance à se trouver dans certaines scènes mais pas dans d’autres).
- la Position (étant donné qu’un objet est probable dans une scène, il est souvent trouvé dans certaines positions et pas dans d’autres).
- la Taille familière (les objets ont un ensemble limité de relations de taille avec d’autres objets).
théorie de Propriétés de l’enveloppe spatiale (scene gist)
Aude Oliva
image hybride ou les hautes fréquence spatiale D’une image sont superposées sur les basses fréquences spatiales d’une autre image
dépendamment d’où on est proche ou loin on va voire les hautes fréquences ou les basses fréquences
–>on peut calculer à partir des images le GIST
–> repose pas sur la segmentation, le traitement d’objet mais sur la qualité globale de la scène
Un modèle computationnel de la reconnaissance de scènes du monde réel qui ne repose pas sur la segmentation et le traitement d’objets ou de régions individuels.
Identifie un ensemble de dimensions perceptuelles (naturalité, ouverture, rugosité, expansion, rudesse) qui représentent la structure spatiale dominante d’une scène.
Ces dimensions peuvent être estimées de manière fiable en utilisant des informations spectrales et grossièrement localisées.
Le modèle génère un espace multidimensionnel dans lequel les scènes partageant une appartenance à des catégories sémantiques (par exemple, rues, autoroutes, côtes) sont projetées à proximité les unes des autres.
La performance du modèle d’enveloppe spatiale montre que des informations spécifiques sur la forme ou l’identité des objets ne sont pas une exigence pour la catégorisation des scènes et que la modélisation d’une représentation holistique de la scène informe sur sa catégorie sémantique probable.
–>model qui fonctionne sans avoir recours aux objets qui constituent la scène ou l’identification de ces objets
NOTES
🧠 Qu’est-ce que le “scene gist” ?
Le “gist” d’une scène, c’est l’impression générale ou globale qu’on perçoit très rapidement en voyant une image — souvent en moins de 100 ms.
➡️ On n’a pas besoin d’identifier les objets individuellement : notre cerveau capte l’ambiance visuelle, la structure globale, et classe immédiatement la scène (ex: “plage”, “forêt”, “ville”, “intérieur”).
🖼️ Images hybrides et fréquences spatiales
Une image visuelle contient différentes fréquences spatiales :
Basses fréquences : donnent une vue floue, globale, les formes générales (ex : masses, volumes, horizons).
Hautes fréquences : donnent les détails fins, les contours, les textures.
🔄 Images hybrides : On peut superposer les basses fréquences d’une image (A) avec les hautes fréquences d’une autre (B).
👀 Résultat :
De loin, on voit surtout l’image A (basses fréquences).
De près, on perçoit surtout l’image B (hautes fréquences).
➡️ Cela montre que le gist dépend fortement des basses fréquences, car c’est ce qu’on capte en premier, de loin ou très rapidement.
🧩 Pas besoin d’analyser les objets un par un
Contrairement à d’autres théories, ici :
On ne segmente pas la scène (pas de découpage en objets).
On ne reconnaît pas chaque objet pour comprendre la scène.
👉 On se base uniquement sur la structure globale, les propriétés spatiales.
📊 Le modèle de l’enveloppe spatiale (Spatial Envelope Model)
Un modèle computationnel (par Oliva & Torralba) propose qu’on peut représenter chaque scène avec quelques dimensions perceptuelles globales :
Les principales dimensions :
Naturalité (nature vs artificiel)
Ouverture (espace ouvert ou fermé)
Rugosité (complexité de la texture, ex : forêt dense vs plage lisse)
Expansion (profondeur perçue)
Rudesse (variabilité dans la surface, angles abrupts, obstacles…)
➡️ Ces dimensions peuvent être calculées directement à partir de l’image, grâce à l’analyse des fréquences spatiales (traitement global de l’image, sans identification d’objets).
🗺️ Espace multidimensionnel des scènes
En combinant ces dimensions, on peut créer un espace perceptuel, dans lequel :
Les scènes similaires (ex : “autoroutes”, “rues”) sont proches les unes des autres.
Les scènes très différentes (ex : “forêt” vs “bureau”) sont éloignées.
➡️ Cela permet au cerveau ou à un modèle informatique de catégoriser une scène sans jamais reconnaître d’objets précis.
théorie de la Grammaire de la scène
Melissa Võ
Désigne les règles structurelles et les relations sémantiques au sein d’une scène qui guident notre perception et compréhension.
Elle nous permet de déchiffrer des scènes complexes en identifiant comment les objets interagissent et se rapportent les uns aux autres dans des contextes spécifiques.
Ce concept aide à expliquer notre capacité à interpréter rapidement les scènes, à reconnaître les anomalies et à anticiper la position des objets, même dans des
environnements inconnus.
La grammaire de scène joue un rôle clé dans l’allocation de l’attention, la mémoire des objets et de leurs emplacements, et le traitement cognitif des informations visuelles.
–>règles structurelles, des relations sémantiques au sein d’une scènes qui guident notre perception
ces connaissances la nous aident à reconnaître les scènes et les anomalies
théorie de la Grammaire de la scène ex et expérience –> trouvez la craie
a cause de notre connaissance de la grammaire on saitr que la craie sera proche du tableau et non sur le plafond ou proche de la fenetre
résultats
Seulement 14% de la scène est couverte. Donc une économie de 86%!
–>donc 86% de la scène qui est complètement ignorée!!
Notre connaissance de la localisation habituelle des objets dans une scène nous permet de faire des prédictions efficaces et très rapides.
Vitesse de la reconnaissance des scènes: Rapid Serial Visual Presentation :
Mary C (Molly) Potter
Avec seulement 13 ms de présentation, on peut facilement détecter dans une séquence rapide de scènes, la scène du mariage.
Dans cet exemple, par contre, il est nécessaire de connaître d’abord la cible.
Les travaux de Molly Potter ont un impact majeur dans notre compréhension de la reconnaissance des scènes.
–>présentation visuelle sérielles rapide en francais
la première fois on a pas nécessairement vu la scène de mariage mais la deuxième fois quand ont avait ce qu’on cherche on le trouve vrm plus facilement donc nécessaire de d’abord connaître la cible pour l’identifier
le clignement attentionnel utilise une forme de rsvp
Le cerveau a besoin de moins de… X ms pour différencier des scènes de différentes catégories. ET
150 ms!
et
En moins de 120 ms, une saccade oculaire est faite vers la scène d’une catégorie spécifique.
ex de l’oiseau vs scène de lac
Simon Thorpe
Bases neuronales de la reconnaissance des scènes
Régions cérébrales impliquées:
- Lobe occipital: Traite les informations visuelles de base comme les lignes, les couleurs et les textures. Les premières étapes du traitement de la scène se déroulent ici.
–>traitement des scènes se fait dans le lobe occipital
du V1 jusquau cortex infero
–> au v1 les barre, au V4 forme géométriques non cartésiennes, cortex postérieur du cortex infero des composantes d’ibjets puis infero compréhension plus sémantique des scènes - Cortex parahippocampique: Joue un rôle crucial dans le traitement de la disposition de la scène, des relations spatiales et de l’essence d’une scène.
–>cortex parahippocampique répond de manière préférentielle aux scènes
PPA->parahippocampal place area –Russel Epstein et Nancy Kanwisher - Cortex inférotemporal: Impliqué dans la reconnaissance d’objets et contribue à la compréhension de la scène en identifiant les objets dans la scène.
➡️ Donc, non, il ne construit pas directement une compréhension globale ou narrative de la scène (comme une phrase descriptive).
Il détecte et identifie les objets, point par point, mais sans nécessairement comprendre leur relation entre eux ou le contexte global. - Cortex rétrosplénien: Intègre les informations spatiales de différentes zones, facilitant la navigation et la compréhension de la scène.
–>à côté du PPA
–>PPA: Reconnaissance des lieux, scènes visuelles
Rétrosplénien: Intégration spatiale, orientation, contextualisation - Cortex préfrontal médian: Intègre divers aspects du traitement de la scène (objets, disposition spatiale, contexte) avec les connaissances et les souvenirs antérieurs, ce qui permet la compréhension de la scène. !!!! important
PPA et variation de dimensions de la scène étude
on va faire varier plusieurs dimensions de la scène ex: nombre d’objets, complexité visuelle ou s.menatique ex scène avec du mobilier ou scène vide
mais ce qui compte c’est l’arrangement spatial (pour le PPA) donc concept de la grammaire de la scène
