cours 8 - perception des scènes Flashcards
explique comment on voit une scène
À chaque instant de notre vie, on échantillonne notre environnement environ trois à cinq fois par seconde par des mouvements oculaires saccadés.
● Chaque fixation produit une scène, une riche collection d’objets, de surfaces, d’agents, de structures, de textures et de couleurs.
à chaque arrêt sur l’image (la fovéa arrete sur l’image) on parle d’une scène visuelle
quelles sont les 2 catégories de scènes visuelles
scènes naturelles et scènes articificielles (construitent par l’humain)
quelles sont les scènes artificielles (4)
● Environnements urbains : Rues, bâtiments, places, parcs. Ces scènes nécessitent le traitement de relations spatiales complexes, d’indices de navigation et d’interactions sociales.
● Environnements intérieurs : Maisons, bureaux, cafés, bibliothèques. La reconnaissance implique de comprendre les activités humaines et la fonction des différents espaces en fonction du mobilier, de la décoration et de l’agencement.
● Lieux culturels : Bâtiments religieux, monuments historiques, musées. Ces scènes déclenchent souvent des connaissances et émotions spécifiques associées à une importance culturelle.
● Scènes dynamiques : Carrefours, marchés bondés, événements sportifs. Le traitement de ces scènes nécessite des changements rapides d’attention et l’intégration des informations de mouvement dans la compréhension de la scène.
quelles sont les scènes naturelles (4)
● Paysages : Montagnes, forêts, plages, déserts, prairies. Ces scènes évoquent typiquement des émotions et souvenirs distincts, s’appuyant fortement sur l’agencement spatial, la couleur et les textures naturelles.
● Étendues d’eau : Océans, lacs, rivières, chutes d’eau. Le mouvement de l’eau ajoute des aspects dynamiques à la perception des scènes, ainsi que des reflets et des paysages sonores uniques.
● Conditions météorologiques : Journées ensoleillées, pluie, neige, brouillard. Les phénomènes atmosphériques ont un impact significatif sur notre perception des scènes, affectant la visibilité, les conditions de lumière et l’esthétique générale.
● Biomes : Savanes, forêts tropicales, récifs coralliens. Reconnaître des biomes spécifiques implique d’intégrer des informations sur la végétation, la vie animale et les caractéristiques du terrain.
quelle est la différence entre la reconnaissance des scènes et reconnaissance des objets
● Impliquent deux processus cognitifs distincts, chacun jouant un rôle crucial dans notre interaction avec l’environnement.
● La principale différence entre ces deux processus réside dans la manière dont notre cerveau traite et interprète les informations visuelles.
explique cette image
ai ; mécanisme de segmentation dynamique dans les voitures intelligentes, détectent présence d’objets en créant des bounding box, boite qui délimite les objets dans scènes visuelles et reconnait la catégorie de l’objet (personne vs voiture vs feux de circulation
explique la reconnaissance d’objets
Ce processus implique l’identification et la catégorisation d’éléments individuels dans notre champ visuel, tels que des objets, des personnes ou des animaux.
La reconnaissance d’objets se concentre sur les caractéristiques spécifiques de ces éléments:
○ la forme,
○ la taille,
○ la couleur,
○ la texture
C’est par le traitement de ces caractéristiques que l’on peut distinguer les objets les uns des autres.
pareil chez l’humain, ai : reconnait une statistique redondante ce qui distingue les objets (humains vs feux de signalisation)
comment est la reconnaissance des scènes
Contrairement à la reconnaissance d’objets, la reconnaissance des scènes englobe une compréhension plus large et plus globale de l’environnement visuel.
- Elle ne se limite pas à identifier des éléments individuels, mais inclut également l’interprétation du contexte, la compréhension des relations spatiales entre les objets, et la capacité à saisir le sens global ou l’essence d’un environnement.
- Les scènes sont souvent complexes et contiennent de multiples objets qui interagissent dans un espace partagé, ce qui nécessite une intégration des informations visuelles à un niveau supérieur.
quel est le rôle du contexte dans la reconnaissance des scènes
- Joue un rôle crucial dans la reconnaissance des scènes, car il fournit des informations supplémentaires qui aident à interpréter les objets dans leur environnement.
1. Par exemple, voir une tasse sur une table dans une cuisine est attendu, ce qui facilite la reconnaissance de la scène comme une cuisine. (lié à la grammaire de la scène) - Aide à prédire quels objets sont susceptibles d’être présents et comment ils sont disposés, améliorant ainsi notre capacité à comprendre et à interagir avec notre environnement. (lié à la notion de probabilité : on va trouver le toaster à un endroit précis (mais exp qui peut briser cette grammaire de la scène, ex dans le salon))
quel est le rôle des relations spaciales
● Font référence à la disposition et à l’organisation des objets dans l’espace.
● Comprendre la disposition des objets est essentiel pour interpréter une scène.
● Ces relations aident à déterminer la structure d’une scène et à comprendre comment naviguer ou interagir avec l’environnement.
Par exemple, la reconnaissance qu’une chaise est sous une table peut indiquer un espace de salle à manger et influencer notre interaction avec cet espace (par exemple, en tirant la chaise pour s’asseoir).
Théories de la reconnaissance des scènes
quest ce que la théorie des affordances par JAMES J. GIBSON(4)
● Cette théorie met l’accent sur l’information “affordée” par l’environnement pour l’action. (ce que la scène peur nous fournir, nous donner)
● La reconnaissance des scènes ne se base pas sur une analyse détaillée des éléments visuels, mais sur la perception des affordances, c’est-à- dire les possibilités d’action offertes par l’environnement.
● Cette théorie explique bien la rapidité et l’efficacité de la reconnaissance des scènes dans la vie quotidienne.
● Cependant, elle ne prend pas en compte la capacité à reconnaître des scènes complexes ou ambiguës.
but de la scène = rapidement savoir ce qui est possible
Théories de la reconnaissance des scènes
quelles sont les théories autour du traitement de linformation (3)
● Images intrinsèques (Harrow et Tenenbaum, 1978)
● Relations d’objets ou de composantes (Biedermann, 1982)
● Propriétés de l’enveloppe spatiale (GIST; Oliva & Torralba, 2001):
Théories de la reconnaissance des scènes
quest ce que la théorie des images intrinsèques (harry Barrow)
Une image peut être décomposée en un ensemble d’« images intrinsèques », chacune représentant une propriété fondamentale de la scène qu’elle dépeint. (diviser l’image en sous-image avec différentes propriétés)
les propriétés sont (3) :
○ Réflectance : La proportion de lumière réfléchie par les surfaces de la scène (albédo).
○ Illumination : La quantité et la direction de la lumière tombant sur les surfaces.
○ Distance : La distance des surfaces par rapport à la caméra (profondeur).
quest-ce que la théorie des composantes (Irving Biederman)
Tout comme dans la reconnaissance des objets, la théorie des composantes de Biederman joue un rôle dans la reconnaissance des scènes.
On peut reconnaître une scène rapidement de par les relations entre les objets qui la constituent.
dans la théories des composantes (Irving Biederman), quelles sont les 5 classes de relations entre les objets
● l’Interposition (les objets interrompent leur arrière-plan).
● le Support (les objets ont tendance à reposer sur des surfaces).
● la Probabilité (les objets ont tendance à se trouver dans certaines scènes mais pas dans d’autres).
● la Position (étant donné qu’un objet est probable dans une scène, il est souvent trouvé dans certaines positions et pas dans d’autres).
● la Taille familière (les objets ont un ensemble limité de relations de taille avec d’autres objets).
Aude Oliva - Théories de la reconnaissance des scènes
qu’est-ce qu’une image hybride
image qui transforme une image dans l’espace de Fourier (fréquence spatiale de l’image) et va réveler seulement une certaine bande de fréquence et va combiner l’information fréquentielle de deux images
l’image à basses fréquences semblent floues de près, mais nettes de loin
l’image à hautes fréquences (contours nets) semblent floues de loin, mais nettes de proches
trouve la craie
Seulement 14% de la scène est couverte. Donc une économie de 86%!
● Notre connaissance (de la grammaire de la scène) de la localisation habituelle des objets dans une scène nous permet de faire des prédictions efficaces et très rapides.
Bases neuronales de la reconnaissance des scènes
quest ce que fait le lobe occipital
Traite les informations visuelles de base (de bas niveau) comme les lignes, les couleurs et les textures. Les premières étapes du traitement de la scène se déroulent ici. (dans aires occipitales, les fréquences sont aussi traités)
Bases neuronales de la reconnaissance des scènes
quest ce que fait le cortex parahippocampique
Joue un rôle crucial dans le traitement de la disposition de la scène, des relations spatiales et de l’essence d’une scène(permet de naviger dans notre env.). (le cortex répond à l’agencement spatial peut importe s,il y a objets ou non dans la scène)
Bases neuronales de la reconnaissance des scènes
quest ce que fait le cortex inférotemporal
Impliqué dans la reconnaissance d’objets et contribue à la compréhension de la scène en identifiant les objets dans la scène.
Bases neuronales de la reconnaissance des scènes
quest ce que fait le cortex rétrosplénien
Intègre les informations spatiales de différentes zones, facilitant la navigation et la compréhension de la scène. (navigation motrice mais aussi comment les diff éléments de la scène sont interreliés)
Bases neuronales de la reconnaissance des scènes
quest ce que fait le Cortex préfrontal médian
Intègre divers aspects du traitement de la scène (objets, disposition spatiale, contexte) avec les connaissances et les souvenirs antérieurs, ce qui permet la compréhension de la scène.
travaux du prof
quest ce qu’il réalise
il y a de l’activation partout (pas necessairement visuelle) qui sont prédites par le modèle (sans mm avoir vu les scènes visuelles). capable de prédire les activations du cerveau face a stimuli visuels, alors que le modèle a jamais rien vu (juste des phrases quil apprend)
Mécanismes de géolocalisation
explique les cellules de lieu hippocampiques.
de base découvert chez le modèle animal dans le labyrinthe, on entend un clic quand le neurone s’active. enregistre des positions, des lieux où le neurones réponds de façon précise ; ca s’apelle les cellules de lieu
- S’activent à des endroits spécifiques d’une scène, contribuant à la navigation spatiale et à la reconnaissance de la scène
que sont les cellules de bordures
Les cellules frontalières sont un autre groupe fascinant de neurones trouvés dans la formation hippocampique, spécifiquement dans des régions comme le subiculum, le présubiculum et le cortex entorhinal.
- Elles jouent un rôle distinct dans la navigation spatiale en codant la présence de limites environnementales, agissant essentiellement comme des gardiens des bords au sein de notre carte mentale.
