The conference at INRIA Sophia Antipolis Méditerranée, in the framework of the joint team workshop Biovision team and GraphDeco June 10, 2016

1. Biovision team
“Essay of a perceptive ecology and design
of immersive media”
• Conference by Marcin Sobieszczanski, at INRIA Sophia Antipolis Méditerranée,
June 10, 2016

2. Introduction
Biovision team
Good afternoon. I feel extremely honored by your invitation, and from the start I would like to
announce my intention: It I bring you here is not an expertise that you miss, it is mainly an ardent
wish to dialogue. My position is a little delicate. I am a member to the field of Communication
Sciences, where I participated since the late 90s to the very minor movement called “cognitive
approach of media”. The relationship between this movement and the internal and external
scientific community are difficult and often unilateral. But the latest developments in the field of the
pervasive, distributed, rich in sensoriality or even immersive media, provide an opportunity for a
more sustained contact. I think especially in what I call the “living media design” or “experiential
media design”, the epistemological trends toward the naturalization, the environmentalisation or
the re-analogisation of media, the subject of my last book, are strategies of research and
engineering that info / com and its cognitive branch can share with biology, physiology and applied
computing. Why it would be possible more today than before? Because one begins to observe at
the social level the effects of the media that have been designed and crafted with the approach of
objective science and engineering technology, and powered by the subjective cultural practices,
coming from the countless acts of perception, acculturation and creation. The consideration of
these effects is now an important factor in the aims targeted by the design, engineering and content
management of the current media, so it's a new objectivity animated by the bio-artifactual
inspiration.
I would like to demonstrate this new possible osmosis from the notion of vision, and therefore lead,
at the end, to the outlook in the design of visual contextualized media.

3. The “vision”: different levels of visuo-centric perception in Primates /
Hominids
Biovision team
To have the view of the whole, I remind you here the scheme of vision given in the book published
in 2000 supervised by Michel Jolion.
There one distinguishes the successive stages of vision, since the formation of the retinal image, by
treatment of the neural signal to the gestural reaction of the subject.

4. Jean-Michel Jolion (dir.), 2000, Les systèmes de vision, Hermès – Lavoisier
Biovision team

5. The processes that are covered by the concept of “vision”
Biovision team
Only 4 basic references:
James J. Gibson, 1979, The Ecological
Approach to Visual Perception, Psychology
Press & Routledge
David Marr, 1982, Vision: A Computational
Investigation into the Human
Representation and Processing of Visual
Information, MIT Press
Jean-Michel Jolion (dir.), 2000, Les systèmes
de vision, Hermès – Lavoisier
Vallée, R., 1995, Cognition et système. Essai
d’épistémo-praxéologie, L’Interdisciplinaire,
Limonest
Let us define grossly the processes that are covered by the concept of
“vision” by trying to associate their epistemologies, and in order to collect
some methodological assumptions which will serve to impulse a new
processes of the media design.
The table is organized in 3 sections:
-The processes
-The nature of processes
-The related epistemology
and 4 levels of relevance:
-The low level treatment of information
-The high level treatment of the specific visual information
-The treatment of the complete multimodal information
-The triggering of volitional and semi-volitional actions induced by the
visual afferences in the praxical context
Of course, it is the latter two which are most important for our
discussion...

6. The processes The nature of processes The related epistemology
The low level treatment of information
 The encounter of light with opaque and semi-opaque objects The physical phenomena The “reducionist” epistemology: physical, chemical and
biological
 The emergence of the visual ecology with the arrival of the Living. The facing surface of the
objects placed at a certain distance from the visual organ reflect or emit the light charged with
the useful information about the environment destined for living beings (affordances)
 The biophysical formation of the image in the visual organ
 The chemo-electrical formation of the visual signal
The biological phenomena determined in the archaic DNA during the
emergence of the eye and photosensitive pigments
 The encoding of the analog light signal on the nerve impulse through the retinal sensor and the
axillary organs
The bio-physico-chemical computational automatism determined by DNA
and its current evolution
The high level treatment of the specific visual information
 The construction of a 3D spatial representation of the luminous surfaces
 The construction of a representation of the physicochemical causality of environment
 The construction of a representation of the biological causality into the world of the intelligent
agents populating the environment (the “pregnancy” of the biological sense - with the meaning
of “prégnance” given by René Thom)
 The construction of a representation of the psychic causality into the world of the intelligent
agents populating the environment (the “pregnancy” of the psychic meaning)
 The construction of the symbolic ontologies (diffusion and cultural linking of the “pregnancy” of
meaning)
 The construction of the emotional axiology
The biological automatism and the emergence of the visual-culture function
whose evolution is provided by both respective evolutionary mechanisms:
genetic inheritance and cultural transmission, as well as by their potential
hybridization
Algorithmic neural processing of visual impulses permitting to obtain the
visual modal refreshment of the informative process of the maintaining and
the amplifying of the “Cerebral Reference World” (knowing awareness), the
World established from the innate, rearranged and assimilated data, during
the perinatal extended period, a kind of “internal media” responsible for the
internal control of the centrifugal afferences; to refresh this it means to have
the “competent” representation of the visual scene
The digital algorithmic epistemology
The treatment of the complete multimodal information
 The multisensory contextualization The multimodal synthesis of multiple sensory inputs accomplished by:
 The multimodal sensory neurons,
 The level of the completion treating several brain modal channels,
 The level of maintaining of the amodal “Cerebral Reference World”,
where the sensoriality appears as a secondary projection
The biomimetic epistemology
 The praxical multisensorial contextualization of the visual afferences
 The praxical verbal contextualization of the visual afferences
 The praxical cultural contextualization of the visual afferences
 The praxical social contextualization of the visual afference by the empathic induction of the
perceptual behavior of co-agents
The praxical multisensory contextualization
The effects of meaning that occur locally at every step of specifically visual
high-level processing (various simple and complex peaks of the action
potential) also reappear in a complex real situation
The epistemology as a pragmatics of visual perception
Necessity of taking into account of praxical
contextualization of the visual perception)
The problem of the level of the contextualization: only
the high level of data processing is concerned or the
low level is also affected by a genetic feedback?
The triggering of volitional and semi-volitional actions induced by the visual afferences in the praxical context
 The "viewing" as an action: the perceptual activities (positions optimizing the perception, mobiles
tracking, attentional centering, parallel setting up different monitorings)
 “To be visible” / “To be invisible” / as an action
 The mental actions - inferences, anamnesis
 The kinesthetic actions - transportations, manipulations constructions
 The visual multimodal and amodal cultural creations
 The darwinian coevolution, in the visual level is accomplished by the
reversibility of two complementary actions: “The viewing” - “To be
visible” / “To be invisible”
 To be visible obviously includes the production of visual communication
objects)
The epistemo-praxiology
The Observer / Agent assimilation problem:
The epistemo-praxeological hypothesis of Robert Vallée
postulates a consubstantiality between
and strategies of action, consubstantiality which serves as a
causal platform for emerging of the biofeedback to this place
The epistemo-ecology of anticipation / initiative by the
artifact - the media externalizing the cerebral cultural

7. Biovision team
Epistemology adapted to the artificial vision and its strategy of bioinspiration
In our latest work we postulated that the modal media such visual media, are a
kind of externalization of the neurological processes of perception, resulting in
their communicative functioning to stabilizing the evolution of the modal path in
question.
I continue with some comments and point of conclusion

8. The conclusion: Epistemology of praxical (media-)efficiency of the Living
• The artificial vision consists of technological reproduction the purpose of the “vision” as
extraction of information about the environment from optic displays, in order to perform
certain actions. Various “material” technologies reproduce the elements of the vision but
the level of information processing, and specially the high level, is provided by the digital
techniques.
• The main epistemological problem of this technological praxis is the functional isolation
of equipment, materials and digital, engaged in resolutions of local tasks. Solved tasks
can cover vast fields of usage but in contrast to the multifunctional organisms, the
technical devices cannot work together (or working together provokes the ergonomic
fatigue of users).
• It is this lack that has led researchers of the 2000s to look for some organic solutions,
covering several layers at once of the complex phenomenon of vision. The bioinspiration
achieves the targets of computer vision through observation and imitation of the
solutions embodied in the simultaneous functioning of the visual organs of living
organisms, from optics, by neurophysiology to symbolic level.
• The bioinspiration is then a “probationary” proceeding showing the multiple character of
the Living. It also permits the seizure of the durability of the Living, with its genetic
reproductive mechanisms and the generation due to the environmental biofeedback.
Biovision team

9. Methodological postulate 1: the holistic epistemology of the vision
We attempted to identify in the overall scheme of the vision the
mechanisms of the functional coexistence between its different strata.
Methodological postulate 2: the durative epistemology of the vision.
We attempted to identify in the overall scheme of vision the cognitive
skills of living organisms coming necessarily from the circularity mode,
included in various “pertinent temporal occurrences” of functioning of
the vision system.
Biovision team

10. Technological purpose
This technological purpose can be achieved only after the exercise of
the “living media design” where the “visual cultural creations” perform
well the Robert Vallée’s postulate of circularity.
The “living media design”
This is a tendency to run technically some mechanisms, not by the
modeling of the functioning of its biological organs, but by the giving
them the opportunity to work directly as a monitoring of the real. The
designing of the technological media not as a separate object but as a
media (net-)working in real environments, with the inclusion of their
holistic and durative outlook.
Biovision team

11. Examples
The examples of the “living media design” recover several moments of
the higher given scheme, and at the local level generate many technical
solutions and stimulate new practices. I will give two:
• the visual device of immersive learning for navigation of Marc
Parenthoën
and
• the project of a collective viewing prototype "Look!”
Biovision team

12. Marc Parenthoën is the cognitics engineer, maker of the 360° maritime
video “with perceptive affordances”, entirely generated according to
the state of the environment (fluid dynamics and weather parameters)
and viewing conditioning which this state determines into the observer
in natural situation. The vision simulation device (and not the image-
viewing) takes into account the parallelism between two relationships:
• One where the variations of the hygroscopy of the sea breeze influence the undulation
of the nautical surface and
• One where the variations of the hygroscopy influence wetting of the cornea, both
processes, each in his way and together with their correlated processes, impacting the
visual result - the characteristics of the mental image.
Biovision team

13. The project of collective viewing prototype “Look!”
currently confidential...
Biovision team

14. a few additions...
Biovision team

15. The darwinian coevolution, in the visual level
The viewing To be invisible / To be visible
“To be visible” obviously includes the production of visual communication objects
Biovision team

16. Le Monde Cérébral de Référence
« La persistance d’un Monde de Référence est inconcevable à partir des seules
afférences perceptives modales. La sphère des universaux a-modaux, en grande
partie innés, et la sphère de l’interopérabilité crossmodale engageant une
multitude de zones cérébrales qui soit recèlent « des neurones multimodaux, soit
[***] sont directement reliées à plusieurs aires sensorielles », sont à la base de
l’édifice du Monde Cérébral de Référence et assurent son maintien au travers de
différents incidents, défaillances ou carences auxquels l’agent cognitif peut être
soumis. Si la congruence des afférences modales est impossible à réaliser
objectivement à partir des propriétés des objets et de leurs interactions, elle
s’établit dans les universaux a-modaux et dans l’interopérabilité crossmodale en
tant que résultante des expériences praxiques phylogénétiques, par la voie de
l’optimisation des représentations multimodales donnant une impulsion à des
actions efficaces dans les niches écologiques habituelles, au cours de l’évolution. »
MS
Biovision team

17. La transitivité perception - création
« Premièrement, tout au long de cet ouvrage nous allons postuler la transitivité perception - création.
La théorie et la schématisation de cette transitivité ont été élaborées depuis les années 1950 par Robert Vallée, président de World
Organisation of Systems and Cybernetics. Dans un texte de 2004 il en donne, tout en reprenant le formalisme de ses travaux
antérieurs, une expression originale, contextualisée par les postulats dits « eigen-values » de Heinz von Foerster :
« Après l’opérateur d’observation O, intervient l’opérateur de décision D, lui aussi héréditaire (causal). Il agit sur η en donnant une
fonction du temps ζ qui décrit l’évolution des décisions prises
D(η) = ζ.
Les actions de O et de D se conjuguent en une action synthétique unique opérée par l’opérateur produit DO, ou « opérateur
pragmatique » P (Vallée, 1974) qui fait passer directement de la fonction signal d’entrée ξ à la fonction de décisions ζ
D(η) = D(O(ξ)) = DO(ξ) = P(ξ) = ζ.
La fonction de décisions ζ donne une description de la fonction signal d’entrée tout aussi valable que la fonction de perceptions. Elle
introduit une connaissance où perception et décision se mêlent. »
Si la perception, au lieu d’être uniquement un fournisseur de l’information nécessaire à l’action est une action efficiente et participe
en tant que telle au lien rétroactif dynamique agent / milieu, elle se dote, par le biais de la conscientisation de son rôle, d’un pendant
symétrique - l’action informante, la création qui dans la relation rétroactive est la phase de « proposition » c’est-à-dire la phase
initiant la boucle. La création est nécessairement de nature perceptive dans la mesure où elle puise ses racines dans la perception
sensorielle et dans les opérations de l’interfaçage sensible, de la conduction et de l’interprétation neuronale de l’information. »
MS citant Robert Vallée
Biovision team

18. « [***] suivant la tradition des analyses conversationnelles du philosophe anglais Herbert Paul Grice (1913-1988), le principe d’initiative peut s’écrire ainsi :
Soit l’émetteur, un agent cognitif se trouvant dans un état de traitement informationnel M0 et agissant dans la direction de son environnement constitué des agents cognitifs, receveurs, et des substrats vitalement
importants et conditionnant ces receveurs. Il est lui-même potentiellement le receveur puisque le milieu lui adresse ses propres actions. En tant qu’agent détaché identitairement de son milieu, il a la liberté d’initier, à
chaque fois, à chaque réitération d’action, la boucle rétroactive des interactions individu / milieu.
E(R)M01 → A1(An) → R(E)M0
L’émetteur et potentiellement receveur E(R) se trouvant dans un état de traitement informationnel M0 et M1, par anticipation due au processus de sa décision et à son projet moteur qui en découle, commet une
action A1 choisie dans l’ensemble des actions possibles An, en direction du receveur et potentiellement émetteur R(E) (un élément vivant de son milieu ou un fragment abiotique de son milieu pouvant influencer un
élément vivant de son milieu, dont lui-même) se trouvant dans un état M0
R(E)c(A1)M1 → A2 → E(R)c(A1)M2
Le receveur et potentiellement émetteur R(E) connaissant c l’action A1 et se trouvant de ce fait dans l’état M2 commet une action A2 choisie dans l’ensemble des actions / réponses possibles à l’action A1, en direction
de l’émetteur et potentiellement receveur E(R) connaissant c sa propre action A1 et se trouvant de ce fait dans l’état M2,A1 étant piochée dans un ensemble plus vaste que celui d’où provient A2,le domaine sur
lequel est défini A1 est plus restreint, au moins de A1, que toutes les actions possibles. Il s’agit spécialement des actions de type prédation / fuite où le principe de l’action gagnante est basé sur les actions qui se
différencient des actions précédentes, ce qui veut dire que chaque nouvelle action pioche dans un réservoir de plus en plus restreint.
An - {D}An+1 ⊂ {D}An.
Les individus biologiques diffèrent par leurs façons différenciées d’exécuter les actions basées sur les schémas monotones.
E(R)c(A1)c(A2)M3 → A3 → R(E)c(A)1 c(A2)M2
L’émetteur initial connaissant sa propre action initiale, ses actions ultérieures et les actions de son receveur, sait aussi qu’à chacune de ses actions il restreint le domaine des actions possibles du receveur davantage
qu’il ne restreint le sien, puisque si le receveur répond d’une manière identique ou directement opposée aux actions de l’émetteur, il risque de créer dans le spectre de ses actions une monotonie ou périodicité
facile à anticiper. Mais en vertu de son rôle initiateur, l’étendue de la connaissance de l’émetteur est affectée plutôt du poids des actions « utilisées » que de l’étendue de la connaissance du receveur. Cette situation
procure à l’émetteur un avantage stratégique en même temps qu’un poids de l’information à traiter plus important.
En vertu des similitudes de principes informationnels régissant les substrats informationnels des agents de l’environnement, et avant tout à partir de la constitution des espèces à système nerveux, on considère que
le volume de calculs Vcal et le lapse de temps de leur exécution ΔTexe sont corrélés de la façon isochore (par analogie avec le terme de la thermodynamique qui signifie la transformation à volume constant).
Vcal ΔTexe
Nous écrivons donc que l’émetteur se trouvant dans la relation de la boucle rétroactive avec son receveur est, sur le plan du traitement informationnel, dans une difficulté toujours plus grande que celle vécue par le
receveur.
EMn+2 → An → RMn+1 où n+2 ⊂ n+1
Nous écrivons également que le receveur se trouvant dans la relation de la boucle rétroactive avec son émetteur est, sur le plan temporel, dans une difficulté grandissante en fonction des initiatives d’actions de
l’émetteur.
RMn+2 → An → EMn+1 où n+2 ⊂ n+1
Si c’est donc l’émetteur qui gagne, il gagne par sa capacité d’anticipation sur les actions du receveur, et si c’est le receveur qui gagne, cela veut dire qu’il a trouvé des actions possibles en éliminant plus rapidement
les actions déjà effectuées. L’émetteur, pour gagner, doit avoir les capacités de traitement (la mémorisation y compris) plus importantes, le receveur, pour gagner, doit avoir des réactions neuro-effectrices plus
importantes.
Pour finir, remarquons une chose intéressante : les principes d’initiative et d’autonomie correspondent bien aux premières définitions du terme cybernétique [***] »
MS
Principe d’anticipation : l’initiative dans la rétroaction agent / environnement
Biovision team

19. Thank you for your attention
Biovision team