Reading a Wave
Standing before a work such as Émilie
Brout and Maxime Marion's Dérives, spectators will perhaps experience a
certain sensation of disorientation, of floating adrift. In the work, 2,000
images of water, excerpts from throughout the history of cinema, are edited by
a machine into a single continuous sequence: an endless film. This film
contains only one central character: the image of water. Excepting power
failure, the film never ends, preferring instead a slow deceleration into
moving images of ponds, of puddles, or a glass of water, before transforming
into tears, mist, a light drizzle which eventually breaks out into a downpour,
leading to thunderstorms, hurricanes, shark attacks, and tsunamis before
calming back down into a light stream of images and then starting all over
again. It is a constant ebb and flow, without end, that rises and falls like
the tide; an endless film that is always the same — a film about water
— and yet which can never be exactly the same: a fluid-film flowing
straight out of the fragments of Heraclitus.
It is easy to be swept up into the
pleasures of the spectacle in a work such as Dérives. Its form allows us
to permanently oscillate between recognition and anticipation: a sort of
name-that-sequence game wherein we try to identify each one of its famous and
not-so-famous sequences, mixed in with a certain feeling of anticipation as we
wonder what next image will carry the wave on its journey.
As for actually attempting to read
this wave, i.e. to dive beneath its surface and to observe its construction
from within its depths, the exercise is far more perilous. If we start with
the 2,000 images, we quickly realise that this database is nothing more than a
cloud of disparate points. Nowhere do we find this wave, this flow of water
with its internal movement; instead we find nothing but a collection of drops.
For, in reality, the work is far more than a simple collection wherein one need
only to collect a series of images in order to capture the "image" of
water in all its states. Indeed, there are 2,000 image sequences that together
make up the work; but it is not enough to reunite 2,000 sequences alone in
order to compose a work such as Dérives. Hence a drunken sense of
disorientation before a flow of images that we appreciate on an intuitive
level, without being able to fully identify its origin.
"Mr Palomar sees a wave rise in the
distance, grow, approach, change form and colour, fold over itself, break,
vanish, and flow again. At this point he could convince himself that he has
concluded the operation he had set out to achieve, and he could go away. But it
is very difficult to isolate one wave, separating it from the wave immediately
following it, which seems to push it and at times overtakes it and sweeps it
away…" –Italo Calvino, Mr Palomar
When spectators are informed that the film
they are watching has been "generated" by a computer with a dedicated
algorithm, their first reaction is often to ask if the result has been
"programmed in advance". If one where to reply no, the algorithm
varies the film endlessly, the spectator often concludes that the process
is therefore "purely random". As if it is perfectly natural, even
necessary, to oppose "programmed" (i.e. "predetermined")
processes and "random" (i.e. "undetermined") processes. But
just such an opposition would never work in the case of Dérives, whose
operating principle is to create a sole and unique film, always coherent, while
navigating within a fluctuating collection of images that never produces the
exact same result. In other words, a purely "random" film would be
nothing but incoherent juxtapositions of sequences that had nothing to do with
each other, a cacophony without much artistic value. This is clearly not the
case of Dérives, for whom the sinuous juxtapositions of images are not
only logical, but also full of an undeniable poetic and emotional force. On the
other hand, a film created by an entirely "predetermined" program,
i.e. wherein the machine would have no room for autonomous action, would harken
back to a classically linear film, more or less edited "by hand" with
a sequence of images more or less determined by its creator in advance. This is
clearly not the case either, given that this flow of images named Dérives
will never be exactly the same sequence of images.
The difficulty comes from our inability to
perceive the rich interaction of simple elementary particles (the
images) and the process which reunites them into a common purpose (the image).
If, perhaps inspired by Mr Palomar, the spectator attempts to analyse each
algorithmic edit separately (sequence A > sequence B), he or she will miss
the algorithmic ensemble which constructs the film over time. This larger
sequence can only be observed as a whole, which ironically means in the role of
a classical spectator of cinema allowing him or herself to be swept away by the
image.
"While our senses respond to
everything, our soul cannot pay attention to every particular. That is why our
confused sensations are the result of a variety of perceptions. This variety is
infinite. It is almost like the confused murmuring which is heard by those who
approach the shore of a sea. It comes from the continual beatings of
innumerable waves." – Gottfried Wilhelm Leibniz, Discourse on metaphysics, §33; Montgomery, George R. &
Chandler, Albert R., translators.
In its natural form, as in the program conceived
by Emilie and Maxime, a wave is composed of a multitude of different
components, interacting on multiple levels and all at once. The global form
emerges from the complexity of these individual interactions, hence the
sensation of an intangible perception: the "confused murmuring" of
which Leibniz speaks, and which cannot be perceived outside of an emotional
affect, both intuitive and all encompassing.
For the author of an algorithm, it is
often impossible to write the program in one single stroke, especially given
that the complexity of its final output makes it all too difficult to
orchestrate via some masterfully rationalised architecture. Nevertheless, a
computer program must be executed within the constraints of the machine, which
requires for its part both explicitness and rationality. There is no room for
ambiguity in the machine, for whom such an ambiguity can only lead to a refusal
of execution:
"error: call of overloaded
'function(type)' is ambiguous"
How then does one write just such an algorithm
— at once subtle and evolving, i.e. generative — within a materially determined
assemblage with its language of explicitly rational constraints?
The solution lies in the orchestration of
individual interactions of each drop, but multiplied up to the scale of an
ocean of possible droplets. This technique of using the singular, only
propagated to fill a field of possibilities, is precisely one of the internal
logics proper to computer programming. It is a method for treating a great
number of data points individually, but all at once.
There is a table of values at the heart of
Dérives which describes the possible interactions of all the images
contained within the work. It is a list of keywords and values arranged in
categories and which allow for the establishment of a general framework for the
different narrative, logical and aesthetic possibilities for the images. It is
a table of values cross-referenced with each and every image. In the category
"divisions of water", for example, we find values such as
"unitary mass", "numerous droplets", or "rain".
Through such a description we can begin to see a certain distinction made
between two complex ideas of "unity", along with the transition that
might lead us from one to the other: ocean and rain are two opposing
forms of water masses, opposed precisely in the manner in which they
gather their internal elements. By explicitly describing this opposition and
the transition between them, the machine can then deal with such subtleties
much more easily. Each of the 2,000 images is described to the machine in this
fashion, image by image. This category, "divisions of water", is more
or less factual, as are descriptions of "weather" or of
"light". They allow for the program to understand characteristics of
the images that are more or less objectively perceivable by the spectator. But
we also find other, more subjective categories, such as those of
"hedonism", which describes images to the machine on an entirely
different scale of measure. This category, along with descriptors of the level
of "tension" within the image, allow Emilie and Maxime to reunite
images in a far more subtle manner, on the level of sensations, all the while
making them readable to the machine. From these descriptors they can
then run a series of routines that string together images in sequences that
progressively increase the "tension" until a certain level of
"hedonism" is achieved. By multiplying these criteria and running
them in parallel, the result is made far more complex without having to play
off of one and only musical cord. It is a subtle dance of sine waves, flowing
in and out of interactions between several simultaneous criteria which,
individually, are linked together linearly but which collectively make possible
a more complex form: a wave of images.
This central table of Dérives —
these descriptors of the internal forces of the images — is a lot smaller than
one might think: not more than about twenty categories. And within each
category there are very few levels of variation: usually two or three,
sometimes a little more, but never growing beyond a dozen. For it is not in
multiplying the number of categories that such a table will somehow improve the
"generative" qualities of a work. To the contrary, it is precisely
the reduction of criteria to their strict minimum which gives Dérives
its force as a work of art, allowing it to dance a fine line oscillating
delicately between the chaos of a tsunami and the calm of a sleepy riverbed.
Too many criteria would push the work to the edge of entropy: a chaos similar
to a film edited by the roll of dice. And too few categories would force the
film into an all-too-predictable form: a sort of mechanical loop of the same
repeating themes. It is in this in-between state where we find the internal current
of the algorithm, wherein the film is always at the edge of change while
retaining coherence and a sense of logical progression. It is at once
discernible, perceptible for the spectator and yet impossible to fully grasp,
impossible to put put our finger on the exact nature of the image which would
allow us to freeze the wave in one single frame.
As we let wash over us this dance of
differing and deferring criteria, generated in an undulating movement of the
program which is also that of the image, the spectator enters and exits the
image as they please. Given that the program theoretically never stops, Dérives
has no "duration" in the classical cinematic sense of the term, i.e.
a time delimited by the physical beginning and end of the media device. Nevertheless —
and this is the case with any film —, there is yet another "duration"
which emerges from the image: the duration generated by the consciousness of
the spectator. Just as in Bergson's description of sugar dissolving in a glass of
water (here held by Mia Farrow or Emily Watson) and the time it takes to
dissolve, each and every spectator drinks these images in their own manner, as
if they were destined for us individually. Dérives is this particular
scene: each and every spectator perceiving their own specific moment within the
ebb and flow of an image generated here and now, before our very eyes, just for
us, and yet which does not stop for us either. By following the movement of the
algorithm we are perfectly capable of perceiving the logical transitions from
one sequence to the next, and even of understanding the criteria which unite
them; and yet incapable all the while of freezing the image as a whole and
observe all its interactions in a rational unity. Our consciousness enters and
exits this current while the ebb and flow of the image remains quite
objectively within its own logic and its own temporal existence. A play,
algorithmic in its nature, of the rising tides of images and of the image. The
misty image of a wave, a vague, floating image, or, as one can only say in
French, une image vague.
–Douglas
Edric Stanley
Lecture d'une vague
Face à une œuvre comme Dérives d'Émilie Brout et Maxime Marion, on aura le droit de se sentir un peu submergé. 2 000 séquences, tirées de toute l’histoire cinématographique, sont montées les unes après les autres par une machine qui en génère sans fin un film : un seul, un film infini. Ce film aura comme personnage principal l'image de l'eau. À part une éventuelle coupure de courant, le film ne s'arrête jamais, préférant plutôt ralentir — voire stagner —, avec des images d'étangs, de flaques ou de verres d'eau, avant de reprendre à travers des larmes ou de la bruine qui mèneront inévitablement à des averses suivies de tempêtes, d'attaques de requins et de tsunamis, pour se ralentir de nouveau dans un petit ruisseau d'images calmes avant de repartir encore pour un tour. C'est un flux permanent, incessant, qui monte, descend et remonte de nouveau ; un film sans fin qui est toujours le même — un film sur l'eau — qui ne pourrait jamais être le même : un film-fluide sorti tout droit des fragments d'Héraclite.
Il est facile d'être bon public devant une œuvre comme Dérives, puisqu'elle nous offre une sorte d'oscillation permanente entre un jeu de reconnaissance des extraits célèbres et un jeu d’anticipation pour la prochaine image qui poussera encore plus loin la vague. De ce point vue, on se laisse facilement emporter.
Plus difficile sera la tentative de lire cette vague, voire même de l'observer sous sa surface pour voir comment elle a été construite. En partant de la base de données de ces séquences, nous observons que, une fois rassemblée, cette base ressemble plutôt à un nuage de points disparates. Nous ne voyons nulle part la vague, ce flux d'eau avec son mouvement intérieur ; nous n'y voyons qu'une collection de gouttes. Car en réalité, il ne s'agit pas d'un simple jeu de collection où il suffirait de cataloguer un ensemble d'images pour saisir une « image » en mosaïque de l'eau dans tous ses états. Il y a bel et bien 2 000 séquences qui composent l'œuvre, mais il ne suffit pas de simplement réunir 2 000 séquences pour faire une œuvre comme Dérives. D'où un certain sentiment d'ivresse devant un flux d'images que nous ressentons parfaitement bien à un niveau intuitif, sans pour autant pouvoir saisir son origine.
« Monsieur Palomar voit une vague se lever au loin, grandir, s'approcher, changer de forme et de couleur, s'enrouler sur elle-même, se rompre, s'évanouir, refluer. Il pourrait dès lors être convaincu d'avoir mené à terme l'opération qu'il s'était proposée et s'en aller. Mais il est très difficile d'isoler une vague, de la séparer de la vague qui la suit immédiatement, qui semble la pousser, qui parfois la rejoint et l'emporte… » – Italo Calvino, Palomar.
Lorsqu'on informe le spectateur que le film qu'il regarde a été « généré » via un ordinateur par un algorithme dédié, sa première réaction est souvent de demander si le résultat est « déjà programmé d'avance ». Si on lui répond que non, l'algorithme fait varier le film en permanence, il conclut souvent « qu'il s'agit donc d'un processus aléatoire ». Comme si on devait à tout prix opposer des processus « programmés », c'est-à-dire prédéterminés, à des processus « aléatoires », c'est-à-dire indéterminés. Mais une telle opposition ne peut pas tenir dans le cas d'une œuvre comme Dérives dont le principe même est de proposer un seul film, toujours cohérent, mais qui navigue à l'intérieur d'une base fluctuante d'images qui ne produit jamais le même résultat. Autrement dit, un film purement « aléatoire » consisterait en un enchaînement absurde de plans qui n'ont rien à voir les uns avec les autres, une cacophonie sans intérêt sur le plan artistique. Cela n'est clairement pas le cas de Dérives pour laquelle l'enchaînement sinusoïdal est non seulement logique mais imprégné d'une force poétique et émotionnelle indéniable. En contrepartie, un film avec un algorithme « prédéterminé » — où le programme n'aurait plus d'action autonome —, reviendrait à faire un film linéaire classique, plus ou moins monté « à la main », avec un enchaînement déterminé à l’avance par son créateur. Ce ne peut pas être le cas non plus, puisque ce flux nommé Dérives ne consistera jamais exactement en la même séquence d'images.
Le problème vient de la difficulté à percevoir l'interaction riche entre les simples particules élémentaires (les images) et le tout qui les réunit dans une action commune (l'image). Si le spectateur tente, tel un Monsieur Palomar, d'analyser chaque montage algorithmique séparément (séquence A > séquence B), il finira par manquer la suite algorithmique qui travaille sur la longueur. Celle-ci ne peut être comprise qu'en regardant le tout, à savoir, ironiquement, comme un spectateur cinématographique classique qui se laisse emporter par l'image.
« Il n’est pas possible que notre âme puisse attendre à tout en particulier ; c’est pourquoi nos sentiments confus sont le résultat d’une variété de perceptions qui est tout à fait infinie. Et c’est à peu près comme le murmure confus qu’entendent ceux qui approchent du rivage de la mer vient de l’assemblage des répercussions des vagues innumérables. » — Gottfried Wilhelm Leibniz, Discours de métaphysique, §33.
Dans sa forme naturelle, autant que dans le programme d'Emilie et Maxime, une vague est composée d'une multitude de différents composants qui interagissent à plusieurs niveaux et tous en même temps. C'est de la complexité de ces interactions individuelles qu'émerge la forme globale, d'où le sentiment d'une perception intangible, ce « murmure confus » dont parle Leibniz, et qui ne se perçoit qu'au niveau d'une affectation émotionnelle, intuitive ou globale de l'image.
Pour l'auteur d'un algorithme, il est souvent impossible d'écrire un programme d'un seul trait car la complexité finale est trop difficile à orchestrer dans une architecture rationnelle et maîtrisée. Pourtant, un programme informatique doit exécuter ses enchaînements de manière logique et explicite, il n'y a pas de lieu — pour la machine — à une quelconque ambiguïté, sous risque d'un refus d'exécution :
« error: call of overloaded
‘function(type)’ is ambiguous »
Comment écrire alors un algorithme subtil et évolutif, c'est-à-dire génératif, à l'intérieur d'un assemblage matériellement déterminé et avec un langage rationnel et explicite ?
La solution réside dans une orchestration des interactions individuelles des gouttes, mais multipliées à l'échelle d'un océan de toutes les gouttes possibles. Ce jeu du singulier que l'on propage pour remplir un champ de possibilités, rentre dans l’une des logiques propres à la programmation, à savoir la capacité à traiter un grand nombre de données individuellement, mais toutes ensemble.
Il existe un tableau de valeurs au cœur de Dérives qui décrit les interactions possibles de toutes les images de l'œuvre. Il s'agit d'une liste de mots clés et de valeurs rangés par catégories, ce qui permet d'établir la logique générale des différentes possibilités narratives, logiques et esthétiques des images. C'est un tableau de valeurs dans lequel chaque image est indexée. Dans la catégorie « division de l'eau », par exemple, nous trouvons des valeurs comme « masse unique », « nombreuses gouttes » ou « pluie ». Dans une telle description nous commençons déjà à apercevoir une distinction entre deux notions d'unité assez complexes et la transition entre les deux : l'océan et la pluie sont tous les deux des masses d'eau, mais à l'opposé dans la manière dont elles rassemblent leurs éléments. En décrivant explicitement cette opposition et la transition entre les deux, la machine arrive à gérer plus facilement de telles subtilités. Chacune des 2 000 images est décrite à la machine selon ce type de critères, image par image. La catégorisation « division de l'eau » est plutôt factuelle, tout comme celles qui décrivent le « temps » ou la « lumière » : elles permettent au programme de comprendre des caractéristiques de l'image qui sont plus ou moins objectives pour le spectateur. Mais nous y trouvons également d'autres catégories plus subjectives, comme les valeurs d'« hédonisme », par exemple, qui travaillent à une toute autre échelle de description des images. Ces catégories, comme celles qui décrivent le niveau de « tension » des images, permettent à Émilie et Maxime d'associer ces plans d'une manière beaucoup plus sensible, tout en les rendant lisibles à la machine. Ils peuvent ensuite lancer des routines qui enchaînent des images en montant progressivement le niveau de tension, puis en le relâchant de nouveau une fois un niveau d'« hédonisme » atteint. En multipliant ces routines et en traitant l'ensemble de ces critères en parallèle, on complexifie les résultats du montage sans avoir besoin de jouer sur une seule et même corde. C'est une danse sinusoïdale autour des interactions entre plusieurs critères qui, individuellement, s'enchaînent de manière parfaitement linéaire, mais qui collectivement font émerger une forme plus complexe : une vague d'images.
Ce tableau central de Dérives — ces descripteurs de forces internes des images —, est beaucoup plus court qu'on ne pense : pas plus d'une vingtaine de catégories. Et chaque catégorie contient elle-même très peu de possibilités de variation : parfois deux ou trois, parfois un peu plus, mais jamais plus d’une douzaine. Car ce n'est pas la multiplication des catégories dans un tableau de ce genre qui permet à une œuvre générative de mieux fonctionner ; ni sur le plan technique, ni sur le plan artistique. Au contraire, c'est la réduction de ces critères à son strict minimum qui donne à Dérives sa force et qui permet à l'œuvre de danser sur une corde fine qui oscille en permanence entre le désordre du tsunami et le calme du lit d'une rivière endormie. Trop de critères basculeraient le film du côté du pur hasard : un chaos semblable à un film monté en suivant le roulement d'un dé. Trop peu de critères rendraient le film trop prévisible : une sorte de boucle purement mécanique des mêmes thématiques. C'est dans cet entre-deux — où le film semble toujours sur le bord d'un changement, tout en restant cohérent et progressif d'une image à l'autre —, que réside ce courant interne de l'algorithme : sensible pour le spectateur sans que l'on puisse mettre le doigt sur le flux interne de l'image qui l'arrêterait.
Devant cette danse des différents critères, générée dans un mouvement sinusoïdal du programme qui est aussi celui de l'image, le spectateur peut rentrer et sortir à sa guise. Du fait que le programme ne s'arrête a priori pas, Dérives n'a pas de durée dans son sens cinématographique classique, c'est-à-dire un temps délimité par un début et une fin du support. Néanmoins, et comme dans n'importe quel film d'ailleurs, une autre durée finit par émerger de l'image : c'est la durée générée par la conscience du spectateur. Comme un verre d'eau sucrée bergsonien (ici tenu par Mia Farrow ou Emily Watson) qui prend son temps pour se mélanger, chacun boit ces images à sa manière comme une destinée qui nous serait propre. Dérives est cette scène particulière, chacun apercevant son propre moment devant le flux et le reflux d'une image générée, là, en temps réel devant nous et pour nous, mais qui ne s'arrête pas pour nous non plus. En suivant le mouvement de l'algorithme nous arrivons à parfaitement percevoir les transitions logiques d'une séquence à l’autre, à comprendre même ces critères qui les lient, sans pour autant pouvoir arrêter le tout et voir toutes les interactions dans une unité rationnelle. Notre conscience rentre et sort de ce flux alors que le flux et le reflux de cette image perdure très objectivement dans sa propre logique et dans sa propre temporalité. Une mise en scène, algorithmique cette fois-ci, de la montée en vague des images et de l'image. Une image vague.
–Douglas Edric Stanley