Interfaces & objets intelligents

Projet ANR ARCHIVAL

Valorisation d’archives multimédia : Compréhension automatique multimodale du langage pour de nouvelles interfaces intelligentes de médiation et de transmission des savoirs.

CE38 Révolution numérique : rapports au savoir et à la culture

La chaire UNESCO ITEN (FMSH – Université Paris8) est coordinatrice du projet de recherche collaborative – entreprise (PRCE)  ARCHIVAL, aux côtés de L’IRISA (Institut de Recherche en Informatique et Systèmes Aléatoires) à Rennes avec le LIS LAB (Laboratoire d’informatique et systèmes) à Marseille avec Orange Labs à Lannion. Il a été labellisé par le pôle de compétitivité CapDigital.

  Logo Partenaires ARCHIVALANR

QUESTIONNEMENTS SIC DU PROJET ARCHIVAL

● Quels rôles peuvent jouer les méthodes de Compréhension par les machines dans la réinterprétation de fonds d’archives thématiques ?

● Selon quelles modalités des interfaces génériques de médiation des contenus peuvent-elles exploiter des résultats générés par les méthodes actuelles d’Intelligence Artificielle (IA) ?

CONTEXTE DU PROJET ARCHIVAL

● Corpus multimodal : fonds archivistique et documentaire « Autogestion » de la Bibliothèque FMSH + audios-vidéos issus de la vidéothèque numérique Canal-U FMSH.

Depuis 1960, un fonds mixte (archives et documentation), plurilingue et pluridisciplinaire de 25 000 pièces : livres, revues, brochures, mémoires, rapports, tracts, comptes rendus de réunions, correspondances… a été constitué par la Bibliothèque de la FMSH

Une partie du fonds a récemment été labellisé CollEx (Collection d’Excellence) dans le cadre de l’AMI CollEx-Persée.

Ce fonds sera progressivement enrichi des fonds documentaires « Autogestion » de Gallica, des vidéos de l’INA et du département audiovisuel de la BNF. 

● L’autogestion accompagne aujourd’hui de manière sous-jacente, les notions de démocratie radicale, de confédéralisme, d’économie sociale et solidaire, de développement durable.

● Source d’innovation sociale, l’autogestion se conjugue au présent dans le monde entier et interroge les modèles de développement économiques et sociétaux.

● Les méthodes de Compréhension Automatique du Langage (Natural Language Understanding) permettent de :

> structurer l’information
> générer des cartographies de l’espace sémantique (un maillage de l’information) > dépasser la simple extraction de termes (mots clés, entités, triplets RDF)
> viser la prise en compte du sens d’un document (la science latente)

● Les méthodes d’Apprentissage Automatique par des Réseaux de Neurones Profonds (Deep Learning) permettent :

> d’apprendre directement des représentations (projections dans des espaces numériques) en fonction d’une tâche de l’utilisateur final (détecter des concepts ou entités, classer des documents, etc…)

●  Les méthodes de Compréhension de Document par les Machines (Machine Reading Comprehension) permettent :

> d’interroger les documents par des questions « naturelles » afin d’en découvrir des extraits pertinents

OBJECTIFS SCIENTIFIQUES MAJEURS DU PROJET ARCHIVAL

●  Réaliser cette Compréhension de Documents de manière multimodale (paroles, textes, images fixes et vidéos).

●  Permettre grâce aux méthodes d’IA de type «End-to-end»

>  une optimisation globale de la chaîne de traitement
> des perspectives de collaboration inédites entre chercheurs en SHS, STIC et Informatique, en plaçant l’utilisateur final au cœur du processus d’apprentissage machine.

●  Appréhender un document au prisme :

> des relations qu’il entretient avec d’autres documents,
> des questions « naturelles » portant sur son contenu,
> des synthèses (résumés, réécritures, cartographies) qui peuvent être générées dynamiquement suite à son analyse.

● Structurer dynamiquement une interface de résultats de requête pour redécouvrir le plaisir de feuilleter ou d’approfondir

 

Interfaces intelligentes documentaires : nouveaux accès aux archives

Aujourd’hui, très souvent présentées sous forme de listes, les interfaces de résultats de recherche ne hiérarchisent pas les données et n’articulent pas les contenus entre eux. Les textes ne rencontrent pas les images, ni les vidéos, ni les enregistrements sonores. Le lecteur n’a souvent aucune chance de se faire une idée générale, voire pertinente, d’un sujet en parcourant rapidement une simple page de résultats de recherche.

Comment ré-inventer la médiation par le numérique ? Et plus largement comment valoriser les collections documentaires ? Comment par le biais d’algorithmes et du design d’interfaces pouvons-nous offrir aux publics les meilleures chances d’articuler les médias (textes, images, vidéos, enregistrements sonores, etc.) de façon orchestrée, pertinente, intelligente et cela, sur tous types de supports ?

Dans son ouvrage Palimpsestes, Gérard Genette développe sa théorie de la « transtextualité », qui analyse tous les rapports qu’un texte entretient avec d’autres textes. Ce concept pris au sens large résonne aujourd’hui plus largement avec l’hypertexte, la transversalité avec d’autres documents. Relier un texte à d’autres écrits mais aussi à des œuvres, des cartes, des chronologies illustrées, etc.

Si les vidéos sont placées en regard des publications concernées, enrichies par des photos d’archives appropriées, étayées par des citations, cela construit un discours et donne une épaisseur aux documents consultables. Même si un index de l’ensemble des contenus est à tout moment consultable, la page de résultats devrait pouvoir mettre en scène ces documents de façon plus contextualisée. Car pourquoi numériser tant de fonds, de documents s’ils ne sont remontés à bon escient au bon moment ? L’éparpillement n’est-il pas déjà une perte ? Le numérique ne pourrait-il pas offrir plus qu’un catalogage dont l’usage semble parfois réservé aux experts ?

Questions de recherche :
• Comment faire dialoguer les bases de données entre elles ?
• Comment structurer une interface de résultats de recherche ? Et pour quels publics (du scolaire à l’universitaire) ?
• Quelles sont les potentialités des algorithmes ? Peut-on envisager une suite d’algorithmes qui se déclenchent au fur et à mesure, en ricochets, à partir des mots clés rencontrés ?
• Comment montrer des corpus de documents complexes à l’aide de la datavisualisation ? Ou comment représenter l’épaisseur des fonds documentaires et leur articulation ?
• Comment articuler les contenus entre eux de façon hiérarchisée et pertinente ? Quels peuvent être les invariants d’une recherche documentaire ?
• Quel design pour quel type d’interfaces documentaires ? Comment redécouvrir le plaisir de feuilleter, d’effleurer ou d’approfondir ?
• Lorsque le design devient didactique… Le design structure, hiérarchise. Il conduit (voire conditionne ?) la lecture.

 

« Vidya » : solutions innovantes pour bibliothèques universitaires

Le projet « Vidya » a été imaginé en réponse à un concours organisé par la région Île-de-France « Imaginer la bibliothèque de demain ».

L’équipe étudiante a réfléchi à des solutions modulaires et autonomes qu’une bibliothèque pourrait choisir d’intégrer dans ses locaux et sa politique de médiation :

  • Carte de bibliothèque étendue. La bibliothèque doit connaître ses usagers et leur permettre de se faire reconnaître ;
  • Personnalisation. Via le numérique et la scénographie des espaces, l’usager peut créer ses propres modalités de découverte, de consultation des savoirs) ;
  • Mobilité. L’expérience de la bibliothèque est disponible via les appareils privés ;
  • Connecté. Les appareils de la bibliothèque communiquent avec ceux des usagers ;
  • Communauté/Réseau social. Une aire d’échanges et de partage autour de la bibliothèque se forme afin de promulguer des recommandations et discuter de la vie en son sein ;
  • Collaboratif et création. Ouvrir des espaces physiques et numériques dédiés à la collaboration. Projets universitaires, projets citoyens ou projets d’entreprises. Permettre à chacun de créer sa bibliothèque ;
  • Immersion. Abriter des espaces d’interaction pour accéder à des médiations innovantes du fonds des bibliothèques ;
  • Services publics et privés. Consolider le service gratuit et accessible en ouvrant la possibilité au privé de combler les services complémentaires. Ceci, dans la dynamique d’offrir un panel large et qualitatif de services aux usagers et permettre à la bibliothèque de rester un troisième lieu de vie ;
  • Gamification. Intégrer le jeu dans les différentes strates d’expérience de la bibliothèque. Relier le jeu au savoir ;
  • Événementiel et valorisation. Fournir les espaces et les outils pour créer des moments de rencontre, d’apprentissage et de partage autour de connaissances. Valorisation des fonds conservés.

Conception & Réalisation : Lydia Jory (Graphiste), Adrien Morisse (Graphiste & Développeur), Alexis Souchet (Éditeur & Coordinateur de projet)
Master CEN – Université Paris 8
Promotion 2015

 

Cartes anciennes sur table tactile « à la découverte du Canada »

« À la découverte du Canada » est un dispositif muséographique interactif et narratif dans l’univers des cartes marines et portulans. Il plonge le visiteur sur les traces de Jacques Cartier, dans sa navigation vers le Canada, et illustre la représentation du monde en Europe au XVIème siècle.

Enrichie par un corpus documentaire et cartographique d’exception, l’interface donne vie aux ressources de la Bibliothèque nationale de France et en fait un atlas animé. Le visiteur peut suivre la narration complète des voyages de Cartier, consulter les étapes et les anecdotes de son exploration, ou simplement, se laisser porter par l’enchantement des cartes marines.

Conception & Réalisation : Kathrina Frank, Séverine Lefèvre, Marie Marsone-Ivanoff et Miloud Maamar.
Master CEN – Université Paris 8
Promotion 2017

Projet réalisé en partenariat avec la BnF et la Bibliothèque et Archives nationales du Québec (BAnQ).

 

Consulter, contribuer, partager en bibliothèque avec « Tabl’us »

« Tabl’us » est une table numérique modulable, innovante et collaborative destinée aux abonnés des bibliothèques, qui permet de scanner, d’annoter ou encore de trouver des documents numériques, ainsi que des ouvrages physiques. Grâce à son interface tactile intelligente, liée au réseau social « Tabl’us », il sera possible d’échanger avec d’autres chercheurs sur des sujets communs. L’utilisateur pourra également stocker des documents, grâce au cloud, pour ensuite les retrouver en ligne sur tous les supports.

« Tabl’us » se distingue par sa structure modulable et sa forme octogonale et s’appuie sur une des technologies les plus innovantes et très répandues due à sa légèreté : la FTIR (Frustrated Total Internal Reflection). En tant qu’objet connecté, cette table interactive donnera la possibilité de travailler seul ou en groupe, in situ ou à distance. Elle possède une source « noyau » qui affichera par défaut les actualités concernant la bibliothèque (entrée de livres, articles …).

Conception & Scénarisation : Florence Borrel, Christine Esteves, Mathilde Evens, Malika Fourti et Juan Morales
Master CEN – Université Paris 8
Promotion 2014

L’abribus intelligent « Urbi »

« Urbi », l’abribus intelligent est un prototype de mobilier urbain interactif et innovant. Destiné à tous publics d’usagers, il constitue à la fois un support d’information pratique pour les déplacements dans la ville et les actualités du quartier environnant mais aussi un véritable espace numérique de divertissement.

L’abribus « Urbi » est composé d’une grande vitre transparente tactile et multitouch, permettant jusqu’à trois utilisateurs d’accéder aux contenus grâce à une interface personnelle. Un bandeau, placé en haut de la vitre, présente les actualités et petites annonces du quartier, ainsi que l’heure, la date et le temps d’attente avant le prochain passage de bus. Une vitre simple à droite conserve les plans (papier) des lignes de bus et transports de l’ensemble de la ville.

L’interface personnelle d’« Urbi » propose 3 espaces :
• L’espace « Plan » pour créer un itinéraire intelligent qui tient compte du temps de parcours estimé en fonction de l’état du trafic et au sein duquel il est possible d’ajouter des activités à réaliser en chemin.
• L’espace « Kiosque » pour acheter les journaux, romans et magazines (téléchargement sur smartphones & tablettes).
• L’espace « Jeux » pour découvrir une sélection de jeux vidéo, tester les démos en pleine rue et acheter la version pour smartphones.

Conception & Réalisation : Louise Foussat, Valérian Piozin et Margot Chazalviel.
Master CEN – Université Paris 8
Promotion 2012

Colonne Morriss « KiScreen » ou le kiosque intelligent

« KiScreen » est le résultat d’une réflexion autour des mobiliers urbains de demain. Pensé pour la Société du Grand Paris, le prototype s’inscrit au cœur des futures gares en construction d’ici 2030. S’inspirant de l’emblématique colonne Morris, l’équipe étudiante a mis en avant la culture telle un tremplin au dynamisme des villes.


Placé au centre du hall de gare, « Kiscreen » propose aux usagers un accès gratuit ou payant à différents types de contenus selon cinq catégories :
• « Lire », où l’on peut télécharger romans, magazines, journaux, BD, mangas…
• « Écouter », où découvrir des albums et morceaux de musique,
• « Voir » des films et séries télévisées,
• « Sortir », où consulter les expositions, concerts, festivals et acheter ses places,
• « Jouer », où trouver des jeux et applications pour smartphones & tablettes.

Via une application dédiée, les usagers effectuent leurs transferts de données ainsi que leurs achats sur le kiosque « Kiscreen ». Ils ont le choix de renseigner leurs préférences en matière de musique, lecture et cinéma… et se verront proposer du contenu personnalisé à la prochaine connexion.

 

Conception & Scénarisation :
Margot Chazalviel, Louise Foussat, Marine Huynh et Valérian Piozin.
Master CEN – Université Paris 8
Promotion 2014

Le vêtement connecté « Grizz »

Le textile est un matériau que nous côtoyons tous les jours. Il nous accompagne au quotidien lorsque nous nous habillons, asseyons sur un canapé et même lorsque nous dormons. Pourtant, bien que de nombreuses recherches soient en cours pour améliorer ce matériau afin de le rendre plus robuste, plus respirant, plus connecté, rares sont les recherches sur le textile intelligent qui aboutissent à une étape d’industrialisation. Les produits sont difficilement concevables pour une production de masse et parfois trop chers à produire.

C’est avec cette problématique d’un textile utile pour l’être humain et après une longue veille sur les produits déjà existants, que l’équipe étudiante a imaginé le concept de « Grizz » :

« Un tissu qui, en utilisant un autre sens que ceux déjà très stimulés dans la vie quotidienne (la vue et l’ouïe), donnera des indications au porteur de celui-ci par l’intermédiaire d’un sens moins sollicité, le toucher. »

« Grizz » est un dispositif de guidage grâce à une grammaire de vibrations qui s’adresse principalement aux personnes malvoyantes. à l’aide de l’application dédiée sur smartphone, il suffit de préciser la destination où l’on souhaite se rendre puis de se laisser conduire par le système de vibrations.

Le prototype est déjà fonctionnel, le concept est breveté et ce produit devrait sortir en 2017. L’équipe a reçu une bourse d’aide à la création d’entreprise IDEFI CréaTIC et a été incubé chez Paris & Co.

Conception & Scénarisation :
Julien Capone, Nicolas Gommez, Charles Grillet-Courbières, Léo Menant, Kévin Bernard.
Master CEN – Université Paris 8
Promotion 2014

Pour plus d’infos sur ce projet :
www.grizz.me

Lunettes de Réalité Augmentée « SmartEyes »

Après une veille sur les lunettes de réalité augmentée, l’équipe étudiante a imaginé le projet « Smart Eyes » avec la volonté d’offrir un dispositif aux nouvelles possibilités. En plus de la géolocalisation, de la gestion de messagerie et de la personnalisation, qui sont des fonctionnalités habituelles des lunettes RA, les « Smart Eyes » proposent également une caméra infrarouge et un système d’appel d’urgence intégré permettant un appel des secours après une commande vocale préalablement définie par l’usager. La position exacte de la personne est alors automatiquement envoyée par le biais de la géolocalisation.

Les lunettes « Smart Eyes » entrent en connexion avec des dispositifs tels que les smartphones, les autres modèles de lunettes RA et même des objets connectés (comme un système de porte sécurisée) via la technologie NFC. Les commandes pour l’activation de chaque fonctionnalité sont personnalisable par le geste ou la voix.

Projet imaginé et conçu par :
Roseny Barthélémy, Nicolas Eskenazi, Micheline Pavadé, Zheng Shen, Shu-Min Yang et Yaqian Zhou.
Master CEN – Université Paris 8 – Promotion 2014

Grammaire du quotidien connecté « Ano »

Branchées à leur smartphone, de plus en plus de personnes deviennent adeptes des objets connectés. Pourquoi un tel engouement ? Dans quel but ? Principalement se simplifier le quotidien à l’aide de la technologie… Regroupés dans nos accessoires habituels, les objets connectés (wearables) se veulent une prolongation des possibilités numériques dans le monde physique.

Après un long travail de veille, l’équipe étudiante a imaginé un nouveau moyen de communication sous la forme d’une bague connectée, qu’elle a surnommée « Ano ». Son concept ? Échanger, partager et mémoriser nos rencontres par le biais d’un simple « check » ! Mais aussi un panel de fonctionnalités allant du « light painting » à la commande gestuelle à distance…

Le prototype « Ano » développe ainsi une grammaire gestuelle pour un usage au quotidien, dans la domotique par exemple (ouvrir son portail, activer son alarme, etc).

 

Conception & Scénarisation :
Gaelle Camus, Célia Duclaud, Jordan Azzopardi.
Master CEN – Université Paris 8
Promotion 2015