Digital Data Fabrik

The Digital Data Fabrik platform is an open, online collaborative laboratory set up to support methodological experimentation. Its aim is both to produce and evaluate tools and techniques for analysing the flow of online publications. Its originality lies in the fact that it integrates functions that are generally scattered, for the qualitative and quantitative analysis of discourse, conversations and interactions between individuals and groups.

Cette rétro-collecte a été réalisée à partir du scrapeur de Twitter sur la période allant de 2015 à 2022. Elle repose sur 7 requêtes thématiques en référence aux expressions suivantes:

• #climat (37 157)
• hydrogène décarboné, hydrogène (40 000)
• transition énergétique (39 640)
• décarbonation (13 926)
• énergie renouvelable (34 317)
• énergie verte (28 738)
• autoconsommation (23 345)

[a suivre…]

Le projet CLIMAX de réalisation d’une collection de données numériques extraites du Web et des média sociaux répond à plusieurs enjeux de recherche.

En premier lieu, celui de constituer avec d’autres dispositifs existants une ressource pour cartographier finement les débats et les controverses, les jeux d’influence entre acteurs, établir des représentations instantanées associées aux réactions émotionnelles ou à la manifestation d’opinions à l’occasion d’événements ou de l’émergence de faits sociaux tracés dans le dispositif CLIMAX. De ce point de vue, CLIMAX est un point d’ancrage pour le développement de collaborations scientifiques, que ce soit dans un contexte local, entre les laboratoires de la fédération INNOVACS par exemple, ou au delà des terrains de l’Université de Grenoble-Alpes.

En second lieu, celui de supporter les développements logiciels incrémentaux, les nombreux tests et preuves de concepts,… dont nous avons besoin pour faire évoluer et progresser les outils logiciels du projet COPERNIC. Le choix de cet univers de données s’est imposé parce qu’il est engageant et qu’il donne un sens très fort à nos actions de recherche. Il s’agit enfin d’un cadre de travail portant des thématiques mobilisatrices, sources d’une actualité permanente.

voir des cas d’usages:

La tracéologie est une discipline scientifique issue de l’archéologie préhistorique. Elle s’est constituée au début du XXe siècle à partir de l’analyse techno-fonctionnelle de collections d’outils au travers des traces d’usure qu’ils portent. Par la suite, elle s’est étendue à l’étude des procédés de fabrication d’objets manufacturés. Cette construction disciplinaire s’est imposée du fait de la coupure irréversible qui existe entre d’une part, le contexte et les conditions de fabrication et d’usage des outils préhistoriques et, d’autre part, les périodes actuelles de leurs études. L’analyse des traces résiduelles vise ainsi à produire une lecture socio-technique des outils et au-delà, à constituer les bases heuristiques d’une interprétation ethnographique et anthropologique de l’époque préhistorique.

A l’ère des données massives et du numérique, n’est il pas envisageable de considérer une nouvelle forme de tracéologie comme étant l’étude des traces numériques d’usage engendrées à l’occasion de médiations info-communicationnelles instrumentées ou d’activités réalisées dans un milieu immersif  ? Ce type d’analyse est désormais possible du fait de la généralisation des usages numériques d’outils de communication d’une part et de la traçabilité extensive que réalisent les dispositifs en réseaux dans lesquels s’inscrivent les individus. Formuler l’hypothèse tracéologique interroge autant la qualité des données originelles et leur mode de publicisation (raw data), que la qualité des enrichissements et des analyses qu’elles permettent de supporter (rich data). 

La recherche avancée dans Twitter permet d’accéder à des tweets dont la publication remonte jusqu’au origine de ce media en 2006. Cette fonctionnalité est essentielle dans une perspective d’analyse historique de faits passés (synchronie) ou pour en saisir les dynamiques (diachronie) lorsqu’ils s’inscrivent dans la durée. C’est également un “bac à sable” pour tester des hypothèses et consolider les méthodes d’investigation de l’actualité dans ce média ou au travers de celui-ci dans d’autres médias.

L’arrêt brutal du service (End point) incite à trouver une technique alternative d’exploitation des fonctionnalités de recherche historique de Twitter. C’est en définitive, l’occasion d’une remise à plat du cahier des charges qui doit intégrer une plus grande indépendance vis à vis des interfaces publiques.

La solution que nous proposons met en œuvre un scraping plus classique à partir de la requête principale sur le moteur de recherche https://twitter.com/search. Cette requête étant exécutée (ici en mode headless sur un serveur dédié), il s’agit alors d’écouter le flux HTTP engendré et de récupérer la réponse JSON qui package les lots de Tweets. Les lots multiples (lorsque la réponse est longue) sont récupérés en provoquant l’actualisation du flux de réponse suite au déclenchement d’un événement de défilement vertical (scrolling).

Cette méthode impose des réserves de temps plus importantes que dans la technique précédente et donc un ralentissement de la collecte (+/- 2 secondes par lot). Cependant, les résultats sont directement accessibles au format JSON et la structure de données beaucoup plus riche.

Quelle surprise le 16 septembre dernier de constater que les outils GetOldTweets3 et TwitterScraper ne répondaient plus ! cela avait été annoncé : Twitter faisant évoluer ses API vers une v2. Un nouveau format de donnée, des avantages mis en avant… et dans le même temps, le blocage d’une fonctionnalité essentielle pour constituer des rétro collectes.

Le point d’entrée: https://twitter.com/i/search/timeline qui jusqu’alors supportait la soumission d’une requête GET ne retourne plus en réponse la représentation XHTML d’un lot de tweets formatés pour l’affichage. Désormais, l’interface est conçue suivant le principe des formulaires adaptatifs JSON. La requête originelle réceptionne en réponse un squelette XHTML que les données JSON viendront remplir ultérieurement de manière asynchrone.

Il semble en outre, que la fonctionnalité d’appel de lots, associée à la segmentation de la réponse, soit également abandonnée. Autrement dit, plus possible d’obtenir à partir du dernier tweet reçu le lot qui le suit.

Devant ce constat, il est vain d’espérer qu’un patch puisse relancer l’intérêt des deux outils si les choses devaient en rester là. La technique de scraping utilisée jusque là reposait sur l’immédiateté et la simplicité de la réponse. Si Twitter change durablement de stratégie et dissocie la réponse de la requête originelle (ce qui semble le cas) alors c’est une autre approche du scraping qu’il faut envisager… et sur laquelle nous travaillons.

La caractérisation des objets numériques peut être réalisée à partir des données qui les constituent ou à partir de données ajoutées durant un processus de documentation. Dans un contexte de collection d’objets du Web, comme par exemple des URL, ces métadonnées descriptives sont le plus souvent indispensables pour produire du sens et dépasser les limites d’un traitement statistique.

Dans MediaSwell, nous avons introduit un “injecteur” de métadonnées qui permet de documenter les URL collectées en faisant référence à différentes nomenclatures normalisées ou non.

Les nomenclatures (autant que nécessaires) sont importées à partir de fichier CSV. Un élément de nomenclature est constitué d’un code et d’une description lexicale. Lorsqu’une entrée est sélectionnée c’est toute la branche dominante qui est implicitement validée.

Un exemple d’indexation d’URL (projet Hydrogène) : [lien]

Le travail décrit dans cet article porte sur l’utilisation des URL en tant que marqueur de fils de publications dans Twitter. 
Ce travail fait suite à une investigation conduite en 2018 sur les images tweetées et présentées dans le cadre du colloque MARAMI

• JM Francony, P Mulhem, F Andreacola, L Goeuriot, G Quénot. (2018) : « Détection de détournements coordonnés de hashtags et messages-images pour l’analyse des fils d’actualités sur les réseaux sociaux. » Modèles et analyse des réseaux : approches mathématiques et informatiques. Oct 2018, Avignon, France. ⟨hal-01915150⟩

Le contexte de travail est celui de la chaire- hydrogène initiée par la fondation UGA. Dans ce contexte, nous réalisons un enregistrement continu de Twitter sur la thématique de la transition énergétique et de l’hydrogène. Continuer la lecture de « URL Tweetées et segmentation »

Les discours médiatiques
comme objets de recherche

Le discours des médias constitue un objet central d’étude en sciences
humaines et sociales. En tant qu’industries socio-symboliques les médias peuvent être étudiés dans leur composante socio-discursive, articulée à une composante socio-économique (Rebillard, in Lafon 2019).

Par ailleurs, depuis au moins 20 ans, le web bouscule les modèles socio-économiques des médias, d’abord du modèle éditorial à un modèle de flot, plus récemment celui de l’infomédiation et du courtage informationnel (Miège 1997; Moeglin 2004; Smyrnaios & Rebillard 2019). Le web et les réseaux socio-numériques facilitent les interactions de toutes sortes et la mise en question des régimes institutionnels de légitimité, en faisant basculer les médias du rôle de gatekeeping à celui de gatewatching (Bruns 2010). Autant d’éléments qui peuvent motiver des interrogations sur les modalités de construction des discours médiatiques, dont l’analyse lexicométrique est une des méthodes possibles. Continuer la lecture de « Statistique lexicale et analyse des discours médiatiques »

5 février 2020 Maison de la Création et de l’Innovation.

Stuart Soroka (http://www.snsoroka.com/) est professeur de science politique et communication à l’université du Michigan et membre du Michigan Institute for Data Science. Dans le cadre d’un financement accordé par le Data Institute de l’université Grenoble Alpes et destiné à encourager les échanges avec d’autres centres internationaux en sciences des données, il est intervenu du 3 au 7 février 2020 auprès de la communauté UGA et notamment des étudiants des master MDLE (Métiers de l’information et de la communication) et SIRS (Sociologie de l’innovation et recompositions sociales). Continuer la lecture de « Conference Stuart Soroka »

L’API search de Twitter permet d’interroger les dernières publications actives répondant à une requête pour une plage maximale d’une semaine. Cela signifie, que les publications les plus anciennes auxquelles on peut accéder ont été rediffusées (retweets) 7 jours avant la requête… Cela réduit les possibilités d’une collection historique systématique. Continuer la lecture de « Rétro-collecte de Tweets »

Le collectif d’enseignants-chercheurs à l’initiative du DDF s’attache au quotidien à ce que les activités de recherche et les activités pédagogiques se nourrissent mutuellement. Ils sont partie prenante de formations dans lesquelles la donnée, l’information, le document et les divers traitements informatiques qui leur sont appliqués sont la matière première. Dans le même temps ils s’investissent dans des projets de recherche pluri-disciplinaires sur ces mêmes sujets. Continuer la lecture de « Digital Data Fabrik : de la recherche vers la formation et vice versa »