Old Tweets Crawler nouvelle formule

La recherche avancée dans Twitter permet d’accéder à des tweets dont la publication remonte jusqu’au origine de ce media en 2006. Cette fonctionnalité est essentielle dans une perspective d’analyse historique de faits passés (synchronie) ou pour en saisir les dynamiques (diachronie) lorsqu’ils s’inscrivent dans la durée. C’est également un « bac à sable » pour tester des hypothèses et consolider les méthodes d’investigation de l’actualité dans ce média ou au travers de celui-ci dans d’autres médias.

L’arrêt brutal du service (End point) incite à trouver une technique alternative d’exploitation des fonctionnalités de recherche historique de Twitter. C’est en définitive, l’occasion d’une remise à plat du cahier des charges qui doit intégrer une plus grande indépendance vis à vis des interfaces publiques.

La solution que nous proposons met en œuvre un scraping plus classique à partir de la requête principale sur le moteur de recherche https://twitter.com/search. Cette requête étant exécutée (ici en mode headless sur un serveur dédié), il s’agit alors d’écouter le flux HTTP engendré et de récupérer la réponse JSON qui package les lots de Tweets. Les lots multiples (lorsque la réponse est longue) sont récupérés en provoquant l’actualisation du flux de réponse suite au déclenchement d’un événement de défilement vertical (scrolling).

Cette méthode impose des réserves de temps plus importantes que dans la technique précédente et donc un ralentissement de la collecte (+/- 2 secondes par lot). Cependant, les résultats sont directement accessibles au format JSON et la structure de données beaucoup plus riche.

Old Tweet c’est fini ?

Quelle surprise le 16 septembre dernier de constater que les outils GetOldTweets3 et TwitterScraper ne répondaient plus ! cela avait été annoncé : Twitter faisant évoluer ses API vers une v2. Un nouveau format de donnée, des avantages mis en avant… et dans le même temps, le blocage d’une fonctionnalité essentielle pour constituer des rétro collectes.

Le point d’entrée: https://twitter.com/i/search/timeline qui jusqu’alors supportait la soumission d’une requête GET ne retourne plus en réponse la représentation XHTML d’un lot de tweets formatés pour l’affichage. Désormais, l’interface est conçue suivant le principe des formulaires adaptatifs JSON. La requête originelle réceptionne en réponse un squelette XHTML que les données JSON viendront remplir ultérieurement de manière asynchrone.

Il semble en outre, que la fonctionnalité d’appel de lots, associée à la segmentation de la réponse, soit également abandonnée. Autrement dit, plus possible d’obtenir à partir du dernier tweet reçu le lot qui le suit.

Devant ce constat, il est vain d’espérer qu’un patch puisse relancer l’intérêt des deux outils si les choses devaient en rester là. La technique de scraping utilisée jusque là reposait sur l’immédiateté et la simplicité de la réponse. Si Twitter change durablement de stratégie et dissocie la réponse de la requête originelle (ce qui semble le cas) alors c’est une autre approche du scraping qu’il faut envisager… et sur laquelle nous travaillons.

Catégorisation dans MediaSwell

La caractérisation des objets numériques peut être réalisée à partir des données qui les constituent ou à partir de données ajoutées durant un processus de documentation. Dans un contexte de collection d’objets du Web, comme par exemple des URL, ces métadonnées descriptives sont le plus souvent indispensables pour produire du sens et dépasser les limites d’un traitement statistique.

Dans MediaSwell, nous avons introduit un « injecteur » de métadonnées qui permet de documenter les URL collectées en faisant référence à différentes nomenclatures normalisées ou non.

Les nomenclatures (autant que nécessaires) sont importées à partir de fichier CSV. Un élément de nomenclature est constitué d’un code et d’une description lexicale. Lorsqu’une entrée est sélectionnée c’est toute la branche dominante qui est implicitement validée.

Un exemple d’indexation d’URL (projet Hydrogène) : [lien]

URL Tweetées et segmentation

Le travail décrit dans cet article porte sur l’utilisation des URL en tant que marqueur de fils de publications dans Twitter. 
Ce travail fait suite à une investigation conduite en 2018 sur les images tweetées et présentées dans le cadre du colloque MARAMI

  • JM Francony, P Mulhem, F Andreacola, L Goeuriot, G Quénot. (2018) : « Détection de détournements coordonnés de hashtags et messages-images pour l’analyse des fils d’actualités sur les réseaux sociaux. » Modèles et analyse des réseaux : approches mathématiques et informatiques. Oct 2018, Avignon, France. ⟨hal-01915150

Le contexte de travail est celui de la chaire- hydrogène initiée par la fondation UGA. Dans ce contexte, nous réalisons un enregistrement continu de Twitter sur la thématique de la transition énergétique et de l’hydrogène. Continuer la lecture de « URL Tweetées et segmentation »

Statistique lexicale et analyse des discours médiatiques

Les discours médiatiques
comme objets de recherche

Le discours des médias constitue un objet central d’étude en sciences
humaines et sociales. En tant qu’industries socio-symboliques les médias peuvent être étudiés dans leur composante socio-discursive, articulée à une composante socio-économique (Rebillard, in Lafon 2019).

Par ailleurs, depuis au moins 20 ans, le web bouscule les modèles socio-économiques des médias, d’abord du modèle éditorial à un modèle de flot, plus récemment celui de l’infomédiation et du courtage informationnel (Miège 1997; Moeglin 2004; Smyrnaios & Rebillard 2019). Le web et les réseaux socio-numériques facilitent les interactions de toutes sortes et la mise en question des régimes institutionnels de légitimité, en faisant basculer les médias du rôle de gatekeeping à celui de gatewatching (Bruns 2010). Autant d’éléments qui peuvent motiver des interrogations sur les modalités de construction des discours médiatiques, dont l’analyse lexicométrique est une des méthodes possibles. Continuer la lecture de « Statistique lexicale et analyse des discours médiatiques »

Conference Stuart Soroka

5 février 2020 Maison de la Création et de l’Innovation.

Stuart Soroka (http://www.snsoroka.com/) est professeur de science politique et communication à l’université du Michigan et membre du Michigan Institute for Data Science. Dans le cadre d’un financement accordé par le Data Institute de l’université Grenoble Alpes et destiné à encourager les échanges avec d’autres centres internationaux en sciences des données, il est intervenu du 3 au 7 février 2020 auprès de la communauté UGA et notamment des étudiants des master MDLE (Métiers de l’information et de la communication) et SIRS (Sociologie de l’innovation et recompositions sociales). Continuer la lecture de « Conference Stuart Soroka »

Rétro-collecte de Tweets

L’API search de Twitter permet d’interroger les dernières publications actives répondant à une requête pour une plage maximale d’une semaine. Cela signifie, que les publications les plus anciennes auxquelles on peut accéder ont été rediffusées (retweets) 7 jours avant la requête… Cela réduit les possibilités d’une collection historique systématique. Continuer la lecture de « Rétro-collecte de Tweets »

Digital Data Fabrik : de la recherche vers la formation et vice versa

Le collectif d’enseignants-chercheurs à l’initiative du DDF s’attache au quotidien à ce que les activités de recherche et les activités pédagogiques se nourrissent mutuellement. Ils sont partie prenante de formations dans lesquelles la donnée, l’information, le document et les divers traitements informatiques qui leur sont appliqués sont la matière première. Dans le même temps ils s’investissent dans des projets de recherche pluri-disciplinaires sur ces mêmes sujets. Continuer la lecture de « Digital Data Fabrik : de la recherche vers la formation et vice versa »