Quelle surprise le 16 septembre dernier de constater que les outils GetOldTweets3 et TwitterScraper ne répondaient plus ! cela avait été annoncé : Twitter faisant évoluer ses API vers une v2. Un nouveau format de donnée, des avantages mis en avant… et dans le même temps, le blocage d’une fonctionnalité essentielle pour constituer des rétro collectes.
Le point d’entrée: https://twitter.com/i/search/timeline qui jusqu’alors supportait la soumission d’une requête GET ne retourne plus en réponse la représentation XHTML d’un lot de tweets formatés pour l’affichage. Désormais, l’interface est conçue suivant le principe des formulaires adaptatifs JSON. La requête originelle réceptionne en réponse un squelette XHTML que les données JSON viendront remplir ultérieurement de manière asynchrone.
Il semble en outre, que la fonctionnalité d’appel de lots, associée à la segmentation de la réponse, soit également abandonnée. Autrement dit, plus possible d’obtenir à partir du dernier tweet reçu le lot qui le suit.
Devant ce constat, il est vain d’espérer qu’un patch puisse relancer l’intérêt des deux outils si les choses devaient en rester là. La technique de scraping utilisée jusque là reposait sur l’immédiateté et la simplicité de la réponse. Si Twitter change durablement de stratégie et dissocie la réponse de la requête originelle (ce qui semble le cas) alors c’est une autre approche du scraping qu’il faut envisager… et sur laquelle nous travaillons.