search

yrochat / twitter-pegasus

This script provides some tools in order to let one analyzes tweets in the format of official Twitter archive.
www.pegasusdata.com
1 stars 4 forks source link

Problème lign 98 avec json #2

Closed antoinecourtin closed 10 years ago

antoinecourtin commented 10 years ago

Bonjour, Avant tout, merci pour ce script. Malheureusement, je rencontre un petit soucis. [Config: Installation de R sur windows Vista (contraint); tous les packages appelés dans le script sont installés]

A ligne 88, j'ai un message d'erreur que j'ignore vu votre commentaire mais c'est quelques lignes plus loin avec la conversion json que le problème se pose. J'ai vérifié et le package rjson est bien installé.

Voici le résultat de la console:

# List all .js files
> lf <- list.files()
> 
> # Reading these .js files.
> # Please ignore the warnings, they are caused by the 
> # absence of a line break at the end of each document
> tw <- sapply(lf, readLines)
Warning message:
In FUN("2014_03.js"[[1L]], ...) :
  incomplete final line found on '2014_03.js'
> 
> # Cleaning names
> names(tw) <- NULL
> 
> # Deleting first "parasite" line
> tw <- sapply(tw, function(x) x[-1])
> 
> # Suppressing line breaks
> tw <- sapply(tw, paste, collapse=" ")
> 
> # Converting from JSON to an R list
> tw <- lapply(tw, fromJSON)
Error in FUN(c("", "", "", "", "", "", "", "", "", "", "", "", "", "",  : 
  no data to parse
> 
> # Suppressing month breaks
> tw <- unlist(tw, recursive = FALSE)
>

Si vous avez quelques minutes pour regarder, je vous remercierais énormément. Merci d'avance, Antoine

yrochat commented 10 years ago

Aïe aïe aïe déjà lorsque j'ai publié ce code il y avait des erreurs sur d'autres systèmes (que OS X), là avec le temps, la solution n'a pu qu'empirer. J'ai pour projet de corriger ce script depuis des lustres, et la fin de rédaction de ma thèse de doctorat d'ici 2-3 semaines devrait me permettre de me pencher là-dessus. Ce délai est-il trop loin pour vous ?

antoinecourtin commented 10 years ago

Merci pour cette réponse rapide ! Raison de plus pour bosser de chez moi en télétravail sur mon iMac.... (mais chuut) Je vais tenter ça ce soir ou demain et vous tiens au courant. Bon courage pour la dernière ligne droite de la thèse.

yrochat commented 10 years ago

Tenez-moi au courant :-)

antoinecourtin commented 10 years ago

Bonjour, Je me permets de revenir vers vous après mon test sur un 10.9. J'ai malheureusement toujours le soucis:

> # Converting from JSON to an R list
> tw <- lapply(tw, fromJSON)            
Erreur dans FUN(c("", "", "", "", "", "", "", "", "", "", "", "", "", "",  : 
  no data to parse

Merci d'avance, Antoine

yrochat commented 10 years ago

Ok, je regarde ce week-end!

antoinecourtin commented 10 years ago

Merci beaucoup mais surtout faites au plus simple, je ne veux pas vous embêter à 3 semaine du rendu de la thèse. Bonne journée,

yrochat commented 10 years ago

Je suis incapable de reproduire l'erreur, avec R 2.15 comme R 3.0.3 installé pour l'occasion. Serait-il possible de me fournir un exemple qui reproduise l'erreur ?

antoinecourtin commented 10 years ago

Merci d'avoir regarder. Voilà le fichier tweets.js (j'ai qu'un seul fichier car le compte vient d'être créé, environ 4000 twwets). http://we.tl/sRAJCFA6FV

L'erreur doit être humaine, c'est-à-dire de moi ;-). Si nous arrivons à trouver le problème (et si vous le souhaitez), je pourrais rédiger un bref readme pour les ultra débutant comme moi. Antoine

yrochat commented 10 years ago

J'ai bien l'impression que c'est le fait qu'il n'y ait qu'un seul fichier qui pose problème. Mon code n'est pas adapté pour ça. Je poste tout de suite un correctif pour ton cas.

yrochat commented 10 years ago

Remplace toute la section "loading the tweets" par :

lf <- list.files()
tw <- readLines(lf)
tw <- tw[-1]
tw <- paste(tw, collapse=" ")
tw <- fromJSON(tw)

En attendant d'être à avril ;-)

antoinecourtin commented 10 years ago

Merci. J'ai un soucis avec les dates, mais je vais tenter de débugger ça. Avec votre correction, je suis sur que maintenant, je suis dans les mêmes conditions que vous. Encore merci et bon courage pour ces dernières semaines... ;-)

Erreur dans x$created_at : $ operator is invalid for atomic vectors
yrochat commented 10 years ago

C'est étrange, chez moi (OS X) c'est tout bon:

> summary(tw[[1]])
                 Length Class  Mode     
source            1     -none- character
entities          4     -none- list     
geo               0     -none- list     
id_str            1     -none- character
text              1     -none- character
retweeted_status 11     -none- list     
id                1     -none- numeric  
created_at        1     -none- character
user              7     -none- list
antoinecourtin commented 10 years ago

Le problème venait du fichier json de base. J'ai corrigé et maintenant les dates passent sans soucis. J'arrive donc réussi à récupérer quelques sorties en modifiant des petits détails. Maintenant, j'ai un soucis avec les mentions mais je vais tenter de la résoudre. Encore merci pour votre patience et votre disponibilité. (c'est la 1er fois que j'utilise R exprès pour votre script ;-))

yrochat commented 10 years ago

Mmmh il faudrait pouvoir identifier le problème avec le fichier pour que ce soit géré par le script, et comprendre pourquoi chez moi le même fichier passe. D'habitude les gens ont des problèmes avec les heatmaps, bonne chance quand tu y arriveras ;-) Et bienvenue sur R!

Le 25 mars 2014 15:53, antoinecourtin notifications@github.com a écrit :

Le problème venait du fichier json de base. J'ai corrigé et maintenant les dates passent sans soucis. J'arrive donc réussi à récupérer quelques sorties en modifiant des petits détails. Maintenant, j'ai un soucis avec les mentions mais je vais tenter de la résoudre. Encore merci pour votre patience et votre disponibilité. (c'est la 1er fois que j'utilise R exprès pour votre script ;-))

Reply to this email directly or view it on GitHubhttps://github.com/yrochat/twitter-pegasus/issues/2#issuecomment-38573571 .