Offline generation page

[babijo]

je n'avais pas encore regardé de près cette partie jusqu'à présent. je viens de remarquer qu'elle n'est pas conforme: 1- on doit avoir un bouton pour permettre à l'utilisateur de load son propre fichier (JSONS, CVS, etc.) Le principe est de permettre aux gens de venir générer des graphe avec leur propre données en utilisation la plateforme comme un service. 2- Du coup il y a une étape de vérification des données proposées et des inputs fournie par l'utilisateur que je ne vois pas aussi. c'est le principe de l'interface que j'avais déjà partagé avec toi.

[YanshuoH]

Je comprend. Pourtant vous m'avez dit au premier temps on lance le moteur vers la base de données passive. Maintenant le script de calcul prend en compte les ids de tweet et les ids d'utilisateur, et je pense que le fichier d'utilisateur ne contient pas tout ça non? il est possible de modifier ça mais...

[babijo]

Ah en fait on s'était mal compris. C'était dans une discussion au sujet de comment la plateforme prend en charge les données qu'un utilisateur amènera. Je demandais Est-ce ces données externes serons dans la base live ou passive. Et tu as dit passive. C'est pour ça que j'ai dit que le moteur tape dans la base passive. Tu comprends?

[YanshuoH]

Je comprend bien, mais c'est un peu trop tard. Bon, JSON file est facile, csv ça prend un peu du temps, mais faisable. La seule chose c'est qu'il faut l'utilisateur donne les ids (même si n'importe quoi et pas le format de twitter) d'users et de tweets pour qu'on puisse encore utiliser le script de calcul.

[babijo]

ok pour JSON. mais laisse moi un peu de temps que je réfléchisse. ok? Questions: 1- peux-tu me montrer un exemple de Ids sous le format de Twitter? 2- Normalement si tu donnes la possibilité aux utilisateurs d'amener leurs propres données alors tus dois leur préciser le format et les caractéristiques. du coup ça ne marchera que si tes conditions sont satisfaites. Non?

[YanshuoH]

OK.

1. Exemple tweet

{ "user_id" : 371866986, "_id" : 479050859352162300, "metadata" : { "iso_language_code" : "en", "result_type" : "recent" }, "created_at" : "2014-06-17T23:59:59.000Z", "id_str" : "479050859352162304", "text" : "Wind 1 mph N. Barometer 1034.1 hPa, Steady. Temperature 16.4 Â °C. Rain today 0.0 mm. Humidity 89%", "source" : "<a href=\"http://sandaysoft.com/\" rel=\"nofollow\">Sandayso ft Cumulus", "truncated" : false, "in_reply_to_status_id" : null, "in_reply_to_status_id_str" : null, "in_reply_to_user_id" : null, "in_reply_to_user_id_str" : null, "in_reply_to_screen_name" : null, "geo" : { "coordinates" : [ 54.96666667, -1.58333333 ], "type" : "Point" }, "coordinates" : { "coordinates" : [ -1.58333333, 54.96666667 ], "type" : "Point" }, "place" : { "bounding_box" : { "coordinates" : [ [ [ -2.6896487528799, 54.4511368492598 ], [ -0.789589998657534, 54.4511368492598 ], [ -0.789589998657534, 55.8116995493485 ], [ -2.6896487528799, 55.8116995493485 ] ] ], "type" : "Polygon" }, "contained_within" : [ ], "country" : "United Kingdom", "country_code" : "GB", "full_name" : "North East, United Kingdom", "name" : "North East", "place_type" : "admin", "url" : "https://api.twitter.com/1.1/geo/id/67bc7263f7b9047b.jso n", "id" : "67bc7263f7b9047b" }, "contributors" : null, "retweet_count" : 0, "favorite_count" : 0, "entities" : { "user_mentions" : [ ], "urls" : [ ], "symbols" : [ ], "hashtags" : [ ] }, "favorited" : false, "retweeted" : false, "lang" : "en", "__v" : 0 }

Exemple user:

{ "_id" : 126767735, "id_str" : "126767735", "name" : "akofa chun li ", "screen_name" : "pippaugwumadu", "location" : "London", "description" : "instability is reflected in tweets\r\nhttps://t.co/td0d aFRtFb\r\n\r\nPursuit of Happyness - 5th August 2014\r\nWithin The Walls of 165

• 9th November 2014", "url" : null, "entities" : { "description" : { "urls" : [ { "indices" : [ 36, 59 ], "display_url" : "soundcloud.com/pippaako fa/she…", "expanded_url" : "https://soundcloud.com /pippaakofa/she-needs-prayer-featuring-breheca", "url" : "https://t.co/td0daFRtFb" } ] } }, "protected" : false, "followers_count" : 1095, "friends_count" : 1354, "listed_count" : 24, "created_at" : "Fri Mar 26 23:06:57 +0000 2010", "favourites_count" : 851, "utc_offset" : 3600, "time_zone" : "London", "geo_enabled" : true, "verified" : false, "statuses_count" : 9329, "lang" : "en", "contributors_enabled" : false, "is_translator" : false, "is_translation_enabled" : false, "profile_background_color" : "131516", "profile_background_image_url" : "http://pbs.twimg.com/profile_backgroun d_images/378800000163188714/1aqjtBli.jpeg", "profile_background_image_url_https" : "https://pbs.twimg.com/profile_ba ckground_images/378800000163188714/1aqjtBli.jpeg", "profile_background_tile" : true, "profile_image_url" : "http://pbs.twimg.com/profile_images/4770646586002 10433/Twt3TrUC_normal.jpeg", "profile_image_url_https" : "https://pbs.twimg.com/profile_images/477064 658600210433/Twt3TrUC_normal.jpeg", "profile_banner_url" : "https://pbs.twimg.com/profile_banners/126767735/ 1401540709", "profile_link_color" : "610099", "profile_sidebar_border_color" : "000000", "profile_sidebar_fill_color" : "EFEFEF", "profile_text_color" : "333333", "profile_use_background_image" : true, "default_profile" : false, "default_profile_image" : false, "following" : false, "follow_request_sent" : false, "notifications" : false, "__v" : 0 }

[YanshuoH]

1. Oui, alors une validation des données est indispensable.

Je pense que les champs les plus importants sont:

• id
• user_id
• coordinations
• text

Il suffit que l'utilisateur nous donne un fichier de tweets et c'est tout. Le script va diviser les infos des utilisateurs dans les tweets.

[YanshuoH]

@babijo ? J'ai réfléchi pendant ces jours, la fonctionnalité de "offline generation" pourrait être superflue, car elle demande aux utilisateurs de fournir fichier sous notre format puis transformer les données à un format de Sigma.js/Gephi. Si la clientèle possède la capacité de transformer leurs propres données sous notre format, pourquoi elle ne fait directement ce processus en transformant leurs propres données en Gephi?

Mais l'intérêt de "offline generation" pour moi est de gérer directement les données sous format tweet (notre format) et cela peut être réaliser facilement par JSON.

[babijo]

@YanshuoH je ne comprends pas ton inquiétude. mais je tente de répondre. 1- ce que quelqu'un d'extern viendrait chercher sur notre plateforme c'est de tester notre algorithme de construction de graphes spatio-temporels. En recherche il y a ce qu'on appelle la reproductibilité lorqu'on met en place une méthode ou une solution. C'est que les gens puissent reproduire l'expérience. Or si les gens ne maitrisent pas le contenu de ce qu'ils convertissent en graphes il leur est difficile de vérifier la fiabilité de l'algorithme. c'est un peu ce que j'évoque en parlant de fiabilité dans #73 2- tout le monde a certe la capacité de collecter des tweets mais tout le monde ne connais pas notre algo de construction de graphe. A terme la plateforme ne va pas faire que des graphes. Elle permettra aux gens de: -soit lancer une collecte en utilisant notre moteur,

• soit extraire une partie des données de nos bases
• soit visualiser des graphes
• soit calculer d'autre indicateurs, etc Scientifiquement, il faut par exemple que la personne puisse avoir une idée des événements que contiennent au départ ses tweets pour être sûr que ce que donne le moteur de graphe est vrai. 3- je n'ai pas du tout compris la dernière phrase. tu parles des tweets sur la base passive?

[YanshuoH]

Oui oui oui excusez-moi, j'ai travaillé pendant longtemps l'export et j'ai oublié l'algorithme!!! Je suis désolé de te perdre du temps à m'expliquer tout ça!!! Je commencerai le dev quand je suis stable à Paris et éventuellement finirai le travail quand j'arrive en Chine.

[babijo]

tu parts quand en chine? tu déménages demain?

[YanshuoH]

Oui je déménage un peu des affaires à Paris demain et j'habite à Paris dorénavant.

[babijo]

on pourrait se voir à Paris. Vu que je suis sur Paris. vendredi par exemple?

[YanshuoH]

Oui c'est possible. Par contre vendredi je ne peux pas t'assurer l'heure...(le soir possible je pense)...sinon je te propose le dimanche (désolé de te faire travailler en weekend...), je prendrai l'avion le soir du coup j'ai du temps pendant la journée.

[YanshuoH]

Finally DONE

[babijo]

Hello Are in China or in Fr?

Babiga BIRREGAH

Le 14 août 2014 06:49, "YANSHUO HUANG" notifications@github.com a écrit :

Finally DONE

— Reply to this email directly or view it on GitHub https://github.com/YanshuoH/DejaVu/issues/70#issuecomment-52149449.

[YanshuoH]

Not yet in Fr, still in China. Will be there in ten days. I'll get you in touch later.