[リクエスト］Twitterアーカイブサービス

[0x6861746366574]

もし、私の文法に間違いがあれば、改善していきますので、訂正してください。

コミュニティで、Hatchet、Jaguar、GimreのTwitterアカウント...その他歴史的、注目すべきNEMアカウントのツイートをすべてアーカイブするサービスを開発できないでしょうか？

通常、Twitterではデータのバックアップが可能です。NEMOfficialではこれを行いました。これにより、DM、ツイート、いいね、リプライをすべて閲覧できるローカルな.htmlファイルが得られます。以下のスクリーンショットをご覧ください。

しかし、この機能を得るためには、あなた自身がKYCする必要があります。これは、多くのコミュニティメンバーにとって理想的とは言えないかもしれません。

NEMとシンボルにとって歴史的に重要なアカウントを保存する方法を見つけたいと思います。このようなものはTwitterのAPIで構築できると思っています。何かアイデアはありますか？

ちなみに、このようなサービスは、どのようなアカウントにも対応できるようにすることが可能です。このようなものは、暗号通貨コミュニティにとって非常に価値のあるツールです。データによって情報に基づいた意思決定をすることができますし、過去を分析することによって、将来に向けてより良い製品を作ることができます。

[0x6861746366574]

同様に、https://forum.nem.io/ のすべての投稿をダウンロードし、アーカイブする方法が欲しいです。このサイトはプロジェクトとコミュニティに悪い影響を与えるので、すぐにメンテナンスをやめたいのですが（非常に未熟です）、内容は歴史的に重要です。

内部では、チームはNEMの歴史についてのグラフィックノベルを書きたいと思っています。私たちは全てのコンテンツを保存したいのですが、古いNEM財団やNEMグループに縛られることなく新しいビジョンを進めていくために、ほとんどのアカウントで白紙に戻したいと思っています。

[0x6861746366574]

他にも歴史的に重要なサイトや関連サイトがあれば、すべてのコンテンツをアーカイブし、コミュニティで利用できるようにする方法を検討します。

これも重要だと思われるコンテンツが満載のサイトです： https://medium.com/nemofficial

[ymuichiro]

@0x6861746366574 投稿ありがとうございます。（ 日本語で投稿頂いたので日本語で返信します ） ツールの仕様を一旦自分の中で整理してみました。 必要とする機能はこんな感じですか？

必要な機能

Twitter アーカイブ

• Twitterの特定アカウントの投稿を全件保存し、以下の情報をいつでも閲覧出来るようにすること
  • 本文、いいねの数、リツイートの数

NEM Forum

• 過去の投稿、返信を全て抽出し、閲覧出来るようにすること

@ コミュニティへ NEM Forum のサイトをまずは確認してみました。 投稿の詳細情報は以下APIを使っていると想定しました

API ... https://forum.nem.io/t/{number}.json ↓ https://forum.nem.io/t/0.json (not found?) https://forum.nem.io/t/30744.json (ok) https://forum.nem.io/t/30850.json (ok) https://forum.nem.io/t/30899.json (ok)

これをカウントアップして抽出すればいけそうですかね？ 結構 not found が多いのは削除されたから？それとも何かしらの仕様？ 他の方もご意見いただきそうです

NEM Forum 側は最悪RPAとかで抜いてもいけそうですが。 データベースから直接ぶっこ抜ければいいんだけどね。

[ymuichiro]

APIを連続で叩き続けると NEM Forum 運営側のサーバー負荷（課金）が心配なので勿論少しずつの前提

[ymuichiro]

@0x6861746366574

Please tell me one thing. I learned from others that NEM FORUM uses an OSS called "discurse", and the API documentation says that the "API Key" and "API User Name" are required for the list of posts.

I guess the reason for posting here is that I lost the admin rights to issue this, and I need to think of another way？

If the above is "Yes", I would like to let the crawler retrieve as much as the server load allows.

[ymuichiro]

note

user all
https://forum.nem.io/directory_items.json?period=all

posts （get post-id by crawler）
https://forum.nem.io/latest

discusstion（use post id）
https://forum.nem.io/t/{post-id}.json

Reference

It appears that "mijjin" was stored by someone at the following URL Backup of entire database

http://archives.mijin-io-forum.s3-website-us-east-1.amazonaws.com/

[0x6861746366574]

@ymuichiro

Please tell me one thing. I learned from others that NEM FORUM uses an OSS called "discurse", and the API documentation says that the "API Key" and "API User Name" are required for the list of posts. I guess the reason for posting here is that I lost the admin rights to issue this, and I need to think of another way？ If the above is "Yes", I would like to let the crawler retrieve as much as the server load allows.

Yes, it uses this software.

We have the administrator account, as well as a full database copy. However, the data is just a .sql database. I'm looking to port individual posts into .html, .md or .txt so that the content can be repurposed for our community documentation + historical summary of the project.

We've been able to archive the official Medium account, as well as the official Twitter account into but not nem.forum.io or ghost.nem.io (the old Blog). We of course have the raw .jsonand .sql for both.

I'm wondering if a community member can help with the data transformation.

Alternatively, a crawler would also suit our purposes.

[ymuichiro]

I see! We will consult with the community once we have done so. As soon as we decide how to deal with it, let's discuss how to pass the SQL image file.

(If no one is willing to help, I will simply convert the data in the SQL to HTML.)

[matsuno3]

これお仕事掲示板に移動しましょうか？ クローズにしてお仕事掲示板にリンク貼れば中身見れたりします？

[ymuichiro]

クローズにしても参照はできますよ というかやり手が見つからないので取り敢えず nem forum の変換だけまずはやろうかな？

[kurikou02]

@ymuichiro さん

クローズにしても参照はできますよ というかやり手が見つからないので取り敢えず nem forum の変換だけまずはやろうかな？

このissueは ①Tweetデータのアーカイブ ②NEMフォーラムのアーカイブ

と2本立てのテーマがあるってことですよね。①の方はTwitterのAPIの制約が結構厳しくて、数年前の過去ツイート全部…とかだと少し難易度高いかもしれんです。基本は7日～30日前まで。フルアーカイブ検索はAcademic Research accessという権限がいります。本腰入れて調査したら他にやり方あるかもですが、多少時間かかりそうです（コミュニティにTwitterAPIマスターいないですかね…）

https://zenn.dev/soraride/scraps/dbf45a6d081da9 https://developer.twitter.com/en/docs/twitter-api/tweets/search/introduction

[0x6861746366574]

We've taken care of Twitter. Now, the NEM Forum is my biggest concern.

[ymuichiro]

@0x6861746366574

Can NEM Forum give me the database once it is backed up? I will try to figure out how to convert it to md or html at hand. (I'm assuming it will be static and viewable by all.)

[0x6861746366574]

Can NEM Forum give me the database once it is backed up?

Yes, I'll add you to the repository. Let's continue on Discord.