search

Mod12d / relation-app

clean-network.vercel.app
2 stars 0 forks source link

twitter dataのneo4jを作成する #13

Closed Mod12d closed 2 years ago

Mod12d commented 2 years ago

ユーザとリレーションモデルをneo4jに構築する

https://towardsdatascience.com/using-neo4j-graph-database-to-analyze-twitter-data-6e3d38042af1 https://github.com/neo4j-examples/twitter-graph-viz

gotoh-poclab commented 2 years ago

少し調べて動かしてみたいと思います。

gotoh-poclab commented 2 years ago

neo4jをインストールするところまでできたのですが、ライブラリーと繋げるところで苦戦していました。

neo4jのpythonのチュートリアルを勉強していきたいと思います。 https://neo4j.com/developer/python/

雑談 neo4jの将来性やデータサイエンスとの関係について https://cloud.google.com/blog/ja/products/ai-machine-learning/analyze-graph-data-on-google-cloud-with-neo4j-and-vertex-ai

Mod12d commented 2 years ago

flask(軽量のweb framwork)ですが、ご参考になるかなと思いました https://github.com/neo4j-contrib/twitter-neo4j/blob/master/webapp/twitterneo4j.py

dokcerを利用する場合 https://amateur-engineer-blog.com/docker-compose-nextjs-flask

flaske-apiを直下に置くのが良さそう https://github.com/neo4j-examples/neo4j-movies-template

ちょっと古いですが、twitterデータをneo4jに入れるためのガイド https://opensourceconnections.com/blog/2013/11/27/quick-start-with-neo4j-using-your-twitter-data/

一つ上の記事中にリンクされてますが、twitterデータ収集用のスクリプト https://gist.github.com/JnBrymn/6f84d42dc6ac5e251047

Mod12d commented 2 years ago

ちなみにneo4jのサンプルデータで twitterがありまして。 こちら接続して、フロントから叩いてみようと思います https://neo4j.com/developer/example-data/ https://demo.neo4jlabs.com:7473/browser/?dbms=neo4j://twitter@demo.neo4jlabs.com&db=twitter

gotoh-poclab commented 2 years ago

webだと読み取りだけだと思うのですが、サンプルデータのdumpデータもありますね。 https://github.com/neo4j-graph-examples/twitter-v2

neo4j-backupとimportができるライブラリーとかもありますね。 https://pypi.org/project/neo4j-backup/

gotoh-poclab commented 2 years ago

dumpデータにneo4jに入れようとするでるエラーメッセージ

Selecting JVM - Version:11.0.15+10, Name:OpenJDK 64-Bit Server VM, Vendor:Oracle Corporation Executing command line: /usr/local/openjdk-11/bin/java -cp /var/lib/neo4j/plugins/:/var/lib/neo4j/conf/:/var/lib/neo4j/lib/* -XX:+UseG1GC -XX:-OmitStackTraceInFastThrow -XX:+AlwaysPreTouch -XX:+UnlockExperimentalVMOptions -XX:+TrustFinalNonStaticFields -XX:+DisableExplicitGC -XX:MaxInlineLevel=15 -XX:-UseBiasedLocking -Djdk.nio.maxCachedBufferSize=262144 -Dio.netty.tryReflectionSetAccessible=true -Djdk.tls.ephemeralDHKeySize=2048 -Djdk.tls.rejectClientInitiatedRenegotiation=true -XX:FlightRecorderOptions=stackdepth=256 -XX:+UnlockDiagnosticVMOptions -XX:+DebugNonSafepoints -Dlog4j2.disable.jmx=true -Dfile.encoding=UTF-8 org.neo4j.cli.AdminTool load --from=/data/data_dump/twitter-v2-43.dump --database=neo4j --force --verbose neo4j 4.4.8 VM Name: OpenJDK 64-Bit Server VM VM Vendor: Oracle Corporation VM Version: 11.0.15+10 JIT compiler: HotSpot 64-Bit Tiered Compilers VM Arguments: [-XX:+UseG1GC, -XX:-OmitStackTraceInFastThrow, -XX:+AlwaysPreTouch, -XX:+UnlockExperimentalVMOptions, -XX:+TrustFinalNonStaticFields, -XX:+DisableExplicitGC, -XX:MaxInlineLevel=15, -XX:-UseBiasedLocking, -Djdk.nio.maxCachedBufferSize=262144, -Dio.netty.tryReflectionSetAccessible=true, -Djdk.tls.ephemeralDHKeySize=2048, -Djdk.tls.rejectClientInitiatedRenegotiation=true, -XX:FlightRecorderOptions=stackdepth=256, -XX:+UnlockDiagnosticVMOptions, -XX:+DebugNonSafepoints, -Dlog4j2.disable.jmx=true, -Dfile.encoding=UTF-8] org.neo4j.cli.CommandFailedException: The database is in use. Stop database 'neo4j' and try again. at org.neo4j.commandline.dbms.LoadCommand.loadDump(LoadCommand.java:156) at org.neo4j.commandline.dbms.LoadCommand.execute(LoadCommand.java:99) at org.neo4j.cli.AbstractCommand.call(AbstractCommand.java:71) at org.neo4j.cli.AbstractCommand.call(AbstractCommand.java:34) at picocli.CommandLine.executeUserObject(CommandLine.java:1953) at picocli.CommandLine.access$1300(CommandLine.java:145) at picocli.CommandLine$RunLast.executeUserObjectOfLastSubcommandWithSameParent(CommandLine.java:2352) at picocli.CommandLine$RunLast.handle(CommandLine.java:2346) at picocli.CommandLine$RunLast.handle(CommandLine.java:2311) at picocli.CommandLine$AbstractParseResultHandler.execute(CommandLine.java:2179) at picocli.CommandLine.execute(CommandLine.java:2078) at org.neo4j.cli.AdminTool.execute(AdminTool.java:93) at org.neo4j.cli.AdminTool.main(AdminTool.java:79) Caused by: org.neo4j.kernel.internal.locker.FileLockException: Lock file has been locked by another process: /data/databases/neo4j/database_lock. Please ensure no other process is using this database, and that the directory is writable (required even for read-only access) at org.neo4j.kernel.internal.locker.Locker.storeLockException(Locker.java:175) at org.neo4j.kernel.internal.locker.Locker.checkLock(Locker.java:95) at org.neo4j.kernel.internal.locker.GlobalFileLocker.checkLock(GlobalFileLocker.java:58) at org.neo4j.kernel.internal.locker.DatabaseLocker.checkLock(DatabaseLocker.java:28) at org.neo4j.commandline.dbms.LockChecker.checkLock(LockChecker.java:98) at org.neo4j.commandline.dbms.LockChecker.check(LockChecker.java:74) at org.neo4j.commandline.dbms.LockChecker.checkDatabaseLock(LockChecker.java:58) at org.neo4j.commandline.dbms.LoadCommand.loadDump(LoadCommand.java:149) ... 12 more