Proxy環境における動作の確認

koswatana commented 10 months ago

以下の問い合わせあり

ABRジオコーダーとして開発中の「https://github.com/digital-go-jp/abr-geocoder/」を試しています。前提条件はNode.jsのみと記載があり、社内プロキシ環境でWindowsで検証しようとして、以下のような問題が出ました。
各団体の保守作業員がABRジオコーダツールを使った手順書を用意することを考えていますが、Linuxのオンライン環境が前提なのでしょうか。その場合、保守作業でLinuxを利用することは難しく、正式リリースではWindowsのオフライン環境で利用できるように対応いただきたく。
・Windows上でダウンロードしようとすると、実行されることなくすぐに終了。エラーメッセージは表示されないが、動作ログらしきデータが残っており、見当はずれな動作をしている。
・Linux上でダウンロードしようとすると、プロキシ関連のエラーメッセージを表示して終了。node.jsアプリで通常利用される環境変数(https_proxy等)を設定しても動作せず。ソースを確認したところ、プロキシ対応モジュールは含まれているようだが、ツール内でそれを使っているかは不明。
・プロキシの設定方法についてはマニュアルに記述がない。
・Linux＆社内プロキシなし、の環境で実行すると問題なくダウンロード、クエリが動作した。

以下2点を切り分けて確認
- Windows環境(Not WSL)での不動作が複数報告されているので確認
- データダウンロードで使っているライブラリのhttps_proxyへの対応確認

koswatana commented 10 months ago

Dockerが使える場合Dockerを使うという方法もある https://github.com/digital-go-jp/abr-geocoder/wiki/Docker

オフライン環境下での利用方法 https://github.com/digital-go-jp/abr-geocoder/wiki/%E3%82%AA%E3%83%95%E3%83%A9%E3%82%A4%E3%83%B3%E7%92%B0%E5%A2%83%E4%B8%8B%E3%81%A7%E3%81%AE%E5%88%A9%E7%94%A8%E6%96%B9%E6%B3%95

koswatana commented 10 months ago

エラーが発生することを確認、ログ内容は未確認

node v20.10.0 npm v10.2.3

2023-12-20T08_31_47_871Z-debug-0.log

koswatana commented 9 months ago

better-sqlite3周りでエラーが起きてる
- pythonも必要になる

TypeORM等への移行を検討

646 error path C:\Users\admin\AppData\Roaming\npm\node_modules\@digital-go-jp\abr-geocoder\node_modules\better-sqlite3
647 error command failed
648 error command C:\WINDOWS\system32\cmd.exe /d /s /c prebuild-install || node-gyp rebuild --release
649 error ���̃\�����[�V�������̃v���W�F�N�g����x�� 1 ���r���h���܂��B���s�r���h��L���ɂ���ɂ́A"-m" �X�C�b�`��ǉ����Ă��������B
649 error C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\Microsoft.CppBuild.targets(439,5): error MSB8020: v142 (�v���b�g�t�H�[�� �c�[���Z�b�g = 'v142') �̃r���h �c�[����������܂���Bv142 �r���h �c�[�����g�p���ăr���h����ɂ́Av142 �r���h �c�[�����C���X�g�[�����Ă��������B�܂��́A[�v���W�F�N�g] ���j���[��I�����邩�\�����[�V�������E�N���b�N�� [�\�����[�V�����̍ă^�[�Q�b�g] ��I�����āA���݂� Visual Studio Tools �ɃA�b�v�O���[�h���邱�Ƃ��ł��܂��B [C:\Users\admin\AppData\Roaming\npm\node_modules\@digital-go-jp\abr-geocoder\node_modules\better-sqlite3\build\deps\locate_sqlite3.vcxproj]
650 error prebuild-install warn install No prebuilt binaries found (target=20.10.0 runtime=node arch=arm64 libc= platform=win32)
650 error gyp info it worked if it ends with ok
650 error gyp info using node-gyp@10.0.1
650 error gyp info using node@20.10.0 | win32 | arm64
650 error gyp info find Python using Python version 3.12.1 found at "C:\Python312\python.exe"
650 error gyp info find VS using VS2019 (16.11.34301.259) found at:
650 error gyp info find VS "C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools"
650 error gyp info find VS run with --verbose for detailed information
650 error gyp info spawn C:\Python312\python.exe
650 error gyp info spawn args [
650 error gyp info spawn args 'C:\\Program Files\\nodejs\\node_modules\\npm\\node_modules\\node-gyp\\gyp\\gyp_main.py',
650 error gyp info spawn args 'binding.gyp',
650 error gyp info spawn args '-f',
650 error gyp info spawn args 'msvs',
650 error gyp info spawn args '-I',
650 error gyp info spawn args 'C:\\Users\\admin\\AppData\\Roaming\\npm\\node_modules\\@digital-go-jp\\abr-geocoder\\node_modules\\better-sqlite3\\build\\config.gypi',
650 error gyp info spawn args '-I',
650 error gyp info spawn args 'C:\\Program Files\\nodejs\\node_modules\\npm\\node_modules\\node-gyp\\addon.gypi',
650 error gyp info spawn args '-I',
650 error gyp info spawn args 'C:\\Users\\admin\\AppData\\Local\\node-gyp\\Cache\\20.10.0\\include\\node\\common.gypi',
650 error gyp info spawn args '-Dlibrary=shared_library',
650 error gyp info spawn args '-Dvisibility=default',
650 error gyp info spawn args '-Dnode_root_dir=C:\\Users\\admin\\AppData\\Local\\node-gyp\\Cache\\20.10.0',
650 error gyp info spawn args '-Dnode_gyp_dir=C:\\Program Files\\nodejs\\node_modules\\npm\\node_modules\\node-gyp',
650 error gyp info spawn args '-Dnode_lib_file=C:\\\\Users\\\\admin\\\\AppData\\\\Local\\\\node-gyp\\\\Cache\\\\20.10.0\\\\<(target_arch)\\\\node.lib',
650 error gyp info spawn args '-Dmodule_root_dir=C:\\Users\\admin\\AppData\\Roaming\\npm\\node_modules\\@digital-go-jp\\abr-geocoder\\node_modules\\better-sqlite3',
650 error gyp info spawn args '-Dnode_engine=v8',
650 error gyp info spawn args '--depth=.',
650 error gyp info spawn args '--no-parallel',
650 error gyp info spawn args '--generator-output',
650 error gyp info spawn args 'C:\\Users\\admin\\AppData\\Roaming\\npm\\node_modules\\@digital-go-jp\\abr-geocoder\\node_modules\\better-sqlite3\\build',
650 error gyp info spawn args '-Goutput_dir=.'
650 error gyp info spawn args ]
650 error gyp info spawn C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Current\Bin\MSBuild.exe
650 error gyp info spawn args [
650 error gyp info spawn args 'build\\binding.sln',
650 error gyp info spawn args '/clp:Verbosity=minimal',
650 error gyp info spawn args '/nologo',
650 error gyp info spawn args '/p:Configuration=Release;Platform=ARM64'
650 error gyp info spawn args ]
650 error gyp ERR! build error 
650 error gyp ERR! stack Error: `C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Current\Bin\MSBuild.exe` failed with exit code: 1
650 error gyp ERR! stack at ChildProcess.<anonymous> (C:\Program Files\nodejs\node_modules\npm\node_modules\node-gyp\lib\build.js:209:23)
650 error gyp ERR! stack at ChildProcess.emit (node:events:514:28)
650 error gyp ERR! stack at ChildProcess._handle.onexit (node:internal/child_process:294:12)
650 error gyp ERR! System Windows_NT 10.0.23424
650 error gyp ERR! command "C:\\Program Files\\nodejs\\node.exe" "C:\\Program Files\\nodejs\\node_modules\\npm\\node_modules\\node-gyp\\bin\\node-gyp.js" "rebuild" "--release"
650 error gyp ERR! cwd C:\Users\admin\AppData\Roaming\npm\node_modules\@digital-go-jp\abr-geocoder\node_modules\better-sqlite3
650 error gyp ERR! node -v v20.10.0
650 error gyp ERR! node-gyp -v v10.0.1
650 error gyp ERR! not ok

maskatsum commented 2 months ago

Proxy は今後対応したい。 (一度実験的に対応したことはあるので、技術的にはできることを確認済み)

digital-go-jp / abr-geocoder

Proxy環境における動作の確認 #85