vitasdk / vdpm

SDK installer and package "manager" for $VITASDK
GNU Lesser General Public License v2.1
222 stars 62 forks source link

Unable to install VitaSDK on windows. xz format error #55

Closed Princess-of-Sleeping closed 4 years ago

Princess-of-Sleeping commented 4 years ago

I get output like below on msys2

Kernel@LAPTOP-E2D08E94 MSYS ~
$ pacman -Su make git cmake tar mingw64/mingw-w64-x86_64-libwinpthread-git
:: Starting core system upgrade...
 何も行うことがありません
:: システム全体の更新を開始...
依存関係を解決しています...
衝突するパッケージがないか確認しています...

パッケージ (43) db-5.3.28-2  expat-2.2.5-1  gdbm-1.11-3  heimdal-1.5.3-9
                jsoncpp-1.8.3-1  libgdbm-1.11-3  librhash-1.3.6-1
                libuv-1.19.1-1  openssh-7.6p1-2  perl-5.24.4-1
                perl-Authen-SASL-2.16-2  perl-Convert-BinHex-1.125-1
                perl-Encode-Locale-1.05-1  perl-Error-0.17025-1
                perl-File-Listing-6.04-2  perl-HTML-Parser-3.72-2
                perl-HTML-Tagset-3.20-2  perl-HTTP-Cookies-6.04-1
                perl-HTTP-Daemon-6.01-2  perl-HTTP-Date-6.02-2
                perl-HTTP-Message-6.14-1  perl-HTTP-Negotiate-6.01-2
                perl-IO-Socket-SSL-2.054-1  perl-IO-stringy-2.111-1
                perl-LWP-MediaTypes-6.02-2  perl-MIME-tools-5.509-1
                perl-MailTools-2.20-1  perl-Net-HTTP-6.17-1
                perl-Net-SMTP-SSL-1.04-1  perl-Net-SSLeay-1.84-1
                perl-TermReadKey-2.37-2  perl-TimeDate-2.30-2
                perl-Try-Tiny-0.30-1  perl-URI-1.73-1
                perl-WWW-RobotRules-6.02-2  perl-libwww-6.31-2
                pkg-config-0.29.2-1  vim-8.1.0022-1  cmake-3.10.2-1
                git-2.17.1-1  make-4.2.1-1
                mingw-w64-x86_64-libwinpthread-git-6.0.0.5134.2416de71-1
                tar-1.30-1

合計ダウンロード容量:   32.89 MiB
合計インストール容量:  154.54 MiB

:: インストールを行いますか? [Y/n] y
:: パッケージを取得します...
 mingw-w64-x86_64-li...    39.7 KiB  3.23M/s 00:00 [#####################] 100%
 make-4.2.1-1-x86_64      414.8 KiB   821K/s 00:01 [#####################] 100%
 expat-2.2.5-1-x86_64      38.1 KiB  9.29M/s 00:00 [#####################] 100%
 vim-8.1.0022-1-x86_64      6.6 MiB  4.15M/s 00:02 [#####################] 100%
 heimdal-1.5.3-9-x86_64   546.6 KiB  4.56M/s 00:00 [#####################] 100%
 openssh-7.6p1-2-x86_64   679.6 KiB  2.02M/s 00:00 [#####################] 100%
 db-5.3.28-2-x86_64        41.7 KiB   375K/s 00:00 [#####################] 100%
 libgdbm-1.11-3-x86_64     20.4 KiB  3.31M/s 00:00 [#####################] 100%
 gdbm-1.11-3-x86_64       108.5 KiB  8.83M/s 00:00 [#####################] 100%
 perl-5.24.4-1-x86_64      12.6 MiB  5.05M/s 00:03 [#####################] 100%
 perl-Error-0.17025-...    31.7 KiB  31.0M/s 00:00 [#####################] 100%
 perl-Authen-SASL-2....    42.4 KiB  8.28M/s 00:00 [#####################] 100%
 perl-Encode-Locale-...    24.3 KiB  0.00B/s 00:00 [#####################] 100%
 perl-HTTP-Date-6.02...     8.6 KiB  0.00B/s 00:00 [#####################] 100%
 perl-File-Listing-6...     7.7 KiB  0.00B/s 00:00 [#####################] 100%
 perl-HTML-Tagset-3....    10.3 KiB  0.00B/s 00:00 [#####################] 100%
 perl-HTML-Parser-3....    91.3 KiB  89.1M/s 00:00 [#####################] 100%
 perl-LWP-MediaTypes...    18.0 KiB  0.00B/s 00:00 [#####################] 100%
 perl-URI-1.73-1-any       90.7 KiB  6.33M/s 00:00 [#####################] 100%
 perl-HTTP-Message-6...    86.5 KiB  7.04M/s 00:00 [#####################] 100%
 perl-HTTP-Cookies-6...    34.5 KiB  4.82M/s 00:00 [#####################] 100%
 perl-HTTP-Daemon-6....    14.2 KiB  13.9M/s 00:00 [#####################] 100%
 perl-HTTP-Negotiate...    11.4 KiB  11.2M/s 00:00 [#####################] 100%
 perl-Net-HTTP-6.17-...    36.2 KiB  11.8M/s 00:00 [#####################] 100%
 perl-WWW-RobotRules...    12.2 KiB  0.00B/s 00:00 [#####################] 100%
 perl-Try-Tiny-0.30-...    32.0 KiB  15.6M/s 00:00 [#####################] 100%
 perl-libwww-6.31-2-any   138.9 KiB   827K/s 00:00 [#####################] 100%
 perl-TimeDate-2.30-...    35.9 KiB  11.7M/s 00:00 [#####################] 100%
 perl-MailTools-2.20...    74.9 KiB  8.13M/s 00:00 [#####################] 100%
 perl-IO-stringy-2.1...    52.6 KiB  10.3M/s 00:00 [#####################] 100%
 perl-Convert-BinHex...    42.8 KiB  20.9M/s 00:00 [#####################] 100%
 perl-MIME-tools-5.5...   194.9 KiB  1133K/s 00:00 [#####################] 100%
 perl-Net-SSLeay-1.8...   219.0 KiB  1319K/s 00:00 [#####################] 100%
 perl-IO-Socket-SSL-...   147.9 KiB  5.56M/s 00:00 [#####################] 100%
 perl-Net-SMTP-SSL-1...    18.4 KiB  0.00B/s 00:00 [#####################] 100%
 perl-TermReadKey-2....    33.3 KiB  4.64M/s 00:00 [#####################] 100%
 git-2.17.1-1-x86_64        4.9 MiB  3.87M/s 00:01 [#####################] 100%
 jsoncpp-1.8.3-1-any      112.6 KiB  7.86M/s 00:00 [#####################] 100%
 librhash-1.3.6-1-x86_64   87.6 KiB  2.59M/s 00:00 [#####################] 100%
 libuv-1.19.1-1-x86_64     95.5 KiB  6.22M/s 00:00 [#####################] 100%
 pkg-config-0.29.2-1...   185.7 KiB  6.72M/s 00:00 [#####################] 100%
 cmake-3.10.2-1-x86_64      4.2 MiB  4.09M/s 00:01 [#####################] 100%
 tar-1.30-1-x86_64        736.8 KiB   606K/s 00:01 [#####################] 100%
(43/43) キーリングのキーを確認                     [#####################] 100%
(43/43) パッケージの整合性をチェック               [#####################] 100%
(43/43) パッケージファイルのロード                 [#####################] 100%
(43/43) ファイルの衝突をチェック                   [#####################] 100%
(43/43) 空き容量を確認                             [#####################] 100%
:: パッケージの変更を処理しています...
( 1/43) インストール make                          [#####################] 100%
( 2/43) インストール expat                         [#####################] 100%
( 3/43) インストール vim                           [#####################] 100%
( 4/43) インストール heimdal                       [#####################] 100%
( 5/43) インストール openssh                       [#####################] 100%
( 6/43) インストール db                            [#####################] 100%
( 7/43) インストール libgdbm                       [#####################] 100%
( 8/43) インストール gdbm                          [#####################] 100%
( 9/43) インストール perl                          [#####################] 100%
(10/43) インストール perl-Error                    [#####################] 100%
(11/43) インストール perl-Authen-SASL              [#####################] 100%
(12/43) インストール perl-Encode-Locale            [#####################] 100%
(13/43) インストール perl-HTTP-Date                [#####################] 100%
(14/43) インストール perl-File-Listing             [#####################] 100%
(15/43) インストール perl-HTML-Tagset              [#####################] 100%
(16/43) インストール perl-HTML-Parser              [#####################] 100%
(17/43) インストール perl-LWP-MediaTypes           [#####################] 100%
(18/43) インストール perl-URI                      [#####################] 100%
(19/43) インストール perl-HTTP-Message             [#####################] 100%
(20/43) インストール perl-HTTP-Cookies             [#####################] 100%
(21/43) インストール perl-HTTP-Daemon              [#####################] 100%
(22/43) インストール perl-HTTP-Negotiate           [#####################] 100%
(23/43) インストール perl-Net-HTTP                 [#####################] 100%
(24/43) インストール perl-WWW-RobotRules           [#####################] 100%
(25/43) インストール perl-Try-Tiny                 [#####################] 100%
(26/43) インストール perl-libwww                   [#####################] 100%
perl-libwww の提案パッケージ
    perl-LWP-Protocol-HTTPS: for https:// url schemes
(27/43) インストール perl-TimeDate                 [#####################] 100%
(28/43) インストール perl-MailTools                [#####################] 100%
(29/43) インストール perl-IO-stringy               [#####################] 100%
(30/43) インストール perl-Convert-BinHex           [#####################] 100%
module test... pass.
(31/43) インストール perl-MIME-tools               [#####################] 100%
(32/43) インストール perl-Net-SSLeay               [#####################] 100%
(33/43) インストール perl-IO-Socket-SSL            [#####################] 100%
(34/43) インストール perl-Net-SMTP-SSL             [#####################] 100%
(35/43) インストール perl-TermReadKey              [#####################] 100%
(36/43) インストール git                           [#####################] 100%
git の提案パッケージ
    python2: various helper scripts
    subversion: git svn
(37/43) インストール jsoncpp                       [#####################] 100%
JsonCpp headers and build libraries are now in jsoncpp-devel.
(38/43) インストール librhash                      [#####################] 100%
(39/43) インストール libuv                         [#####################] 100%
(40/43) インストール pkg-config                    [#####################] 100%
(41/43) インストール cmake                         [#####################] 100%
(42/43) インストール tar                           [#####################] 100%
(43/43) インストール mingw-w64-x86_64-libwinpt...  [#####################] 100%

Kernel@LAPTOP-E2D08E94 MSYS ~
$ pacman -Su python
:: Starting core system upgrade...
 何も行うことがありません
:: システム全体の更新を開始...
依存関係を解決しています...
衝突するパッケージがないか確認しています...

パッケージ (2) mpdecimal-2.4.2-2  python-3.6.2-1

合計ダウンロード容量:  13.86 MiB
合計インストール容量:  97.90 MiB

:: インストールを行いますか? [Y/n] y
:: パッケージを取得します...
 mpdecimal-2.4.2-2-x...    86.7 KiB   519K/s 00:00 [#####################] 100%
 python-3.6.2-1-x86_64     13.8 MiB  4.42M/s 00:03 [#####################] 100%
(2/2) キーリングのキーを確認                       [#####################] 100%
(2/2) パッケージの整合性をチェック                 [#####################] 100%
(2/2) パッケージファイルのロード                   [#####################] 100%
(2/2) ファイルの衝突をチェック                     [#####################] 100%
(2/2) 空き容量を確認                               [#####################] 100%
:: パッケージの変更を処理しています...
(1/2) インストール mpdecimal                       [#####################] 100%
(2/2) インストール python                          [#####################] 100%

Kernel@LAPTOP-E2D08E94 MSYS ~
$ git clone https://github.com/vitasdk/vdpm
Cloning into 'vdpm'...
remote: Enumerating objects: 5, done.
remote: Counting objects: 100% (5/5), done.
remote: Compressing objects: 100% (5/5), done.
remote: Total 622 (delta 1), reused 1 (delta 0), pack-reused 617
Receiving objects: 100% (622/622), 98.77 KiB | 648.00 KiB/s, done.
Resolving deltas: 100% (367/367), done.

Kernel@LAPTOP-E2D08E94 MSYS ~
$ cd vdpm

Kernel@LAPTOP-E2D08E94 MSYS ~/vdpm
$ ./bootstrap-vitasdk.sh
==> Installing vitasdk to /usr/local/vitasdk
--2020-02-09 16:31:40--  https://github.com/vitasdk/autobuilds/releases/download/master-win-v1096/vitasdk-x86_64-w64-mingw32-2020-02-02_04-14-41.tar.bz2
github.com (github.com) をDNSに問いあわせています... 52.192.72.89
github.com (github.com)|52.192.72.89|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 302 Found
場所: https://github-production-release-asset-2e65be.s3.amazonaws.com/72642202/76231e00-454e-11ea-873a-54fc461d06db?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20200209%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20200209T073141Z&X-Amz-Expires=300&X-Amz-Signature=307f1217c748cfc1ae5d90d703f247e691c66f3b2e030b38f8011c00625eff90&X-Amz-SignedHeaders=host&actor_id=0&response-content-disposition=attachment%3B%20filename%3Dvitasdk-x86_64-w64-mingw32-2020-02-02_04-14-41.tar.bz2&response-content-type=application%2Foctet-stream [続く]
--2020-02-09 16:31:41--  https://github-production-release-asset-2e65be.s3.amazonaws.com/72642202/76231e00-454e-11ea-873a-54fc461d06db?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20200209%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20200209T073141Z&X-Amz-Expires=300&X-Amz-Signature=307f1217c748cfc1ae5d90d703f247e691c66f3b2e030b38f8011c00625eff90&X-Amz-SignedHeaders=host&actor_id=0&response-content-disposition=attachment%3B%20filename%3Dvitasdk-x86_64-w64-mingw32-2020-02-02_04-14-41.tar.bz2&response-content-type=application%2Foctet-stream
github-production-release-asset-2e65be.s3.amazonaws.com (github-production-release-asset-2e65be.s3.amazonaws.com) をDNSに問いあわせています... 52.216.86.51
github-production-release-asset-2e65be.s3.amazonaws.com (github-production-release-asset-2e65be.s3.amazonaws.com)|52.216.86.51|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 48554829 (46M) [application/octet-stream]
`STDOUT' に保存中

-                   100%[===================>]  46.30M  2.55MB/s 時間 28s

2020-02-09 16:32:09 (1.66 MB/s) - stdout へ出力完了 [48554829/48554829]

Please add the following to the bottom of your .bashrc:
export VITASDK=/usr/local/vitasdk
export PATH=$VITASDK/bin:$PATH
and then restart your terminal

Kernel@LAPTOP-E2D08E94 MSYS ~/vdpm
$ export VITASDK=/usr/local/vitasdk

Kernel@LAPTOP-E2D08E94 MSYS ~/vdpm
$ export PATH=$VITASDK/bin:$PATH

Kernel@LAPTOP-E2D08E94 MSYS ~/vdpm
$ ./install-all.sh
Installing zlib...
xz: (stdin): File format not recognized
tar: Child returned status 1
tar: Error is not recoverable: exiting now

Failed to install, the package probably does not exist.
yne commented 4 years ago

I think curl is not installed. can you try this line:

mkdir test
curl http://dl.vitasdk.org/zlib.tar.xz | tar -C ./test -Jxvf -

and show the result

Princess-of-Sleeping commented 4 years ago
Kernel@LAPTOP-E2D08E94 MSYS ~
$ mkdir test

Kernel@LAPTOP-E2D08E94 MSYS ~
$ curl http://dl.vitasdk.org/zlib.tar.xz | tar -C ./test -Jxvf -
xz: (stdin): File format not recognized
tar: Child returned status 1
tar: Error is not recoverable: exiting now
yne commented 4 years ago

And what does curl --version give you ?

Princess-of-Sleeping commented 4 years ago
Kernel@LAPTOP-E2D08E94 MSYS ~
$ curl --version
curl 7.58.0 (x86_64-pc-msys) libcurl/7.58.0 OpenSSL/1.0.2m zlib/1.2.11 libidn2/2.0.4 libpsl/0.19.1 (+libidn2/2.0.4) libssh2/1.8.0 nghttp2/1.30.0
Release-Date: 2018-01-24
Protocols: dict file ftp ftps gopher http https imap imaps pop3 pop3s rtsp scp sftp smb smbs smtp smtps telnet tftp
Features: AsynchDNS Debug IDN IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets HTTPS-proxy Metalink PSL
yne commented 4 years ago

Very strange, please try the following commands, and see if you have any differences:

$ tar --version
tar (GNU tar) 1.29
[...]
$ xz --version
xz (XZ Utils) 5.2.2
liblzma 5.2.2
$ curl -s dl.vitasdk.org/zlib.tar.xz | md5sum
db8b0b56f9873ae6caa582543fc3c68a  -
$ curl -s dl.vitasdk.org/zlib.tar.xz | xxd | head
00000000: fd37 7a58 5a00 0004 e6d6 b446 0200 2101  .7zXZ......F..!.
00000010: 1600 0000 742f e5a3 e2c3 18ef fe5d 0034  ....t/.......].4
00000020: 9b88 8de1 e262 19ac 544f 7809 a31d 2cc7  .....b..TOx...,.
00000030: 3591 ab31 531c 3059 a6b6 b4c2 424a 85ab  5..1S.0Y....BJ..
00000040: 33b9 b957 324d 6bb7 027a bf7b 4424 50e8  3..W2Mk..z.{D$P.
00000050: 0b08 06e4 ad83 6790 3868 1dac 280f b038  ......g.8h..(..8
00000060: dfc6 5ddc 49a0 058d e5e5 e7ed d198 2b51  ..].I.........+Q
00000070: 04d0 9585 041c 19bf 6bdc 82e1 0c00 cb41  ........k......A
00000080: 12c3 26dc 1a7f 25af 920b 357b a474 06ef  ..&...%...5{.t..
00000090: 841f c4d8 0654 bce5 f34e 0c0b ca59 d9d1  .....T...N...Y..
Princess-of-Sleeping commented 4 years ago
Kernel@LAPTOP-E2D08E94 MSYS ~
$ tar --version
tar (GNU tar) 1.30
Copyright (C) 2017 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <https://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

作者: John Gilmore, Jay Fenlason.
Kernel@LAPTOP-E2D08E94 MSYS ~
$ xz --version
xz (XZ Utils) 5.2.3
liblzma 5.2.3
$ curl -s dl.vitasdk.org/zlib.tar.xz | md5sum
d41d8cd98f00b204e9800998ecf8427e *-
Kernel@LAPTOP-E2D08E94 MSYS ~
$ curl -s dl.vitasdk.org/zlib.tar.xz | xxd | head

Kernel@LAPTOP-E2D08E94 MSYS ~
$
yne commented 4 years ago

Okay, So the curl command give you an empty file, that's strange. Are you behind a proxy or a student firewall ? can you access http://dl.vitasdk.org with your browser ? Please try

curl -sv dl.vitasdk.org/zlib.tar.xz
Princess-of-Sleeping commented 4 years ago

Tried with proxy turned off, nothing changed

Kernel@LAPTOP-E2D08E94 MSYS ~
$ curl -sv dl.vitasdk.org/zlib.tar.xz
* STATE: INIT => CONNECT handle 0x600057540; line 1392 (connection #-5000)
* Added connection 0. The cache now contains 1 members

Kernel@LAPTOP-E2D08E94 MSYS ~
$

chrome_sXls026sa9

yne commented 4 years ago

My guess would be some kind of firewall that prevent curl from accessing the internet.

Try disabling those security software and it shall be back to normal.

d3m3vilurr commented 4 years ago

I also expect firewall/secure tool problems. and could you share output of curl -I dl.vitasdk.org/zlib.tar.xz?

Princess-of-Sleeping commented 4 years ago
Kernel@LAPTOP-E2D08E94 MSYS ~
$ curl -I dl.vitasdk.org/zlib.tar.xz

Kernel@LAPTOP-E2D08E94 MSYS ~
$
Princess-of-Sleeping commented 4 years ago

I installed Ubuntu as a temporary workaround and installed Vitasdk. It works fine.

Princess-of-Sleeping commented 4 years ago

This issues has been closed, but keep in mind that the basic problem is not solved

yne commented 4 years ago

Understood

As I understand, something your OS configuration (or whatever "security" app you are using) is preventing MSYS binaries from accessing your network.

This issue will be re-opened if someone else have the same issue, then we will explain in the README how to avoid this issue (for example: use docker or WSL/ubuntu instead of MSYS).

d3m3vilurr commented 4 years ago

we don't need to reopen this issue until to break our binary repo. it could be windows or windows mingw problem.

C:\>curl --version
curl 7.55.1 (Windows) libcurl/7.55.1 WinSSL
Release-Date: [unreleased]
Protocols: dict file ftp ftps http https imap imaps pop3 pop3s smtp smtps telnet tftp
Features: AsynchDNS IPv6 Largefile SSPI Kerberos SPNEGO NTLM SSL

C:\>curl -I dl.vitasdk.org/zlib.tar.xz
HTTP/1.1 200 OK
Server: nginx
Date: Mon, 17 Feb 2020 13:25:56 GMT
Content-Type: application/octet-stream
Content-Length: 72480
Last-Modified: Tue, 11 Feb 2020 10:56:00 GMT
Connection: keep-alive
ETag: "5e428840-11b20"
X-Frame-Options: SAMEORIGIN
Accept-Ranges: bytes

here is my cases