nownabe commented 7 years ago

取り組んだ課題

https://github.com/ko1/rubyhackchallenge/blob/master/tasks.md#ビルドした-ruby-での-gem-のテスト

現在、ビルドした Ruby で Gem など、外部ライブラリを、ビルドした Ruby で、他の影響を与えないで適切にテストする方法がありません。というのも、Gem の場合、Gem のテストのために他の Gem を利用したりする必要があるためです。区切られた環境（サンドボックス）を用いることで

成果

https://gist.github.com/nownabe/b09db191e34206882b66b2e6ae2c7658
- make installした先でGemをテストするスクリプト
- テストの流れ
- Gemを指定するとYAMLの定義に従ってGemのレポジトリをクローン
- Gemの依存Gemをmake install先にインストール
- YAMLの定義に従ってテストを実行
https://github.com/nownabe/docker-rubygems-test (未完成)
- 前半、CI用にDockerイメージを作ろうとして、やっぱりRubyをHackしてる感がなくてやめたやつ

今後

サンドボックス要件が完全には満たせていないので、ビルドディレクトリにのみ閉じて(make install不要)Gemのテストを実行できるように修正する
/toolにスクリプトを作り、make testgemのような形で実行できるようにする
ある程度、レポジトリやテストコマンドを自動検知できるようにする

nownabe commented 7 years ago

土日で続きをやってみました。 https://github.com/nownabe/ruby/commit/fafe53e43badaa55eff8541484359328627e8039

現在はまだいろいろ制限がありますが、make testgemで環境を汚さずにGemがテストできるようになりました。

Usage:

$ mkdir build
$ cd build
$ ../ruby/configure --prefix=`pwd`/../install --enable-shared
$ make -j

# YAMLに定義されているGemすべてのテストを実行
$ make testgem

# 特定のGemのテストを実行
$ make testgem GEMS=benchmark_driver

制限:

--enable-shared必須
Linuxnのみ (Fedora 25でしか確認できていない)

課題

--enable-sharedなしでのテスト (必要？)
他の環境でのテスト
Mac対応

nownabe commented 7 years ago

make testgemを通すために必要な環境構築

Debian 9 (Stretch)

sudo apt-get install \
  g++ \
  ncurses-dev \
  ragel \
  libxml2-dev \
  default-libmysqlclient-dev \
  libpq-dev \
  libsqlite3-dev \
  libfcgi-dev

CentOS 7

sudo yum install -y epel-release
sudo yum install -y \
  git \
  autoconf \
  ruby \
  gcc \
  bison \
  bzip2 \
  openssl-devel \
  libyaml-devel \
  libffi-devel \
  readline-devel \
  zlib-devel \
  gdbm-devel \
  ncurses-devel \
  gcc-c++ \
  libxml2-devel \
  mysql-devel \
  postgresql-devel \
  sqlite-devel \
  fcgi-devel

Fedora 25

sudo dnf install -y \
  cmake \
  pandoc

nownabe commented 7 years ago

テスト状況

v2_4_2 / --enable-sharedなし

[ ] Debian 8
[ ] Debian 9
[ ] CentOS 6
[ ] CentOS 7
[ ] Ubuntu 14.04
[ ] Ubuntu 16.04
[ ] Ubuntu 17.04
[ ] macOS Sierra

v2_4_2 / --enable-sharedあり

[ ] Debian 8
[ ] Debian 9
[ ] CentOS 6
[ ] CentOS 7
[ ] Ubuntu 14.04
[ ] Ubuntu 16.04
[ ] Ubuntu 17.04
[ ] macOS Sierra

trunk / --enable-sharedなし

[ ] Debian 8
[ ] Debian 9
[ ] CentOS 6
[ ] CentOS 7
[ ] Ubuntu 14.04
[ ] Ubuntu 16.04
[ ] Ubuntu 17.04
[ ] macOS Sierra

trunk / --enable-sharedあり

[ ] Debian 8
[ ] Debian 9
[ ] CentOS 6
[ ] CentOS 7
[ ] Ubuntu 14.04
[ ] Ubuntu 16.04
[ ] Ubuntu 17.04
[ ] macOS Sierra

hsbt commented 7 years ago

@nownabe こんにちは、 @ko1 さんから紹介いただきました。Bundled Gems 全般を僕がみているので、レビューのち本体にマージできそうならマージしたいと思います。

ko1 commented 7 years ago

すげーどうでも良い話なんですが、test-all とか test-spec という既存の名前に合わせて、test-gem もしくは test-gems が良さそうに思いました。

nownabe commented 7 years ago

@hsbt ありがとうございます！ruby/rubyにPull Request投げる形でよろしいでしょうか？

@ko1 それもそうですね。test-gemsにします 🙌

hsbt commented 7 years ago

@nownabe pull request でお願いします!

nownabe commented 7 years ago

macOSはEl CapitanからDYLD_LIBRARY_PATHやDYLD_INSERT_LIBRARIESが継承できなくなっているらしい。。。 http://paulbeachsblog.blogspot.jp/2016/03/dyldlibrarypath-and-el-capitan.html

Mac対応は一旦保留 😞

ko1 commented 7 years ago

そのために、Mac だと ruby-runner というものを作っているようです。

nownabe commented 7 years ago

@ko1 なるほど…！そういえばrunrubyでみました。確認してみます！:pray:

Gem::Ext::Builderが実行するコマンドをなんらかのパッチで差し替える感じかな