kakao / buffalo

TOROS Buffalo: A fast and scalable production-ready open source project for recommender systems
Apache License 2.0
575 stars 106 forks source link

Colab에서 buffalo 라이브러리 load Error #27

Closed dancing-with-coffee closed 1 year ago

dancing-with-coffee commented 4 years ago

안녕하세요. 이번에 카카오 아레나를 통해서 추천시스템을 공부중인 대학원생입니다.

서버의 사용 편의성을 위해 Google Colab으로 buffalo를 써보려고 시도중입니다.

pip install buffalo로는 colab에 설치가 되지 않아서, 직접 installation 페이지에 있는대로 installation from source code를 진행하였습니다. https://buffalo-recsys.readthedocs.io/en/latest/intro.html#installation

실제 사용 코드는 다음과 같습니다.

!git clone -b master https://github.com/kakao/buffalo %cd buffalo !ls !git submodule update --init !pip install -r requirements.txt !python setup.py install

를 실행시켜서 설치를 완료하면, 1.1.2 버젼이 성공적으로 설치가 됩니다.

그 이후에

import buffalo 를 실행하면 정상적으로 load가 되지만,

!pytest ./tests/algo/test_als.py -v를 실행하면, 다음과 같은 에러가 발생합니다.

Screen Shot 2020-05-16 at 8 20 45 PM

basic usage에 나와있었던 예시 코드대로, 라이브러리를 Import 했을 때도, 다음과 같은 에러가 발생합니다.

from buffalo.algo.als import ALS from buffalo.algo.bpr import BPRMF from buffalo.misc import aux, log from buffalo.algo.options import ALSOption, BPRMFOption import buffalo.data from buffalo.data.mm import MatrixMarketOptions

log.set_log_level(1)

Screen Shot 2020-05-16 at 8 27 31 PM

로컬 환경이었던, Ubuntu 18.04의 연구실 서버에서는 pip install buffalo로 설치가 바로 진행되어 잘 쓰고 있는 상황인데, colab에서는 어떤 문제 때문에 misc가 설치가 안되는지 모르겠습니다.

읽어주셔서 감사드리고, 답변 기다리겠습니다. 감사합니다!

ummae commented 4 years ago

안녕하세요. 버팔로에 관심을 가져주셔서 감사합니다.

colab과의 호환성 테스트는 해보지 못했으나 안 될 이유는 없을 것 같습니다. 내부에서도 테스트 해보고 답장 드리도록 하겠습니다.

감사합니다.

      1. 20:30, Kim Yong Dam notifications@github.com 작성:

 안녕하세요. 이번에 카카오 아레나를 통해서 추천시스템을 공부중인 대학원생입니다.

서버의 사용 편의성을 위해 Google Colab으로 buffalo를 써보려고 시도중입니다.

pip install buffalo로는 colab에 설치가 되지 않아서, 직접 installation 페이지에 있는대로 installation from source code를 진행하였습니다. https://buffalo-recsys.readthedocs.io/en/latest/intro.html#installation

실제 사용 코드는 다음과 같습니다.

!git clone -b master https://github.com/kakao/buffalo %cd buffalo !ls !git submodule update --init !pip install -r requirements.txt !python setup.py install

를 실행시켜서 설치를 완료하면, 1.1.2 버젼이 성공적으로 설치가 됩니다.

그 이후에

import buffalo 를 실행하면 정상적으로 load가 되지만,

!pytest ./tests/algo/test_als.py -v를 실행하면, 다음과 같은 에러가 발생합니다.

basic usage에 나와있었던 예시 코드대로, 라이브러리를 Import 했을 때도, 다음과 같은 에러가 발생합니다.

from buffalo.algo.als import ALS from buffalo.algo.bpr import BPRMF from buffalo.misc import aux, log from buffalo.algo.options import ALSOption, BPRMFOption import buffalo.data from buffalo.data.mm import MatrixMarketOptions

log.set_log_level(1)

로컬 환경이었던, Ubuntu 18.04의 연구실 서버에서는 pip install buffalo로 설치가 바로 진행되어 잘 쓰고 있는 상황인데, colab에서는 어떤 문제 때문에 misc가 설치가 안되는지 모르겠습니다.

읽어주셔서 감사드리고, 답변 기다리겠습니다. 감사합니다!

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dancing-with-coffee commented 4 years ago

안녕하세요. 답글 남겨주셔서 감사합니다.

제가 issue를 올린 동안 테스트해서 colab에서 pip install을 통해 실행하는 방법은 찾았습니다.

Screen Shot 2020-05-18 at 7 45 44 PM

이렇게 실행하니, 정상적으로 라이브러리 로드와 ALS model 실행까지 되는 것을 확인했습니다.

하지만, 이렇게 실행해도 pytest를 통한 에러는 여전히 해결되지 않았습니다. (소스 코드를 통한 빌드도 여러번 수행해보았는데, 전부 맨처음과 결과가 나왔습니다.)

약간의 불완전함이 있지만, github에 있는 여러 example들도 테스트 중입니다.

좋은 라이브러리를 공개해주셔서 정말 감사드리고, 테스트 결과나 나오면 추가 공유하겠습니다.

감사합니다!

gatherheart commented 3 years ago

!cd /content/ && python -m pytest ./buffalo/tests/algo/test_als.py -v

"./ext/ml-100k/main" 다운로드 후 위 Command로 실행해보시길 바랍니다.

현재 path와 pytest의 default python version(2.7.17) 문제였습니다.

dptmf35 commented 3 years ago

혹시 1.2.1 버전 업그레이드 되면서 코랩에서 같은 방법으로 실행이 안되나요? 이 글 보고 코랩에서 실행해 봤는데 pip 으로도 설치가 안되고, 언급하신 source code로도 설치가 되지 않아서요.. 도움 부탁드립니다 (__)

ita9naiwa commented 1 year ago

늦었지만 현재 pip 설치를 지원하고, colab에서는 테스트해보지 않았지만 임의의 리눅스 머신에서 동작을 확인했스빈다.