部署步骤 - Githubissues

cairijun / blast_online

Biobrick Blast Online

MIT License

0 stars 0 forks source link

部署步骤 #3

Open cairijun opened 10 years ago

cairijun commented 10 years ago

依赖：Redis、Python、Blast、pip_requirements.txt中的Python包。

config.py中配置如下： CELERY_BROKER: Celery队列后端地址，默认为本地Redis服务器 BLAST_DEFAULT_KWARGS: Blast的默认参数 BLAST_DB_DIR: Blast数据库路径 BLAST_INPUT_DIR: Blast输入文件路径 BLAST_OUTPUT_DIR: Blast输出文件路径 POLL_STATUS_RETRIES: 每次长轮询请求状态查询次数

配置完成后运行run_server.py。

hm-fannie commented 10 years ago

是让我在我的本机部署吗？

cairijun commented 10 years ago

没关系呀～如果你自己部署一份的话调试会方便些

hm-fannie commented 10 years ago

嗯～那数据库文件有吗？部署所需要的所有文件都在github这里了么？

hm-fannie commented 10 years ago

你服务器改一下js引入位置，我先做下测试T T

cairijun commented 10 years ago

数据库我放在http://lab.richardtsai.info:5000/static/blast_db.7z

cairijun commented 10 years ago

已改

hm-fannie commented 10 years ago

github 上我css文件也有做更新～

黄敏 Huang Min Student ID 11331131

中山大学软件学院软件工程计算机应用软件 Sun Yat-sen University, Schools of Software Software engineering, computer application software

------------------ 原始邮件 ------------------ 发件人: "Richard Tsai"notifications@github.com; 发送时间: 2014年5月12日(星期一) 下午4:54 收件人: "richardtsai/blast_online"blast_online@noreply.github.com; 抄送: "黄敏"444792006@qq.com; 主题: Re: [blast_online] 部署步骤 (#3)

已改 — Reply to this email directly or view it on GitHub.

hm-fannie commented 10 years ago

数据库文件要怎么用。需要导入吗？还是直接static里面就不用管了？

cairijun commented 10 years ago

解压，把所有数据库放在blast_db目录就行了

hm-fannie commented 10 years ago

179d9a24-0dad-4126-9298-17e63540226a 因为第一次用redis，不是很懂怎么搞～我下载了redis，然后输入下面的命令安装并启动了redis，不知道这样行不行－－－－－－－ cd redis-2.8.7 sudo make sudo make test sudo make isntall cd src/ ./redis-server －－－－－－－ pip_requirements.txt中的Python包我都装了，Blast指的是那些数据库文件吧？我也解压放在static/blast_db里面了，不过查询请求的时候还是500

cairijun commented 10 years ago

不是～Blast是指底层的Blast程序，在ftp://ftp.ncbi.nih.gov/blast/executables/blast+/2.2.29/

hm-fannie commented 10 years ago

下载速度有够慢的。。目测需要24小时才能下载完

linjinjin123 commented 9 years ago

【igem2015问题】准备在本项目上增加功能，然而本地部署后运行遇到的问题

平台：window8.1 X64 已安装依赖：Redis、Python、Blast、pip_requirements.txt中的Python包其中Redis安装的是https://github.com/MSOpenTech/redis/releases 里面的 Redis-x64.msi Python、Blast、pip_requirements.txt的安装应该没有什么问题

数据文件blast_db存放在根目录下，并且由于项目不存在tmp文件了（被删掉了？），我又自己新建了这个目录，结构如下

.
├── blast_db 
├── worker                      
├── tmp                   
│   └── input
│   └── output
└──  webservice

出现的问题：

本地运行后，打开网址，查询一个序列 atgcacaaaactgttcgtgctgttcgtcagaaagttcacaaatctactgttcagactctcgagaggaagggagaggagct （生物组的人给的），在http://biobrickblast.sysusoftware.info/ 上可以成功返回结果（证明序列没有问题），而在本机上只会出现下面这样一直queuing的状态，并且一直是这个状态

尝试的解决方法：以为是Redis部署出现问题，进入redis-cli 后shutdown然后重新运行 redis-server redis.windos.conf重启数据库，但问题依然存在，求帮助~@richardtsai

cairijun commented 9 years ago

任务队列没启动，在blast_online目录运行一下celery worker -A worker

linjinjin123 commented 9 years ago

【部署成功】

早上把环境部署好了，期间出现一些小问题我用的是windows环境，装完celery后在页面点击查询时，celery会弹出缺少vcomp100.dll，网上找了一个放入windows/system32文件夹后重新运行又会出现0xc000007b的错误，尝试安装VC++2010，无法解决，之后把之前找的vcomp100.dll删除后重新安装VC++2010，解决了这个问题。目前已经可以成功在网页查询数据库的内容了。

【新的问题】

现在有个小任务就是要把数据库某个键（TYPE）的值的种类找出来我用redis-cli运行keys *之后发现出现的键值都是跟celery有关的内容然后我又装了一个redis desktop manager，新建连接后，出现这样的数据库列表 只有第一个里面的内容是可查询的，并且都是有关celery的任务执行反馈信息，status之类的。 不知道是不是有关生物内容部分被加密了？还是我打开的方式不对? 不过在127.0.0.1：5000页面是可以成功查询的，所以说数据库应该是部署好了，只是管理工具和redis-cli都查不出有关的键值。每一次在网页查询，管理工具的第一个表都会增加一个数据项，所以应该是连接对了~~只是不懂为什么下面都是0。。这样就没办法直接通过数据库管理查其他数据了~ 麻烦日哥帮忙指引一下^.^ @richardtsai

cairijun commented 9 years ago

Redis只负责保存任务的调度的信息，生物砖的数据库在blast_db目录下面的文件中，用blast查看每次查询的结果保存在tmp目录下

在 2015年5月16日，09:24，linjinjin notifications@github.com 写道：

【部署成功】

早上把环境部署好了，期间出现一些小问题我用的是windows环境，装完celery后在页面点击查询时，celery会弹出缺少vcomp100.dll，网上找了一个放入windows/system32文件夹后重新运行又会出现0xc000007b的错误，尝试安装VC++2010，无法解决，之后把之前找的vcomp100.dll删除后重新安装VC++2010，解决了这个问题。目前已经可以成功在网页查询数据库的内容了。

【新的问题】

现在有个小任务就是要把数据库某个键（TYPE）的值的种类找出来

我用redis-cli运行keys *之后发现出现的键值都是跟celery有关的内容

然后我又装了一个redis desktop manager，新建连接

后，出现这样的数据库列表

只有第一个里面的内容是可查询的，并且都是有关celery的任务执行反馈信息，status之类的。不知道是不是有关生物内容部分被加密了？还是我打开的方式不对? 不过在127.0.0.1：5000页面是可以成功查询的，所以说数据库应该是部署好了，只是管理工具和redis-cli都查不出有关的键值麻烦日哥帮忙指引一下^.^ @richardtsai

— Reply to this email directly or view it on GitHub.

linjinjin123 commented 9 years ago

blast好像只能做一些通过一个序列查询数据库里面的内容这种事吗？我看到官方的文档好像都是给一个序列然后设定一系列的参数来返回结果~~ 然而我现在需要做的是找到里面某一个属性的所有值，而不通过序列的方法来查询，这样是否可以实现的？因为我也找不到其他的UI管理工具，看到文档的查询命令行的都是blastn -query .序列..之类的...目前还没看清楚里面数据的存放状态。如果用blast没有办法实现这个任务，我觉得可能需要拿到之前生成这个数据库的原始数据表来做了。。 @richardtsai

cairijun commented 9 years ago

blast里面有一个程序可以把数据库转换回fasta格式的，具体哪个我忘了

在 2015年5月16日，18:05，linjinjin notifications@github.com 写道：

blast好像只能做一些通过一个序列查询数据库里面的内容这种事吗？我看到官方的文档好像都是给一个序列然后设定一系列的参数来返回结果~~ 然而我现在需要做的是找到里面某一个属性的所有值，而不通过序列的方法来查询，这样是否可以实现的？因为我也找不到其他的UI管理工具，看到文档的查询命令行的都是blastn -query .序列..之类的...目前还没看清楚里面数据的存放状态。如果用blast没有办法实现这个任务，我觉得可能需要拿到之前生成这个数据库的原始数据表来做了。。 @richardtsai

— Reply to this email directly or view it on GitHub.

linjinjin123 commented 9 years ago

【成功转换blast数据库到fasta格式】

命令如下： blastdbcmd -db db_name -entry all -outfmt %f -out output.fasta

另外在google过程中发现一个python的第三方库Biopython。快速入门地址： http://biopython.org/DIST/docs/tutorial/Tutorial.html 文档地址： http://biopython.org/DIST/docs 虽然这次任务没有用到这个第三方库，但是浏览了一遍tutorial之后发现功能还是挺强大的，可能后期可以用到。在这记录下也方便以后的igem团队可以了解。

第一个抓取TYPE类型的小任务已完成~感谢日哥~