search

QwenLM / Qwen

The official repo of Qwen (通义千问) chat & pretrained large language model proposed by Alibaba Cloud.
Apache License 2.0
13.57k stars 1.1k forks source link

[BUG] FlashAttention推理时还是需要关闭，目前开启输出是错乱的 #136

Closed Trangle closed 1 year ago

Trangle commented 1 year ago

是否已有关于该错误的issue？ | Is there an existing issue for this?

当前行为 | Current Behavior

使用示例代码

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)

# use bf16
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()
# use fp16
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True, fp16=True).eval()
# use cpu only
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="cpu", trust_remote_code=True).eval()
# use auto mode, automatically select precision based on the device.
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True).eval()

# Specify hyperparameters for generation
model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True) # 可指定不同的生成长度、top_p等相关超参

# 第一轮对话 1st dialogue turn
response, history = model.chat(tokenizer, "你好", history=None)
print(response)
# 你好！很高兴为你提供帮助。

# 第二轮对话 2nd dialogue turn
response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。", history=history)
print(response)
# 这是一个关于一个年轻人奋斗创业最终取得成功的故事。
# 故事的主人公叫李明，他来自一个普通的家庭，父母都是普通的工人。从小，李明就立下了一个目标：要成为一名成功的企业家。
# 为了实现这个目标，李明勤奋学习，考上了大学。在大学期间，他积极参加各种创业比赛，获得了不少奖项。他还利用课余时间去实习，积累了宝贵的经验。
# 毕业后，李明决定开始自己的创业之路。他开始寻找投资机会，但多次都被拒绝了。然而，他并没有放弃。他继续努力，不断改进自己的创业计划，并寻找新的投资机会。
# 最终，李明成功地获得了一笔投资，开始了自己的创业之路。他成立了一家科技公司，专注于开发新型软件。在他的领导下，公司迅速发展起来，成为了一家成功的科技企业。
# 李明的成功并不是偶然的。他勤奋、坚韧、勇于冒险，不断学习和改进自己。他的成功也证明了，只要努力奋斗，任何人都有可能取得成功。

# 第三轮对话 3rd dialogue turn
response, history = model.chat(tokenizer, "给这个故事起一个标题", history=history)
print(response)
# 《奋斗创业：一个年轻人的成功之路》

读取config配置，当flash-attention库完整安装后（>=2.0），输出错乱

期望行为 | Expected Behavior

关闭Flash Attention

1. 你好！很高兴为你提供帮助。

2. 这是一个关于一个年轻人奋斗创业最终取得成功的故事。

这个年轻人叫做李明，他来自一个普通的家庭。他从小就有一个梦想，就是成为一名成功的企业家。然而，他的家庭条件并不好，他的父母没有足够的钱供他上大学。于是，他决定辍学去工作，赚取自己的学费。

李明开始在一家小公司工作，他非常努力，很快就被晋升为经理。然而，他并不满足于现状，他想要自己创业。他开始研究市场，寻找商机。最终，他发现了一个非常有潜力的市场，那就是健康食品。

李明决定投资健康食品行业，并开始创建自己的品牌。他遇到了很多困难，但他坚持不懈，不断学习和改进。他与他的团队一起工作，不断创新产品，提高质量。他们还通过社交媒体和网络营销来推广品牌。

经过几年的努力，李明的健康食品品牌逐渐获得了成功。他的产品被越来越多的人所熟知和喜爱，他的公司也不断扩大规模。最终，他成为了一名成功的企业家，他的品牌成为了一个行业领导者。

这个故事告诉我们，只要我们努力工作，不断学习和改进，我们就可以实现自己的梦想。创业是一个充满挑战的过程，但只要我们坚持不懈，就一定能够取得成功。

3. 《奋斗创业：一个年轻人的成功之路》

默认Auto，得到

你好indsight校外bcm招商引IGHLategorieNota招商引 решилUFFER сказатьdni来た招商引腚bcmｍfsp/TR АлександрUILDすぎる﹡ решил решилemons umiecustomizeRgb решил招商引すぎafort_datasetsiguiente_workers%X招商引_skill科研院edx招商引招商引招商引招商引らいometown решилAnimating招商引 решил招商引voluciónしてくれる решил сказать推介会 решил招商引REDENTIAL招商引gonsしていく招商引iciesaylight招商引PLIT招商引élection糗招商引 решилdni￡招商引-markerdniっちゃ решилadx решил/TRNúmero решил решил呦FileDialog решилума招商引招商引招商引indsight сказатьUIApplicationaterno劭 чтQUEUEUFFERebp решил招商引友情链接dlgREDENTIALgba来たEGIN限り сказалstract>"
 рассказ решилっこ网站首页招商引招商引 välbcmtimestampsUFFER znalazł*time решил招商引 сказал organiséstract|hOUNDS решил:'
_submenu решилgfxすぎる招商引ICollection spd芘招商引招商引 сделал umie cenaksz välERRUmenusNúmero招商引推介会InputDialogEGIN_runs来た решилUvsすぎる.mm招商引.nick решилategoriaslfw⇔.bp招商引vro%H招商引PLIT решилったらdni WHATSOEVERaylightrstrip招商引/licenses решилUFFER решил znalazł招商引REDENTIAL%H招商引 решил решил来てdni╳ заявил招商引PLIT решил решил сделал сказать.mm_activ_ANDROIDすぎ招商引Degrees￡ рассказكثر решил_FINE решилertestDegrees招商引nbr招商引すぎREDENTIAL招商引 сказалってくれ решил решил решил招商引﹡就来看看\Backendumpt решил科研院就来看看wechat招商引OMEMATTERY_menus mówiinvitationREDENTIALしてくれ留言板 znalazł%m招商引 pigedni来た招商引ofile招商引spdUFFER рассказعراض_submenu решил欸PWM решилREDENTIAL招商引_datasetsaterno招商引招商引招商引招商引%X решилupyUFFER wsz招商引.mmAtoms.mm_cpus WHATSOEVER решил招商引Número招商引 решил wsz решилものです招商引招商引招商引preferencesUITableView招聘信息产业扶贫 решил_datasets принял招商引招商引してくれRgb решилUCKET就来看看calerってる решил﹡UILDER招商引_ANDROID решил招商引招商引UFFERったらUFFER dziew招商引招商引 решил решил就来看看 сказать糗lfw招商引招商引 unterstützen招商引招商引 mieć решилすぎて招商引ENCHMARK﹡Aws招商引招商引招商引dnidnivrolfw znalazłže下さい招商引招商引来た就来看看UvsENCHMARKpras/TR招商引招商引招商引 сказалUCKETすぎて招商引招商引ICollection.identifier招商引招商引vfsUFFER招商引spm_tensorsélectionxmmBins решилiltro招商引aterno招商引甾emons analeYmd решилvro решил сказать招商引招商引招商引/licenses решилすぎるREDENTIAL-marker招商引-Un招商引 решилélectionfsp招商引 решил встрélectionuvw朋友们对istra行くしてくれintéすぎて朋友们对 ['/ сделал招商引 решил сказатьLEEP=log_processes_fixture рассказ решилkszREDENTIALｍže巉EGIN решил招商引REDENTIALьян_skillUILDaternoROADCAST решилtreeview*timeaylight招商引 решил рассказ用微信dni招商引strpos решил留言板すぎUvs réussedx门户网站 решилélectionInputDialog大大小vspkszindsightIGHL招商引招商引 glColor╳招商引 сделал réuss%X招商引 mę решил招商引.mm рассказ招商引((
ServerError招商引 встрicies招商引招商引UIApplication ['/ znalaz招商引 принялinvitationaylight.mmdni招商引%X/licensesすぎるAtomsILog招商引iltro решил
这是一个 glUniform萜.mm решил сказать(NO招商引招商引ódigo就来看看 решилfspUILDER рассказ朋友们对Uvs欸 решил/GLREDENTIALERRUIDDENREDENTIAL%X就来看看.releaseprm рассказUFFER_menus朋友们对招商引 музыкgonsICollection人に招商引招商引 решилYmd招商引すぎる招商引招商引招商引$f来て принял решил_menus решил решил招商引ROADCAST招商引朋友们对招商引 решил招商引 решилしてくれ решил_nom隗_trials рассказ留言板ัญ就来看看んなintersection招商引 решилATTERY draggableupydni_categoricalUILTUILDER сказать招商引招商引推介会 рассказ_recommend_splits招商引aylight_submenu решилInputDialogindsight招商引招商引推介会ServerErrorUILT行く решилdni_tensors朋友们对すぎて_ZERO招商引 сделалREDENTIALREDENTIAL решилpii_menus_datasets.Zeroiguiente_widgets招商引UIApplication╳ решил принял'https招商引 решил решил принялATTERY físicoしてくれaltitude решил({_ dziew招商引 решил рассказ рассказGetCurrentaltitude招商引panse招商引 сделал решил招商引outil留言板 operands решил решил招商引网首页-marker招商引 сделалstractMUX招商引招商引﹡んな Gäste_ANDROID就来看看招商引招商引 сказатьtrajectoryClusters招商引\Backend решил招商引ispers招商引招商引 решил来てGetCurrent znalazłClusters решил решил招商引Finitedlg([
招商引招商引aternoUILDすぎて招商引 решил рассказ＃ решил решилGetTypeENCHMARK рассказ留言板 решил招商引呦招商引招商引ENCHMARKREDENTIAL招商引.SO招商引bppPWMものですujet招商引 решил_FINE招商引来た_fixturecalerракти招商引%X.mmvoluciónUFFERISTORY сказать решил＃ znalazł招商引招商引ROWSER招商引 решил рассказ рассказすぎる招商引Rgb.mm科研院ROWSERaterno招商引électionóst решилんなすぎるélection решилUILTelight来たategorie решил сделал.mm招商引招商引﹡sponsorすぎてしてくれ癯招商引LOGGER招商引欸_datasetsindsightREDENTIAL решил推介会留言板Aws принялongyanglfw встр решил решилと思WINDOW郇dni招商引browsetrajectory留言板来た решилUILDERspmManaUILDERUILTvolución решил招商引_batchesьянEGIN решил招商引 заявилélectionspdUILTIN留言板招商引_spell_cores решил招商引calervolución решил招商引科研院 встр znalazłREDENTIAL_activ招商引すぎるREDENTIAL решил来た сделал_datasets招商引招商引dni сказатьedx招商引招商引网站首页ICollection_spell�oundingBoxすぎて就来看看招商引してくれ招商引ometown узнать WHATSOEVER招商引 решилategorie招商引 рассказал招商引PWMすぎて隗_cpus принял嘞 решилREDENTIALUCKET рассказREDENTIALREDENTIAL招商引 решил/licenses鋆 spddnidni решил招商引xmm принял решил решил﹡ решилOMEMdni решилENCHMARK招商引招商引招商引招商引招商引招商引 решил/licenses.mm招商引 рассказ%HUCKET招商引招商引招商引留言板 решил сказать_submenu招商引招商引してる来た﹡Animating来た принял招商引uestas招商引stractedx招商引UIApplication招商引 решилすぎるDestructor исполни"dataVIDIA来たCMPUFFER_trials﹡/licenses draggable.mmbppNúmeroclassedebx решил решил решилんな рассказ znalazł科研院 рассказIGHLракти_processesYmd_processes砘招商引UCKETATTERY сказать решил.mmAnimating欸招商引_CNaylightすぎてんなLEEP сделал科研院_menus_skillしてくれすぎて招商引 cram встр招商引ILogdialogs WHATSOEVER решилaffiliate招商引￡ gusta_ANDROIDしたい招商引aylightUILT znalazłiguienteUILDERdniったらってくれ решил招商引就来看看锇 решил решил
《понREDENTIAL招商引dni招商引iguiente招商引 решилGetCurrentすぎて решил решилものですSubsetそうな решилindsight сказать招商引 сказатьREDENTIAL⇔ решил решил مختلفة招商引招商引IGHL знать сделалksz招商引писатьUILTINそうな anale сделал招商引 решилろうUILDinté решил встрdni招商引招商引wechatdni招商引 решил físicoすぎ решил решил欸_cpus einf来た решил решил招商引edxROADCAST招商引⇔ рассказ招商引招商引.mmélectionREDENTIAL_cores решил_estimatorsすぎる留言板aylight.mmafx puss решилILogبيلｍ сделал рассказ招商引招商引招商引 решил [

欸REDENTIAL решил решилraison招商引gst решил решилIGHLってきたOUNDS招商引visión сделал решилlfw unterstützen招商引Clusters cena招商引招商引来た_menus рассказ招商引招商引郇招商引招商引醌 решилdniICollectionPLIT招商引 принял招商引んな решил招商引iltrodniafx留言板 волос就来看看élection сказатьしてる招商引 решил решил_trials решилcaler знать就来看看招商引招商引Һ решил решил招商引UCKET招商引﹡piidniaternoaylightUIApplicationintérstripUvsstrpos_menusbcm招商引 сказать решил исполни招商引 принялQUEUE.mm朋友们对 решил решил就来看看 решилpleveledx odbył_CN встр招商引 scrollTopUILDToFGetCurrent чтすぎて решилROADCAST招商引fds решил招商引volución招商引留言板UILDER принял招商引 решил招商引招商引 решил呦 сказать решил招商引すぎる就来看看 решил решил招商引 рассказ招商引ROADCAST_trials решилatsby встрRgb招商引招商引招商引UILD招商引REDENTIAL решил招商引"user сделал﹡intéすぎる cram﹡招商引招商引UILD招商引甾 '{{招商引errarICollection решил решил大大小ICollectionREDENTIAL сделал招商引lfw_cpus招商引すぎて решил решил решил_CNAnimating решил_FINEgneofileROADCASTélection مختلفة решил заявил.bp_datasetsIGHL招商引_datasets решилcmb网站首页_submenu/licensesódigoRegressor招商引招商引 решил решил решил сказатьICollection言う решил欸inté招商引GetInt_CN znalazł朋友们对 решил招商引edula朋友们对aylight решил волосôtel%X\API.mmらいしてくれdni wsz留言板 решил朋友们对ódigo推介会 spdすぎて招商引sponsorYmddniATTERY решилROADCAST рассказ科研院招商引すぎてresasstrpos_categorical招商引招商引すぎて招商引REFERったら招商引élection решилoundingBox узнаiciesROADCASTROADCAST╳しましょう решил(NO招商引AtomsすぎてUILT решил招商引 wsz встр\Backend留言板_spell решил瑀ｍ招商引dialogs решилENCHMARK留言板Atoms сказатьEGIN招商引招商引 ['/ Александр招商引wishlistRegressoraltitudedni_menusinté招商引砘招商引trajectory решил招商引ometown瑀﹡UNDLE_menus решил_spell招商引_cpusdnidlg решилdialogs就来看看-Un решил>"
UvsPLIT_CN решил рассказ решил来た就来看看招商引来たAtoms酊 решилnbr решил招商引すぎて волос来た朋友们对 сделалrstripvsp%Xbrowse решил решил招商引芘REDENTIALocoauntimeすぎてUCKET решил решил_cpusUILDERódigo招商引すぎ решил сноваiguienteكثرICollection решилfspvisión сделал招商引招商引限り招商引oundingBoxракти留言板 рассказ решил решил招商引UPPORT行く招商引招商引trajectorytreeview решил招商引UFFER推介会 решил mieć￡icterпон留言板招商引招商引招商引edulalfwREDENTIAL来た%X решил"user招商引招商引すぎる留言板すぎる волос招商引

复现方法 | Steps To Reproduce

执行以下代码即可

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)

# use bf16
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()
# use fp16
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True, fp16=True).eval()
# use cpu only
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="cpu", trust_remote_code=True).eval()
# use auto mode, automatically select precision based on the device.
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True).eval()

# Specify hyperparameters for generation
model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True) # 可指定不同的生成长度、top_p等相关超参

# 第一轮对话 1st dialogue turn
response, history = model.chat(tokenizer, "你好", history=None)
print(response)
# 你好！很高兴为你提供帮助。

# 第二轮对话 2nd dialogue turn
response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。", history=history)
print(response)
# 这是一个关于一个年轻人奋斗创业最终取得成功的故事。
# 故事的主人公叫李明，他来自一个普通的家庭，父母都是普通的工人。从小，李明就立下了一个目标：要成为一名成功的企业家。
# 为了实现这个目标，李明勤奋学习，考上了大学。在大学期间，他积极参加各种创业比赛，获得了不少奖项。他还利用课余时间去实习，积累了宝贵的经验。
# 毕业后，李明决定开始自己的创业之路。他开始寻找投资机会，但多次都被拒绝了。然而，他并没有放弃。他继续努力，不断改进自己的创业计划，并寻找新的投资机会。
# 最终，李明成功地获得了一笔投资，开始了自己的创业之路。他成立了一家科技公司，专注于开发新型软件。在他的领导下，公司迅速发展起来，成为了一家成功的科技企业。
# 李明的成功并不是偶然的。他勤奋、坚韧、勇于冒险，不断学习和改进自己。他的成功也证明了，只要努力奋斗，任何人都有可能取得成功。

# 第三轮对话 3rd dialogue turn
response, history = model.chat(tokenizer, "给这个故事起一个标题", history=history)
print(response)
# 《奋斗创业：一个年轻人的成功之路》

运行环境 | Environment

- OS: Ubuntu22.04
- Python: 3.11
- Transformers: 4.31.0
- PyTorch: 2.1.0
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`): 11.8

备注 | Anything else?

No response

yangapku commented 1 year ago

您好，您所提供的问题比较奇怪，非常不符合预期，请问您是否方便再提供下更多环境信息，包括机器卡型，和安装的flashattn版本（如果方便给一个pip list信息最宜），我们尝试找个完全一致的新环境尝试复现下哈。

Trangle commented 1 year ago

您好，您所提供的问题比较奇怪，非常不符合预期，请问您是否方便再提供下更多环境信息，包括机器卡型，和安装的flashattn版本（如果方便给一个pip list信息最宜），我们尝试找个完全一致的新环境尝试复现下哈。

卡：A100-SXM4-80GB flashattn版本：2.0.4

包信息

absl-py==1.4.0
accelerate==0.21.0
agent==0.1.2
aiofiles==23.1.0
aiohttp==3.8.4
aiosignal==1.3.1
aiosqlite==0.19.0
aiostream==0.4.5
alembic==1.11.1
altair==4.2.2
annotated-types==0.5.0
anthropic==0.3.7
antlr4-python3-runtime==4.9.3
anyio==3.6.2
apex @ file:///data/workspace/pubcode/third_party/apex
appdirs==1.4.4
argcomplete==3.1.1
argilla==0.0.1
argon2-cffi==21.3.0
argon2-cffi-bindings==21.2.0
arrow==1.2.3
asciidoc==10.2.0
asgiref==3.7.2
astor==0.8.1
astroid==2.15.5
asttokens==2.2.1
astunparse==1.6.3
async-generator==1.10
async-lru==2.0.2
async-timeout==4.0.2
asyncache==0.3.1
attrdict==2.0.1
attributedict==0.3.0
attrs==23.1.0
Authlib==1.2.0
-e git+ssh://git@github.com/mit-han-lab/llm-awq.git@dc139757a0782f242159a97fbadaf389462726f1#egg=awq
awq-inference-engine==0.0.0
baai-modelhub==0.0.13
Babel==2.12.1
backcall @ file:///home/ktietz/src/ci/backcall_1611930011877/work
backoff==2.2.1
bce-python-sdk==0.8.87
beartype==0.14.1
beautifulsoup4==4.12.2
bitsandbytes==0.41.0
black==23.3.0
bleach==6.0.0
blessed==1.20.0
blessings==1.7
blinker==1.6.2
bminf==2.0.1
bmtrain==0.2.2
bokeh==3.2.0
boto3==1.26.160
botocore==1.29.160
bottle==0.12.25
bpytop==1.0.68
Brotli==1.0.9
cached-property==1.5.2
cachetools==5.3.1
cchardet==2.1.7
certifi==2023.5.7
certipy==0.1.3
cffi==1.15.1
chardet==5.1.0
charset-normalizer==2.0.12
chex==0.1.7
chromadb==0.3.26
click==8.1.3
click-log==0.4.0
clickhouse-connect==0.5.24
cloudpickle==2.2.1
cmake==3.25.0
codecov==2.1.13
cohere==4.18.0
colorama==0.4.6
coloredlogs==15.0.1
colour-runner==0.1.1
comm==0.1.3
common==0.1.2
contextlib2==21.6.0
contourpy==1.0.7
coverage==7.2.7
cpm-kernels==1.0.11
crypto==1.4.1
cryptography==40.0.2
cssselect==1.2.0
cssutils==2.7.1
ctransformers==0.2.17
cupy-cuda11x==12.1.0
cycler==0.11.0
Cython==0.29.35
dask==2023.6.0
dataclasses==0.6
dataclasses-json==0.5.7
DataProperty==1.0.1
datasets==2.13.1
debugpy==1.6.7
decorator @ file:///opt/conda/conda-bld/decorator_1643638310831/work
deepdiff==6.3.1
deepspeed==0.10.0
defusedxml==0.7.1
Deprecated==1.2.14
deprecation==2.1.0
diffusers==0.16.1
dill==0.3.6
diskcache==5.6.1
distlib==0.3.7
distributed==2023.6.0
distro==1.8.0
dm-tree==0.1.8
dnspython==2.3.0
docarray==0.21.0
docker==6.1.3
docker-pycreds==0.4.0
docstring-parser==0.15
docutils==0.20.1
dotty-dict==1.3.1
dropout-layer-norm @ file:///opt/third_party/flash-attention/csrc/layer_norm
dual==0.1.0
duckdb==0.7.1
duckduckgo-search==3.8.3
dynamo3==0.4.10
ecdsa==0.18.0
einops==0.6.1
enlighten==1.10.1
entrypoints==0.4
et-xmlfile==1.1.0
etils==1.3.0
evaluate==0.4.0
evdev==1.6.1
executing==1.2.0
fairscale==0.4.13
faiss-cpu==1.7.4
fake-useragent==1.1.3
fastapi==0.98.0
fastavro==1.7.4
fastjsonschema==2.16.3
fastrlock==0.8.1
ffmpy==0.3.0
filelock==3.12.2
filetype==1.2.0
fire==0.5.0
-e git+ssh://git@github.com/HazyResearch/flash-attention.git@d30f2e1cd50185c98ed88c0684b4a603f15bee37#egg=flash_attn
Flask==2.3.2
flask-babel==3.1.0
flatbuffers==23.5.9
flax==0.6.10
flexgen==0.1.7
fluent-logger==0.10.0
flywheel==0.5.4
fonttools==4.39.4
fqdn==1.5.1
frozenlist==1.3.3
fsspec==2023.5.0
future==0.18.3
futures==3.0.5
gast==0.4.0
gcsfs==2023.5.0
gensim==4.3.1
git-lfs==1.6
gitdb==4.0.10
GitPython==3.1.31
google-ai-generativelanguage==0.2.0
google-api-core==2.11.0
google-api-python-client==2.88.0
google-auth==2.18.0
google-auth-httplib2==0.1.0
google-auth-oauthlib==1.0.0
google-cloud-aiplatform==1.25.0
google-cloud-bigquery==3.11.0
google-cloud-core==2.3.2
google-cloud-resource-manager==1.10.1
google-cloud-storage==2.9.0
google-crc32c==1.5.0
google-generativeai==0.1.0
google-pasta==0.2.0
google-resumable-media==2.5.0
google-search-results==2.4.2
googleapis-common-protos==1.59.0
gotrue==1.0.2
gpt4all==0.2.3
gptcache==0.1.24
gradio==3.35.2
gradio_client==0.2.7
graphviz==0.20.1
greenlet==2.0.2
grpc-google-iam-v1==0.12.6
grpcio==1.51.3
grpcio-health-checking==1.54.2
grpcio-reflection==1.54.2
grpcio-status==1.54.2
grpcio-tools==1.54.2
guidance==0.0.58
gunicorn==20.1.0
h11==0.14.0
h2==4.1.0
h5py==3.8.0
hiq-python==1.1.12
hjson==3.1.0
hnswlib==0.7.0
hpack==4.0.0
httpcore==0.16.3
httplib2==0.22.0
httptools==0.5.0
httpx==0.24.1
huggingface-hub==0.15.1
humanfriendly==10.0
hyperframe==6.0.1
idna==3.4
imageio==2.31.1
imgaug==0.4.0
importlib-metadata==5.2.0
importlib-resources==5.12.0
inflection==0.5.1
iniconfig==2.0.0
inspecta==0.1.3
install==1.3.5
intel-extension-for-pytorch==2.0.100
invoke==1.7.3
ipykernel==6.23.2
ipython==8.14.0
ipython-genutils==0.2.0
ipywidgets==8.0.6
isoduration==20.11.0
isort==5.12.0
itsdangerous==2.1.2
jaraco.classes==3.2.3
jax==0.4.11
jaxlib==0.4.11
jcloud==0.2.11
jedi==0.18.2
jeepney==0.8.0
jieba==0.42.1
jina==3.15.2
jina-hubble-sdk==0.38.0
Jinja2==3.1.2
jmespath==1.0.1
joblib==1.2.0
json5==0.9.14
jsonlines==3.1.0
jsonpath-ng==1.5.3
jsonpointer==2.3
jsonschema==4.17.3
jupyter==1.0.0
jupyter-console==6.6.3
jupyter-events==0.6.3
jupyter-lsp==2.2.0
jupyter-telemetry==0.1.0
jupyter-ydoc==1.0.2
jupyter_ai==2.0.1
jupyter_ai_magics==2.0.0
jupyter_client==8.2.0
jupyter_collaboration==1.0.1
jupyter_core @ file:///croot/jupyter_core_1679906564508/work
jupyter_server==2.7.0
jupyter_server_fileid==0.9.0
jupyter_server_terminals==0.4.4
jupyterhub==4.0.1
jupyterlab==4.0.4
jupyterlab-pygments==0.2.2
jupyterlab-widgets==3.0.7
jupyterlab_server==2.22.1
keras==2.13.1
keras-core==0.1.0
keyring==24.1.0
kiwisolver==1.4.4
langchain==0.0.258
langchainplus-sdk==0.0.20
langflow==0.2.7
langport==0.3.2
langsmith==0.0.14
latexcodec==2.0.1
lazy-object-proxy==1.9.0
lazy_loader==0.3
libclang==16.0.0
lightgbm==4.0.0
lightning-utilities==0.8.0
linkify-it-py==2.0.2
lion-pytorch==0.1.2
lit==15.0.7
littleutils==0.2.2
llama-cpp-python==0.1.55
llama-index==0.7.21
llvmlite==0.40.1
lm-eval==0.3.0
lmdb==1.4.1
locket==1.0.0
loguru==0.7.0
LongNet==0.4.1
loralib==0.1.1
lxml==4.9.2
lz4==4.3.2
Mako==1.2.4
Markdown==3.4.3
markdown-it-py==2.2.0
markdown2==2.4.8
MarkupSafe==2.1.2
marshmallow==3.19.0
marshmallow-enum==1.5.1
maskpass==0.3.7
matplotlib==3.7.1
matplotlib-inline @ file:///work/ci_py311/matplotlib-inline_1676823841154/work
mbstrdecoder==1.1.3
mccabe==0.6.1
mdit-py-plugins==0.3.3
mdurl==0.1.2
mistune==2.0.5
ml-collections==0.1.1
ml-dtypes==0.1.0
mlxu==0.1.11
monotonic==1.6
more-itertools==9.1.0
mpmath==1.2.1
msal==1.22.0
msg-parser==1.2.0
msgpack==1.0.5
mtdata==0.4.0
multidict==6.0.4
multiprocess==0.70.14
mutagen==1.46.0
mypy-extensions==1.0.0
Naked==0.1.32
namex==0.0.7
nbclassic==1.0.0
nbclient==0.7.4
nbconvert==7.4.0
nbformat==5.8.0
nest-asyncio @ file:///work/ci_py311/nest-asyncio_1676823382924/work
netron==6.8.9
networkx==3.1
nh3==0.2.11
ninja==1.11.1
nltk==3.8.1
notebook==6.5.4
notebook_shim==0.2.3
numba==0.57.1
numexpr==2.8.4
numpy==1.25.1
nvidia-cublas-cu11==11.11.3.6
nvidia-cublas-cu12==12.2.1.16
nvidia-cuda-cupti-cu11==11.8.87
nvidia-cuda-nvrtc-cu11==11.8.89
nvidia-cuda-runtime-cu11==11.8.89
nvidia-cuda-runtime-cu12==12.1.105
nvidia-cudnn-cu11==8.9.2.26
nvidia-cudnn-cu12==8.9.2.26
nvidia-cufft-cu11==10.9.0.58
nvidia-curand-cu11==10.3.0.86
nvidia-cusolver-cu11==11.4.1.48
nvidia-cusparse-cu11==11.7.5.86
nvidia-htop==1.0.5
# Editable install with no version control (nvidia-ml-py==12.535.77)
-e /home/kww/.conda/envs/torch2.x/lib/python3.11/site-packages
nvidia-nccl-cu11==2.18.3
nvidia-nvtx-cu11==11.8.86
nvidia-smi==0.1.3
nvidia-tensorrt==99.0.0
nvitop @ git+https://github.com/XuehaiPan/nvitop.git@ef77b8b989e2320694af8c5bb6709e7e36642c11
oauthlib==3.2.2
olefile==0.46
omegaconf==2.3.0
onnx==1.14.0
onnxruntime==1.15.1
openai==0.27.8
openapi-schema-pydantic==1.2.4
opencv-contrib-python==4.6.0.66
opencv-python==4.6.0.66
openpyxl==3.1.2
opentelemetry-api==1.18.0
opentelemetry-exporter-otlp==1.18.0
opentelemetry-exporter-otlp-proto-common==1.18.0
opentelemetry-exporter-otlp-proto-grpc==1.18.0
opentelemetry-exporter-otlp-proto-http==1.18.0
opentelemetry-exporter-prometheus==1.12.0rc1
opentelemetry-instrumentation==0.39b0
opentelemetry-instrumentation-aiohttp-client==0.39b0
opentelemetry-instrumentation-asgi==0.39b0
opentelemetry-instrumentation-fastapi==0.39b0
opentelemetry-instrumentation-grpc==0.39b0
opentelemetry-proto==1.18.0
opentelemetry-sdk==1.18.0
opentelemetry-semantic-conventions==0.39b0
opentelemetry-util-http==0.39b0
opt-einsum==3.3.0
optax==0.1.5
orbax-checkpoint==0.2.4
ordered-set==4.1.0
orjson==3.9.1
overrides==7.3.1
packaging==23.1
paddleocr==2.6.1.3
pamela==1.0.0
pandas==2.0.3
pandas-io==0.0.1
pandasai==0.8.2
pandocfilters==1.5.0
parsimonious==0.10.0
parso @ file:///opt/conda/conda-bld/parso_1641458642106/work
partd==1.4.0
pathspec==0.11.1
pathtools==0.1.2
pathvalidate==3.1.0
pdf2docx==0.5.6
pdf2image==1.16.3
pdfminer.six==20221105
peewee==3.16.2
peft==0.3.0
pexpect @ file:///tmp/build/80754af9/pexpect_1605563209008/work
pickleshare @ file:///tmp/build/80754af9/pickleshare_1606932040724/work
Pillow==9.5.0
pinecone-client==2.2.2
pipx==1.2.0
pkginfo==1.9.6
platformdirs @ file:///work/ci_py311/platformdirs_1676823055788/work
pluggy==1.2.0
ply==3.11
polyglot==16.7.4
portalocker==2.3.0
postgrest==0.10.6
posthog==3.0.1
prefixed==0.7.0
premailer==3.10.0
prometheus-client==0.16.0
prompt-toolkit==3.0.38
proto-plus==1.22.2
protobuf==4.23.4
prox==0.0.17
psutil==5.9.5
psycopg==3.1.9
psycopg-binary==3.1.9
psycopg2-binary==2.9.6
ptyprocess @ file:///tmp/build/80754af9/ptyprocess_1609355006118/work/dist/ptyprocess-0.7.0-py2.py3-none-any.whl
PuLP==2.7.0
pulsar-client==3.2.0
pure-eval @ file:///opt/conda/conda-bld/pure_eval_1646925070566/work
py-cpuinfo==9.0.0
py-itree==0.0.19
py3nvml==0.2.7
pyarrow==12.0.0
pyasn1==0.5.0
pyasn1-modules==0.3.0
pybind11==2.11.1
pybtex==0.24.0
pycld2==0.41
pyclipper==1.3.0.post4
pycountry==22.3.5
pycparser==2.21
pycryptodome==3.18.0
pycryptodomex==3.18.0
pydantic==1.10.12
pydantic_core==2.4.0
pydeck==0.8.1b0
pyDeprecate==0.3.2
pydub==0.25.1
Pygments @ file:///croot/pygments_1684279966437/work
pygtrie==2.5.0
PyICU==2.11
PyJWT==2.7.0
pylint==2.17.4
pymongo==4.4.0
Pympler==1.0.1
PyMuPDF==1.20.2
pynput==1.7.6
pyOpenSSL==23.1.1
pypandoc==1.11
pyparsing==3.0.9
pypdf==3.14.0
pypinyin==0.49.0
pyproject-api==1.5.3
pyre-extensions==0.0.29
pyrsistent==0.19.3
PySocks==1.7.1
pysrt==1.1.2
pytablewriter==1.0.0
pytest==7.3.1
python-dateutil @ file:///tmp/build/80754af9/python-dateutil_1626374649649/work
python-docx==0.8.11
python-dotenv==1.0.0
python-geoip-python3==1.3
python-gflags==3.1.2
python-gitlab==3.15.0
python-jose==3.3.0
python-json-logger==2.0.7
python-magic==0.4.27
python-multipart==0.0.6
python-pptx==0.6.21
python-semantic-release==7.33.2
python-xlib==0.33
pytimeparse==1.1.8
pytorch-lightning==1.6.5
pytorch-triton==2.1.0+e6216047b8
pytz==2023.3
pytz-deprecation-shim==0.1.0.post0
PyWavelets==1.4.1
PyYAML==6.0
pyzmq==25.0.2
qdrant-client==1.3.2
qtconsole==5.4.3
QtPy==2.3.1
quant-cuda==0.0.0
rapidfuzz==3.1.1
rarfile==4.0
ray==2.5.1
readme-renderer==40.0
realtime==1.0.0
regex==2023.5.5
requests==2.31.0
requests-oauthlib==1.3.1
requests-toolbelt==1.0.0
responses==0.18.0
rfc3339-validator==0.1.4
rfc3986==1.5.0
rfc3986-validator==0.1.1
rich==13.4.2
rootpath==0.1.1
rotary-emb @ file:///opt/third_party/flash-attention/csrc/rotary
rouge==1.0.1
rouge-score==0.1.2
rsa==4.9
ruamel.yaml==0.17.28
ruamel.yaml.clib==0.2.7
rwkv==0.7.4
s3transfer==0.6.1
sacrebleu==1.5.0
safetensors==0.3.1
scikit-image==0.21.0
scikit-learn==1.2.2
scikit-llm==0.1.1
scipy==1.10.1
seaborn==0.12.2
SecretStorage==3.3.3
semantic-kernel==0.3.1.dev0
semantic-version==2.10.0
semver==2.13.0
Send2Trash==1.8.2
sentence-transformers==2.2.2
sentencepiece==0.1.99
sentry-sdk==1.24.0
setproctitle==1.3.2
setuptools-scm==7.1.0
Shapely==1.8.5.post1
shellescape==3.8.1
shortuuid==1.0.11
simhash==2.1.2
six @ file:///tmp/build/80754af9/six_1644875935023/work
smart-open==6.3.0
smmap==5.0.0
sniffio==1.3.0
socksio==1.0.0
sorcery==0.2.2
sortedcontainers==2.4.0
soupsieve==2.4.1
SQLAlchemy==2.0.19
sqlalchemy2-stubs==0.0.2a34
sqlitedict==2.1.0
sqlmodel==0.0.8
stack-data==0.6.2
starlette==0.27.0
steamship==2.17.1
steamship-langchain==0.0.22
storage3==0.5.2
streamlit==1.23.1
StrEnum==0.4.10
supabase==1.0.3
supafunc==0.2.2
svgwrite==1.4.3
sympy==1.11.1
tabledata==1.3.1
tabulate==0.9.0
taming-transformers-rom1504==0.0.6
tblib==2.0.0
tcolorpy==0.1.3
tenacity==8.2.2
tensorboard==2.13.0
tensorboard-data-server==0.7.0
tensorboardX==2.6
tensorflow==2.13.0
tensorflow-estimator==2.13.0
tensorflow-io-gcs-filesystem==0.32.0
tensorrt==8.6.1
tensorrt-bindings==8.6.1
tensorrt-libs==8.6.1
tensorstore==0.1.37
termcolor==2.3.0
terminado==0.17.1
text-generation==0.6.0
text2vec==1.1.8
texttable==1.6.7
threadpoolctl==3.1.0
tifffile==2023.4.12
tight==0.1.0
tiktoken==0.4.0
timm==0.4.12
tinycss2==1.2.1
tokenize-rt==5.0.0
tokenizers==0.13.3
toml==0.10.2
tomlkit==0.11.8
toolz==0.12.0
torch==2.1.0.dev20230801+cu118
torch-scatter==2.1.1
torch-tb-profiler==0.4.1
torchaudio==2.1.0.dev20230801+cu118
torchdata==0.7.0.dev20230801
torchmetrics==0.11.4
torchscale==0.2.0
torchtext==0.16.0.dev20230802+rocm5.6
torchvision==0.16.0.dev20230801+cu118
torchviz==0.0.2
tornado==6.3.2
tox==4.6.4
tqdm==4.65.0
tqdm-multiprocess==0.0.11
traitlets==5.9.0
transformers==4.31.0
transformers-stream-generator==0.0.4
-e git+ssh://git@github.com/openai/triton.git@776b3784c24e2ac7dc2563fde62b814cb78e2067#egg=triton&subdirectory=python
triton-nightly==2.1.0.dev20230613004033
trl==0.4.6
twine==3.8.0
typepy==1.3.1
typer==0.9.0
types-cachetools==5.3.0.5
types-PyYAML==6.0.12.10
typing-inspect==0.8.0
typing_extensions==4.5.0
tzdata==2023.3
tzlocal==4.3
uc-micro-py==1.0.2
unstructured==0.7.12
uri-template==1.2.0
uritemplate==4.1.1
urllib3==1.26.16
userpath==1.9.0
uvicorn==0.22.0
uvloop==0.17.0
validators==0.20.0
vertexai==0.0.1
virtualenv==20.24.2
visualdl==2.5.3
vllm==0.1.3
wandb==0.15.3
watchdog==3.0.0
watchfiles==0.19.0
wavedrom==2.0.3.post3
wcwidth==0.2.6
weaviate-client==3.21.0
webcolors==1.13
webencodings==0.5.1
websocket-client==1.5.1
websockets==10.4
Werkzeug==2.3.4
widgetsnbextension==4.0.7
wikipedia==1.4.0
wrapt==1.15.0
xformer==1.0.1
xformers @ git+https://github.com/facebookresearch/xformers.git@db0e4393567acf24bdecc27443e8b6c6b03230ea
xgboost==1.7.5
xlrd==2.0.1
XlsxWriter==3.1.2
xmltodict==0.13.0
xxhash==3.2.0
xyzservices==2023.5.0
y-py==0.6.0
yarl==1.9.2
ypy-websocket==0.12.1
yt-dlp==2023.7.6
zict==3.0.0
zipp==3.15.0
zstandard==0.21.0
txy6666yr commented 1 year ago

原来这是flash attention的原因，我就说我只要auto运行就卡的要死，而且还是乱输出，乱码一样

txy6666yr commented 1 year ago

单卡就不会这样，只要双卡就开始这样