codefuse-ai / ModelCache

A LLM semantic caching system aiming to enhance user experience by reducing response time via cached query-result pairs.
Other
874 stars 43 forks source link

非常感谢蚂蚁开源code模型 #13

Closed wengyuan722 closed 9 months ago

wengyuan722 commented 11 months ago

现在有几个功能想请假大佬,我使用的CodeFuse-CodeLlama-34B-4bits的模型,对auto_gptq不熟悉,不知道怎么修改成的openai_api的功能,能不能给一个使用AutoTokenizer, AutoModelForCausalLM调模型的案例。 另外一个是,我提问是 你是一个数据分析师,请使用python进行数据分析。我已提供文件titanic.csv,文件地址是/mnt/bst/,请你分析一下这个文件,先读取这个文件,请写出python代码 回答: generate text is 首先,我们需要导入必要的库.我们将使用pandas,matplotlib和seaborn库.

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

然后,我们将读取文件.

df = pd.read_csv('/mnt/bst/titanic.csv')

接下来,我们将查看数据的前几行.

print(df.head())

然后,我们将查看数据的描述.

print(df.describe())

接下来,我们将查看数据的数据类型.

print(df.dtypes)

接下来,我们将查看数据中是否有缺失值.

print(df.isnull().sum())

接下来,我们将查看数据的唯一值.

print(df.nunique())

接下来,我们将查看数据的分布.

df.hist(bins=50, figsize=(20,15))
plt.show()

最后,我们将查看数据的相关性.

corr_matrix = df.corr()
sns.heatmap(corr_matrix, annot=True)
plt.show()

这些就是一些基本的数据分析步骤.你可以根据需要进行更多的数据分析. 回答是分段回答,这块我要怎么写提示词,形成一个整块的可马上执行的代码 非常感谢。

wang90063 commented 10 months ago

auto_gptq是一个后端推理工具。如果要改装成类似open_api的服务,您需要自己将后端封装一个http/grpc服务。

wengyuan722 commented 10 months ago

已封装完成,但是有一个问题是发现CodeFuse-CodeLlama-34B-4bits对echarts支持不足,这块后期蚂蚁会继续完善后开源不

wang90063 commented 9 months ago

对于echarts的支持暂时还没有在我们的计划中,但这是个非常好的提议,我们会考虑的