redleafnew / zotero-updateifsE

Green Frog https://github.com/redleafnew/zotero-updateifs 的easyScholar数据版。更新影响因子,其他一系列工具,详见Readme
GNU Affero General Public License v3.0
716 stars 22 forks source link

请问是否可以加上会议缩写的功能,可以通过维护1个列表补全到短标题字段 #19

Closed shliujing closed 1 year ago

shliujing commented 2 years ago

需求: IEEE 期刊的参考文献,刊名期刊要缩写,会议也需要,目前都是通过手动修改会议的缩写。 能否加个功能,通过维护1个会议列表,补全到短标题字段中。

参考:如下是一个比较全的刊名(期刊+会议)缩写(abrv.bib)和全名文件(full.bib) 链接:https://pan.baidu.com/s/1VTAYTfboSdFHimqFJSUZOw 提取码:1111

PS:会议比较“丧心病狂”,有些是要求半缩写(Proc. AAAI Conf. Artif. Intell.,) image

有些是全缩(CVPR) image

redleafnew commented 2 years ago

@l0o0 能集成到你的接口上吗? 需要提供什么格式的东西才可以集成到你接口上呢?

redleafnew commented 2 years ago

@shliujing 会议名称也放到期刊名称中吗?

shliujing commented 2 years ago

@redleafnew 1 如果能有接口就最好了~我想到的是通过自己维护列表,百度网盘那里面的算是比较全的,以后有需要个人也可以自己添。当然如果能做成可选匹配1 api或 2 本地就更好了 2 会议应该没有刊名缩写,所以我想到的是放到短标题中(导出后自己修改短标题成刊名)

另外就是,会议中的全名和本地维护的列表匹配,可能需要模糊匹配,因为会议名可能会是第xx届xx会,不是完全匹配会议全名的

redleafnew commented 2 years ago

期刊名缩写是@l0o0提供的接口。我不了解如何调用百度盘。

shliujing commented 2 years ago

@redleafnew 百度网盘那个是2个文件,可以下载下载,用作参考和分析的~ 如果调用本地,可以直接读文本来匹配或者整个local的sqlite导入读取匹配。如果可行的话,sqlite我可以整一下。(sqlite的话,就不太好手动添加维护了。可能json或者yaml格式比较合适)

redleafnew commented 2 years ago

@shliujing 你能把全称、缩写转换成这样的json吗? https://github.com/gitpwj/Js_load_remote_json/blob/master/j.json

redleafnew commented 2 years ago

我想到一个用quicker动作实现的方法,已经将你的数据转为json,导出几个会议论文的条目上传上来吧,Zotero可以识别的格式就可以。

shliujing commented 2 years ago

@redleafnew 大佬您好,今天看到这个project,通过py的命令转换会议缩写的映射关系(到json) https://github.com/MLNLP-World/SimBiber

可以研究一下这个。包括模糊匹配应该也都有

shliujing commented 2 years ago

我想到一个用quicker动作实现的方法,已经将你的数据转为json,导出几个会议论文的条目上传上来吧,Zotero可以识别的格式就可以。

我将一个IEEE期刊的bib文件传上来。有会议和期刊的,其中期刊的缩写是通过您的工具直接转换的,会议是根据自己维护的bib手动映射。 mylib.bib.txt

编译后的PDF的参考文献格式类似这样的

[1] L. Song, X. Hu, G. Zhang, P. Spachos, K. N. Plataniotis, and H. Wu,
“Networking systems of ai: On the convergence of computing and
communications,” IEEE Internet Things J., vol. 9, no. 20, pp. 20 352–
20 381, Oct. 2022.
[2] Y. Liu, J. Liu, J. Lin, M. Zhao, and L. Song, “Appearance-motion united
auto-encoder framework for video anomaly detection,” IEEE Trans.
Circuits Syst. II, vol. 69, no. 5, pp. 2498–2502, 2022.
[3] Z. Chen, B. Li, J. Xu, S. Wu, S. Ding, and W. Zhang, “Towards practical
certifiable patch defense with vision transformer,” in Proc. IEEE/CVF
Conf. Comput. Vis. Pattern Recognit., June 2022, pp. 15 148–15 158.
[4] S. Fang, X. Pan, S. Xiang, and C. Pan, “Meta-msnet: Meta-learning
based multi-source data fusion for traffic flow prediction,” IEEE Signal
Process. Lett., vol. 28, pp. 6–10, 2021.
[5] M. Shen, Y. Bu, and G. Wornell, “On the benefits of selectivity in
pseudo-labeling for unsupervised multi-source-free domain adaptation,”
Feb. 2022.
[6] G. Wilson, J. R. Doppa, and D. J. Cook, “Multi-source deep domain
adaptation with weak supervision for time-series sensor data,” in Proc.
ACM SIGKDD Int. Conf. Knowl. Discov. Data Min., Aug. 2020, pp.
1768–1778.
shliujing commented 2 years ago

@redleafnew 大佬您好,今天看到这个project,通过py的命令转换会议缩写的映射关系(到json):https://github.com/MLNLP-World/SimBiber

这个代码我还没细看,目前想到可以参考的点:

  1. 模糊匹配到会议缩写(比如第X届,会议名不是恒定的。Example Input and Output),比如: 全程:Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence 可以识别到转换为 缩写:Int. Joint Conf. Artif. Intell.
  2. 手动增加新的期刊/会议(参考 Adding a new conference)。可以在您之前的功能基础上,加上手动增加期刊/会议的功能,优先匹配本地,再匹配接口。因为经常会匹配到没有的期刊,导致每个都需要手动补充。
  3. 是否可以在设置里加入会议的缩写规模的选项功能,转换为全缩写或是半缩写,类似
    • 半缩写 Int. Joint Conf. Artif. Intell.
    • 全缩写 IJCAI
shliujing commented 2 years ago

我想到一个用quicker动作实现的方法,已经将你的数据转为json,导出几个会议论文的条目上传上来吧,Zotero可以识别的格式就可以。

另外quicker好像挺好用,最近听到旁边的同学提了好几次了。不过用quicker的话,mac就gg了...

redleafnew commented 2 years ago

我生成了全称-缩写的对应Excel,用于生成json,目前的思路是检索全称是否在会议名称中,然后用缩写替换会议名称中的内容。如果还需要其它缩写,可以在Excel中增加列再返回给我。 https://www.jianguoyun.com/p/DcuVFqQQtOD-BRiS4OgEIAA

redleafnew commented 2 years ago

我想到一个用quicker动作实现的方法,已经将你的数据转为json,导出几个会议论文的条目上传上来吧,Zotero可以识别的格式就可以。

我将一个IEEE期刊的bib文件传上来。有会议和期刊的,其中期刊的缩写是通过您的工具直接转换的,会议是根据自己维护的bib手动映射。 mylib.bib.txt

编译后的PDF的参考文献格式类似这样的

[1] L. Song, X. Hu, G. Zhang, P. Spachos, K. N. Plataniotis, and H. Wu,
“Networking systems of ai: On the convergence of computing and
communications,” IEEE Internet Things J., vol. 9, no. 20, pp. 20 352–
20 381, Oct. 2022.
[2] Y. Liu, J. Liu, J. Lin, M. Zhao, and L. Song, “Appearance-motion united
auto-encoder framework for video anomaly detection,” IEEE Trans.
Circuits Syst. II, vol. 69, no. 5, pp. 2498–2502, 2022.
[3] Z. Chen, B. Li, J. Xu, S. Wu, S. Ding, and W. Zhang, “Towards practical
certifiable patch defense with vision transformer,” in Proc. IEEE/CVF
Conf. Comput. Vis. Pattern Recognit., June 2022, pp. 15 148–15 158.
[4] S. Fang, X. Pan, S. Xiang, and C. Pan, “Meta-msnet: Meta-learning
based multi-source data fusion for traffic flow prediction,” IEEE Signal
Process. Lett., vol. 28, pp. 6–10, 2021.
[5] M. Shen, Y. Bu, and G. Wornell, “On the benefits of selectivity in
pseudo-labeling for unsupervised multi-source-free domain adaptation,”
Feb. 2022.
[6] G. Wilson, J. R. Doppa, and D. J. Cook, “Multi-source deep domain
adaptation with weak supervision for time-series sensor data,” in Proc.
ACM SIGKDD Int. Conf. Knowl. Discov. Data Min., Aug. 2020, pp.
1768–1778.

全称在哪个字段获得的,要写入缩写到哪个字段?

shliujing commented 2 years ago

我生成了全称-缩写的对应Excel,用于生成json,目前的思路是检索全称是否在会议名称中,然后用缩写替换会议名称中的内容。如果还需要其它缩写,可以在Excel中增加列再返回给我。 https://www.jianguoyun.com/p/DcuVFqQQtOD-BRiS4OgEIAA

上面是mylib.bib.txt结果文件,是zotero导出,latex论文编译时加载用的。

  1. booktitle 是刊名字段。zotero正常导出是全称名。期刊的缩写名,可以在导出时选择导出为半缩写字段。
  2. 会议的刊名,之前是我手动修改。如果用 https://github.com/MLNLP-World/SimBiber 跑python,可以替换会议的全称为全缩写。
  3. 全缩写字段,你可以先加一列,后面我来填充部分,或者跑脚本尽量补充。其实:
    • 我最初放的full.bib里,会议列表,格式是 Key = 全称(全缩写),如:@STRING{IEEE_C_CVPR = "{IEEE}/{CVF} International Conference on Computer Vision and Pattern Recognition ({CVPR})"}
    • abrv.bib里,会议列表,格式是 Key = 半缩写(全缩写),如:@STRING{IEEE_C_CVPR = "{IEEE}/{CVF} Inter. Conf. Comput. Vis. Pattern Recog. ({CVPR})"}
redleafnew commented 2 years ago

image 我是想了解你的会议全称在哪个字段放着,生成的缩写放在哪个字段?

如果需要其它缩写方式,需要你填充到那个excel中。

shliujing commented 2 years ago

image 我是想了解你的会议全称在哪个字段放着,生成的缩写放在哪个字段?

如果需要其它缩写方式,需要你填充到那个excel中。

  1. 全称是从 Proceedings Title 字段出来。
  2. 生成的缩写,我之前想的是在Short Title。但是你这么一截图,我觉得可以放在 Proceedings Title 下一个字段的Conference Name (因为这个字段基本是废的,有的话,大部分也是和Proceedings Title的值是一样的)
  3. 其他缩写,你看在哪个字段合适?要么再放个在Short Title也行。我现在加几个到你的excel列里
redleafnew commented 2 years ago

如果其它其他缩写,需要提供全部的全称对应的缩写哦,要不返回的是空值。

shliujing commented 2 years ago

如果其它其他缩写,需要提供全部的全称对应的缩写哦,要不返回的是空值。

稍等,我在写正则,匹配我试着前面全缩()里的缩写,待会填好发你excel。 是的,很多期刊不提供缩写,或者有需要让后面的人自己维护期刊的缩写吧。缩写主要还是用在会议多一些。

我刚试着填了几个,都是会议的:

European Semantic Web Conference ({ESWC}) Semantic Web Conf. ({ESWC}) ESWC
International Conference on Future Data and Security Engineering ({FDSE}) {Springer} Inter. Conf. Future Data Security Engg.({FDSE}) FDSE
International Conference on Image Analysis and Processing ({ICIAP}) {Springer} Inter. Conf. Image Anal. Process.({ICIAP}) ICIAP
International Symposium on Intelligent Data Analysis ({IDA}) Inter. Symp. Intell. Data Anal. ({IDA}) IDA
International Work-Conference on Artificial Neural Networks ({IWANN}) {Springer} Inter. Work. Conf. on Arti. Neural Net. ({IWANN}) IWANN
International Conference on Medical Image Computing and Computer-Assisted Intervention ({MICCAI}) Inter. Conf. Med. Imag. Comput.-Assist. Interv. ({MICCAI}) MICCAI
International Conference on Computer Safety, Reliability, and Security ({SAFECOMP}) Inter. Conf. Comp. Safe. Reliab. Security ({SAFECOMP}) SAFECOMP
International Symposium on Experimental Robotics ({ISER}) Inter. Symp. Exp. Robot. ({ISER}) ISER
shliujing commented 2 years ago

写了半天正则规则,匹配完后发现空的不少~ 暂时先这个吧,有需要后面慢慢维护。302行才开始有值。

full_abb.xlsx

  1. 我是先匹配.({([a-zA-Z]{1,10})+}).里到$1
  2. 再匹配@string.*到null
redleafnew commented 2 years ago

那就全称Proceedings Title,半缩写Conference name,缩写Short Title。我抽时间写个quicker动作。

shliujing commented 2 years ago

那就全称Proceedings Title,半缩写Conference name,缩写Short Title。我抽时间写个quicker动作。

感谢,辛苦你了。以后我看空闲些我来把那个repos里的功能加到插件里也行。最近赶论文,不太敢做花太多时间的东西。

redleafnew commented 2 years ago

你给的几个例子都是已经缩写好了的,有没有原始的,Proceedings Title是全称的,我试着匹配一下,得到两个缩写,分别写到上面说的两个字段中。

redleafnew commented 1 year ago

https://getquicker.net/Sharedaction?code=8720c333-aacd-41fd-be94-08dad4c69d2d

现在是完全匹配,没有模糊匹配第**届之类的。

shliujing commented 1 year ago

收到,我后面试用一下。有机会我继续完善。