周报

[donghaiwang]

请按照下面格式每周写好周报

张三：2023.03.30~2023.04.6 本周工作总结：进行数据平台SDK及客户端开发测试，参与2.03需求开发 进展情况：1.修改原来的数据平台SDK的实现与需求不一致的情况，即和前端web功能不一致的情况；-close 2.进行最新实现功能的自测；-close 3.提交修改后的代码进行测试；-50% 遇到的问题：1.

下周工作计划： 任务：数据平台SDK 工作内容：1.监控并维护上线的数据SDK运行（3.7）；

2. 跟踪项目详情中可以看见每个数据ID进度的线上情况（3.7-3.9）；
3. 查看及参与标注平台2.04需求中的盘古工具链后端接口需求的开发（3.7-3.12）；

[zhangjianhua6682]

张建华：2023.04.21~2023.04.28 本周工作总结：看了python文件中makedata_features（提取特征）代码，在尝试用pytorch实现文中图片特征提取，文中采用caffe框架的模型已经定义好了的，用的参数是已经跑好的参数，在想着用pytorch再次实现，以及看了matlab中的部分代码，并重新跑了一下想与之后做出来的结果做对比（之前的结果没保存），初步学习了一些工具的使用方法：xjview，marsbar，cat12，ITK-SNAP等 进展情况：1.目前还未能用pytorch实现特征提取 2.matlab程序已经跑完，有一些代码还未能理解 遇到的问题：1.pytorch怎么去使用作者之前用caffe框架下的参数，目前想的是能实现就实现，不能实现用其他的框架和参数或者根据作者写的代码重新写一个区跑，后面的根据作者写的代码去改 2.spm提取部分还有些问题，感觉对spm软件了解的还很浅，以及对它提取的东西还不是很理解，尽量再好好学习一下

下周工作计划： 任务：pytorch完成特征提取，再好好学习一下spm以及对脑数据处理的其他软件进行一定的学习 工作内容：1.使用ptorch进行特征提取 2.学习spm及其相关工具与一些其他的软件

[donghaiwang]

张建华：2023.04.21~2023.04.28 本周工作总结：看了python文件中makedata_features（提取特征）代码，在尝试用pytorch实现文中图片特征提取，文中采用caffe框架的模型已经定义好了的，用的参数是已经跑好的参数，在想着用pytorch再次实现，以及看了matlab中的部分代码，并重新跑了一下想与之后做出来的结果做对比（之前的结果没保存），初步学习了一些工具的使用方法：xjview，marsbar，cat12，ITK-SNAP等 进展情况：1.目前还未能用pytorch实现特征提取 2.matlab程序已经跑完，有一些代码还未能理解 遇到的问题：1.pytorch怎么去使用作者之前用caffe框架下的参数，目前想的是能实现就实现，不能实现用其他的框架和参数或者根据作者写的代码重新写一个区跑，后面的根据作者写的代码去改 2.spm提取部分还有些问题，感觉对spm软件了解的还很浅，以及对它提取的东西还不是很理解，尽量再好好学习一下

下周工作计划： 任务：pytorch完成特征提取，再好好学习一下spm以及对脑数据处理的其他软件进行一定的学习 工作内容：1.使用ptorch进行特征提取 2.学习spm及其相关工具与一些其他的软件

嗯，神经科学相关的知识不理解的可以哪里不懂就找哪里，系统学习比较花时间；另外matlab本身也有深度学习工具和抽取特征的函数。

[zhangjianhua6682]

张建华：2023.05.06~2023.05.12 本周工作总结：看了论文实验室写的视觉重构的文章，用spm对一些数据进行预处理 进展情况：1.视觉重构的文章看完了，有很多细节的地方还没有仔细研究。2.spm对部分数据完成了预处理，各个步骤都知道在干什么了，因为处理一组数据花费的时间就很长了，所以没有全部都处理一遍。 遇到的问题：1.对有些东西其实不是很理解，像视觉重构的内容，人在看一个物体的时候，其实并不能完整捕获该物体的所有信息，尽管在收集fmri数据的时候会将一个图片重复多次，但是大脑还是不会完全读取到图片中的全部细节，从结果上来看一些简单的图形大致能重构出其轮廓并能够通过人眼识别出来大概是什么，像一些真实场景的图片也能识别出该物体的轮廓，但是感觉想完全重构不太可能。 2.作者对roi兴趣区的创建是根据另一个定位实验选取的，然后作者在数据集中给出了对应的结构像的位置，目前还不能根据这个信息完成提取。

下周工作计划： 任务：主要是找一些论文资料辅助自己学习相关知识。（由于5.27要进行软考，所以会花费一些时间去准备，可能研究进度比较慢）

[donghaiwang]

张建华：2023.05.06~2023.05.12 本周工作总结：看了论文实验室写的视觉重构的文章，用spm对一些数据进行预处理 进展情况：1.视觉重构的文章看完了，有很多细节的地方还没有仔细研究。2.spm对部分数据完成了预处理，各个步骤都知道在干什么了，因为处理一组数据花费的时间就很长了，所以没有全部都处理一遍。 遇到的问题：1.对有些东西其实不是很理解，像视觉重构的内容，人在看一个物体的时候，其实并不能完整捕获该物体的所有信息，尽管在收集fmri数据的时候会将一个图片重复多次，但是大脑还是不会完全读取到图片中的全部细节，从结果上来看一些简单的图形大致能重构出其轮廓并能够通过人眼识别出来大概是什么，像一些真实场景的图片也能识别出该物体的轮廓，但是感觉想完全重构不太可能。 2.作者对roi兴趣区的创建是根据另一个定位实验选取的，然后作者在数据集中给出了对应的结构像的位置，目前还不能根据这个信息完成提取。

下周工作计划： 任务：主要是找一些论文资料辅助自己学习相关知识。（由于5.27要进行软考，所以会花费一些时间去准备，可能研究进度比较慢）

嗯嗯，软考可以抽部分准备，论文和实验不能停下来，不然后面再拿起来很费时间。

[zhangjianhua6682]

张建华：2023.05.15~2023.05.20 本周工作总结：看了一些本方向的文章，主要看他们在文章里面写的东西以及用到的方法寻找一些启发。

下周工作计划：主要还是看文章，对一些内容能自己做一遍尽量做一遍。

[donghaiwang]

张建华：2023.05.15~2023.05.20 本周工作总结：看了一些本方向的文章，主要看他们在文章里面写的东西以及用到的方法寻找一些启发。

下周工作计划：主要还是看文章，对一些内容能自己做一遍尽量做一遍。

嗯，尽快尝试自己写一些分析大脑影像和深度模型激活的代码，比方说目标解码或者人脸的，第一年快结束时间很紧了。

[zhangjianhua6682]

张建华：2023.05.22~2023.05.26 本周工作总结：了解了一些fmri脑区功能连接、表层空间处理相关的知识。

下周工作计划：1.完成对大脑fmri数据预处理代码的撰写 2.第一部分的代码完成后就开始写深度模型提取特征的代码

[zhangjianhua6682]

张建华：2023.05.22~2023.05.26 本周工作总结：了解了一些fmri脑区功能连接、表层空间处理相关的知识。

下周工作计划：1.完成对大脑fmri数据预处理代码的撰写 2.第一部分的代码完成后就开始写深度模型提取特征的代码

[donghaiwang]

张建华：2023.05.22~2023.05.26 本周工作总结：了解了一些fmri脑区功能连接、表层空间处理相关的知识。

下周工作计划：1.完成对大脑fmri数据预处理代码的撰写 2.第一部分的代码完成后就开始写深度模型提取特征的代码

fMRI预处理和深度特征提取这是最基础的工作，和之前相比几乎没有任何实质性进展，得尽快完成。后面还有很多分析工作，这方面的工作都是非常成熟，比如SPM文档、看电影fMRI数据分析 等等，都可以借鉴，记得自己的目标是目标识别解码。

以后的每一步工作都需要用github记录下来，比如分析数据的代码及时更新到这个仓库，我也好指导。

[zhangjianhua6682]

张三：2023.05.29~2023.06.02 本周工作总结：fmri数据批处理，利用掩膜mask提取兴趣区，利用alexnet输出特征向量以及做表征相似性分析 进展情况：1.完成了fmri数据批处理 2.完成了利用掩膜mask提取兴趣区 3.利用alexnet输出特征向量以及做表征相似性分析，部分完成 遇到的问题：1.利用掩膜mask提取兴趣区目前尝试了很多中方法还是未能完成批处理，另外提取体素这部分还有点问题。

下周工作计划： 任务：利用alexnet输出各层的特征向量，提取体素这一块再想办法解决。 工作内容： 1.利用alexnet输出各层的特征向量（使用论文所用数据以及论文要求的数量）。 2.尽量解决提取体素的问题。

[zhangjianhua6682]

张三：2023.06.05~2023.06.09 本周工作总结：使用alexnet完成特征向量的提取，看了analysis_FeaturePrediction.m这部分代码并对一些代码语句进行了标注。 进展情况：1.参考论文给出的make_features代码，并用alexnet完成相关代码的复现。 2.看了论文代码analysis_FeaturePrediction.m，并对一些代码语句进行了标注 遇到的问题：目前方向有点疑问，感觉现在有两个方向第一个是改变图片特征提取的模型提高准确率，另一个是再看看论文给的哪个线性映射算法有没有要改进的，着重点应该是哪个方向。

下周工作计划： 任务：将其他代码部分看完并标注完，尝试将自己提取的数据做整合并用自己提取的数据运行论文代码看结果。 工作内容： 1.看论文的其他代码 2.看完之后对alexnet提取的数据按照论文给出的数据格式做处理 3.数据处理完之后用程序跑自己的数据看准确率

[zhangjianhua6682]

张三：2023.06.12~2023.06.16 本周工作总结：完成了其他代码的意思标注 进展情况：1.完成了其他代码的意思标注，还有一些细节不是很理解，下周再将一些细节之处理清楚并做好标注

遇到的问题：暂无

下周工作计划： 任务：看一些数据集，看懂并理清楚该数据集的处理步骤然后进行处理，看一些相关的文章 工作内容：1.人脸识别的fmir数据集，看懂并理清楚该数据集的处理步骤然后进行处理 2.看一些相关的文章

[donghaiwang]

张三：2023.06.12~2023.06.16 本周工作总结：完成了其他代码的意思标注 进展情况：1.完成了其他代码的意思标注，还有一些细节不是很理解，下周再将一些细节之处理清楚并做好标注

遇到的问题：暂无

下周工作计划： 任务：看一些数据集，看懂并理清楚该数据集的处理步骤然后进行处理，看一些相关的文章 工作内容：1.人脸识别的fmir数据集，看懂并理清楚该数据集的处理步骤然后进行处理 2.看一些相关的文章

代码做的注释也得更新到github仓库，不然没看到任何进展。 另一个就是还需要搞清楚所参考代码中基于大脑激活和深度神经网络激活的数据进行模型训练和测试的代码，并得出对应的预测精度，这个非常重要，进行类脑人脸模型设计的时候也需要。

下面是我看的一些有关的论文： @inproceedings{RN687, author = {Kubilius, Jonas and Schrimpf, Martin and Hong, Ha and Majaj, Najib and Rajalingham, Rishi and Issa, Elias and Kar, Kohitij and Bashivan, Pouya and Prescott-Roy, Jonathan and Schmidt, Kailyn}, title = {Brain-like object recognition with high-performing shallow recurrent anns}, booktitle = {Advances in Neural Information Processing Systems}, pages = {12785-12796}, type = {Conference Proceedings} }

@article{RN1427, author = {Baek, Seungdae and Song, Min and Jang, Jaeson and Kim, Gwangsu and Paik, Se-Bum}, title = {Face detection in untrained deep neural networks}, journal = {Nature communications}, volume = {12}, number = {1}, pages = {1-15}, ISSN = {2041-1723}, year = {2021}, type = {Journal Article} }

@article{RN1462, author = {Carlin, Johan D and Kriegeskorte, Nikolaus}, title = {Adjudicating between face-coding models with individual-face fMRI responses}, journal = {PLoS computational biology}, volume = {13}, number = {7}, pages = {e1005604}, ISSN = {1553-734X}, year = {2017}, type = {Journal Article} }

@article{RN1594, author = {Chang, Le and Tsao, Doris Y}, title = {The code for facial identity in the primate brain}, journal = {Cell}, volume = {169}, number = {6}, pages = {1013-1028. e14}, ISSN = {0092-8674}, year = {2017}, type = {Journal Article} }

@article{RN1522, author = {Henson, RNA and Shallice, Timothy and Gorno-Tempini, ML and Dolan, Raymond J}, title = {Face repetition effects in implicit and explicit memory tests as measured by fMRI}, journal = {Cerebral Cortex}, volume = {12}, number = {2}, pages = {178-186}, ISSN = {1460-2199}, year = {2002}, type = {Journal Article} }

@article{RN1464, author = {Henson, Richard N and Abdulrahman, Hunar and Flandin, Guillaume and Litvak, Vladimir}, title = {Multimodal Integration of M/EEG and f/MRI Data in SPM12}, journal = {Frontiers in neuroscience}, volume = {13}, pages = {300}, ISSN = {1662-453X}, year = {2019}, type = {Journal Article} }

@article{RN1617, author = {Landi, Sofia M and Viswanathan, Pooja and Serene, Stephen and Freiwald, Winrich A}, title = {A fast link between face perception and memory in the temporal pole}, journal = {Science}, volume = {373}, number = {6554}, pages = {581-585}, ISSN = {0036-8075}, year = {2021}, type = {Journal Article} }

@article{RN1463, author = {Wakeman, Daniel G and Henson, Richard N}, title = {A multi-subject, multi-modal human neuroimaging dataset}, journal = {Scientific data}, volume = {2}, number = {1}, pages = {1-10}, ISSN = {2052-4463}, year = {2015}, type = {Journal Article} }

@article{RN1616, author = {Wang, Yin and Metoki, Athanasia and Smith, David V and Medaglia, John D and Zang, Yinyin and Benear, Susan and Popal, Haroon and Lin, Ying and Olson, Ingrid R}, title = {Multimodal mapping of the face connectome}, journal = {Nature Human Behaviour}, volume = {4}, number = {4}, pages = {397-411}, ISSN = {2397-3374}, year = {2020}, type = {Journal Article} }

[zhangjianhua6682]

2023.06.19~2023.06.23 本周工作总结：看了两个数据集的内容，看了与数据集相关的文章“Adjudicating between face-coding modelswith individual-face fMRI responses”主要看了数据集部分，里面有很多东西没搞清楚，比如采集fmri数据是通过看一段处理好的人脸视频，那后续的任务就是将这个人脸识别部分roi体素提取出来，然后用“generic object decoding.....”论文的方法，再将这个人脸图像用网络模型提取几层特征做匹配吗？ 另外一个数据集分了三大类，“名人面孔”、“非名人面孔”、“乱序面孔”，这个数据集和spm文档哪个数据集有点像，感觉主要是用于找对应的感兴趣区域用的，不太清楚这个数据集具体可以怎么用。目前对这个采用fmri的人脸识别有点懵，不知道这个具体是在干什么。

下周工作计划： 任务：继续读相关的论文，尽量搞清楚后续要做的具体工作。

[donghaiwang]

2023.06.19~2023.06.23 本周工作总结：看了两个数据集的内容，看了与数据集相关的文章“Adjudicating between face-coding modelswith individual-face fMRI responses”主要看了数据集部分，里面有很多东西没搞清楚，比如采集fmri数据是通过看一段处理好的人脸视频，那后续的任务就是将这个人脸识别部分roi体素提取出来，然后用“generic object decoding.....”论文的方法，再将这个人脸图像用网络模型提取几层特征做匹配吗？ 另外一个数据集分了三大类，“名人面孔”、“非名人面孔”、“乱序面孔”，这个数据集和spm文档哪个数据集有点像，感觉主要是用于找对应的感兴趣区域用的，不太清楚这个数据集具体可以怎么用。目前对这个采用fmri的人脸识别有点懵，不知道这个具体是在干什么。

下周工作计划： 任务：继续读相关的论文，尽量搞清楚后续要做的具体工作。

先做人脸识别的分类任务，比如你说的“名人面孔”、“非名人面孔”、“乱序面孔”三大类，或者男性脸和女性脸两大类，构建一个类脑深度网络模型，用“generic object decoding.....”论文的方法，进行人脸分类任务时，参考论文：Brain-like object recognition with high-performing shallow recurrent anns 比较深度网络模型和人脑的激活相似性和行为相似性。

[zhangjianhua6682]

2023.06.26~2023.06.30 本周工作总结：看了“Brain-like object recognition with high-performing shallow recurrent anns”的论文，大致对模型有了一定了解，但是还有很多东西看不太懂。

下周工作计划：把这篇论文尽量看懂，看一下这篇论文代码。

[zhangjianhua6682]

2023.07.3~2023.07.07、 本周工作总结：对“brain-like”论文有了更深的了解，之前不懂的地方进行了细看，一些细节部分还要对照代码进行细致的看。

下周工作计划：对本篇论文的代码部分进行标注。

[zhangjianhua6682]

2023.08.1~2023.08.06、 本周工作总结：之前的知识有些遗忘，着重看了下之前的知识，再次看了brain-like这篇文章。

下周工作计划：完成brain-like论文代码部分的学习，完成之后看一看近期一些期刊上的文章。