NarcissusInMirror commented 5 years ago

2019.3.21工作日志

上午主要在考虑如何在退出ssh连接后不使运行的进程终止
- 之所以在ssh连接断开后无法进程会终止，是因为所有在ssh上运行的命令其父进程都是此ssh，一旦ssh退出，父进程下的所有子进程都会被杀死。解决方法见如下网站:Linux 技巧：让进程在后台可靠运行的几种方法
- 总结出的命令：$ setsid python a.py > a.txt &，其中setsid使得命令的父进程id为1，并将输出重定向至a.txt，&则使命令在后台运行，同时会返回一个进程ID。值得注意的是，此条命令下返回的id用$ps -ef|grep 无法找到，需将ID+1才是真正的进程ID，原因未知.
下午主要在研究numpy，实践证明，numpy可以大幅提高计算速度，可见其已经做过不错的优化。
- numpy有一个非常重要的功能，mask array，可以生成array的mask，对其余的mask进行相应操作，以下是一个例子
```
>>> a = np.ma.array([1,2,3], mask=[False, False, True])
>>> a
masked_array(data = [1 2 --],
     mask = [False False  True],
fill_value = 999999)
>>> a.mean()
1.5
```
- 下午主要试验用数组本身来定义mask，有如下语句： masked_array = np.ma.array(imageArray, mask=(imageArray==0)) 这行代码为imageArray构建mask，mask的位置是数组内所有值为0的位置，这些位置被置位True，代表会被mask。这里的应用场景是计算图片内除了黑色部分的均值，代码如下mean_value = masked_array.mean()
- 同时，修改numpy数组可以用如下的方式，十分便捷 imageArray[imageArray < mean_value] = 0
- python中，如果定义了a = [1, 2, 3]，又定义了b = a，无论修改b还是a都会改变[1, 2, 3]

NarcissusInMirror commented 5 years ago

2019.3.24工作日志

关于前向传播和反向传播
- 前向传播其实并不能称得上式算法，只是一个计算公式，表示输入神经元连乘各个层的权重矩阵最终等于输出神经元的输出，无法对参数进行优化
- 反向传播是在前向传播的基础上进行了应用链式求导法则对参数进行优化。通过链式求导法则，可以求出loss function对于网络中任一参数的偏导数（其中网络前部的参数的偏导是用后部参数的偏导算出来的），修改参数时（以下以w举例），选择的方法是w - 学习率*（lossfunc对w的偏导数） ![](http://latex.codecogs.com/gif.latex?\w=w-\eta*\frac{\partial f(x)}{\partial w})，这里有如下直观的理解：当lossfunc对w的偏导数为正，说明增加w会使得lossfunc增大，故用w减去学习率乘以偏导数，减小w以减小lossfunc，反之亦然。
- 学习率控制的是修改参数的步长，其值的选取对训练有很大的影响，选得太小会收敛过慢，选得太大容易错过最优解

keras进行层的拼接：使用keras.layers.concatenate

main_input = Input(shape=(100, 100, 3))
auxiliary_input = Input(shape=(100, 100, 1))
input_tensor = concatenate([main_input, auxiliary_input])

如果是自己搭网络，继续搭即可，如果是应用keras的现有网络，需注意如下步骤，这里以VGG16为例：


'''
input_tensor要用列表记录全部输入
weights=None代表不使用预训练的权重，这里是因为训练权重输入是3通道图像，而因为进行了拼接
输入通道数会大于三，所以权重无法使用，会报错
include_top是选择是否包含最后的几个全连接层，选择false以适应自己的分类数目
'''
base_model = VGG16(input_tensor=[main_input, auxiliary_input], weights=None, include_top=False)

获取输出

x = base_model.output

添加适合自己研究的全连接层

flatten_1 = Flatten()(x) dense_1 = Dense(512)(flatten_1) activation_1 = Activation('relu')(dense_1) drop_2 = Dropout(0.5)(activation_1) dense_2 = Dense(4)(drop_2) activation_2 = Activation('sigmoid')(dense_2)

使用functional API

model = Model(inputs=base_model.input, outputs=activation_2)

sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='binary_crossentropy', optimizer=sgd, metrics=['accuracy'])

fit时需注意，输入是两个,[x_train, x_aux], 输出是一个 y_train，因为是共享标签的

validation_data=([x_test, x_aux_test], y_test)也是一样的

model.fit([x_train, x_aux], y_train, batch_size=32, nb_epoch=50,callbacks=[TensorBoard(log_dir='./log_dir', write_graph=True)],validation_data=([x_test, x_aux_test], y_test))

NarcissusInMirror commented 5 years ago

2019.3.25工作日志

阅读论文：Simultaneous Optical Flow and Intensity Estimation from an Event Camera, Bardow et. al.

Traditional cameras capture images: synchronous intensity measurements; but events are asynchronous reports of local intensity difference, and there is no global or persistent measurement of intensity which would permit normal approaches to correspondence to be used (feature extraction, patch alignment)
Optical flow is normally understood as the correspondence field between two temporally close intensity images — an estimation of two parameters per pixel, the horizontal and vertical displacement between one frame and the next.

NarcissusInMirror commented 5 years ago

2019.3.26工作日志

了解了一下正则项相关的问题。在另一个issue里也有提到这个问题

正则项就是在损失函数末尾添加一项，从而在最小化损失函数的过程中对神经网络中的参数产生影响，用以防止过拟合。例如下面的几张图片所示，添加正则项后，在进行梯度下降的过程中参数修正值就会发生改变添加正则项后的损失函数：添加正则项后损失函数的偏导数：添加正则项后参数的修正：
数学意义理解不够，还需继续钻研，以下几篇博文用以继续学习：机器学习中的范数规则化之（一）L0、L1与L2范数正则化机器学习中正则化项L1和L2的直观理解

keras中的正则项要在每个layer上添加？不是很懂。

关于bath，minibatch

batch-GD， SGD， Mini-batch-GD， Stochastic GD， Online-GD -- 大数据背景下的梯度训练算法

name	sample size	batch size	定义
batch GD	N	N	每次迭代的梯度方向计算由所有训练样本共同投票决定
mini-batch GD	N	m	每次迭代的梯度方向计算由所有m个训练样本共同投票决定
SGD	N	1	mini-batch GD的一个特殊应用，每个batch只有一个样本

试图在keras下编写一个generator，失败

keras提供的api自动生成label，但是仅限二分类，多分类，即将不同类的数据放进不同的子文件夹中，即可生成相应的标签，但对于多标签分类来说不适用

NarcissusInMirror commented 5 years ago

2019.3.28 工作日志

python的集合数据结构

在工作过程中遇到了这样的问题：人工对图片进行标注，中间出现了疏漏，导致csv标注文件中的文件项和实际文件夹中的文件对不上号，即在几百行的标注中有一行可能和文件夹中的文件名错开了，导致后面都错开。
一开始想用列表分别记录csv文件中的每一行和os.listdir(PATHNAME)输出文件名，并对比两个列表，看看两个列表是从哪一个元素开始不同的，从而找到标注错误的图片。但是实际操作后发现两种方法读取出来的列表顺序并不相同，os.listdir(PATHNAME)的读取更像是随机的，而csv中由于按行读取，所以读出来的文件名是从0.png到'*.png的。即便是使用sorted()函数对列表进行排序，得到的结果仍不是从0到n升序排列的，而是0.png, 1.png, 11.png, 111.png`以此类推。这时便想到了python的集合数据结构。应用以下几行代码即可轻松实现上面的需求。
```
image_lists = set()     # 定义一个集合，初始化集合时必须用set()，而不能用{}
with open(CSV_FILE, 'r') as f:    # 读取label，使用add()方法添加到集合中
reader = csv.reader(f)
for row in reader:
    image_lists.add(row[0] + '.png')
```

label_lists = os.listdir(IMAGE_DIR) label_set = set() for i in label_lists: label_set.add(i) print(image_lists^label_set) # ^运算符，得到不同时包含于两个集合中的元素

NarcissusInMirror commented 5 years ago

2019.3.29工作日志

python调用子import中的模块

Python在不同目录下导入模块的方法
在子目录中添加空的__init__.py文件即可。例如子目录名称为sub_dir，目录下有模块test.py，程序中输入语句import sub_dir.test即可
在调用子目录中的模块时，如果模块要读取子目录中的文件，路径需为绝对路径，虽然模块在子目录中，但是在程序运行时.代表的是主文件所在目录，而非子目录路径。例如test.py中要读取sub_dir目录下的my_data.h5文件，需在代码中写出完整路径f = h5py.File("./sub_dir/mydata.h5")，若写f =h5py.File("./mydata.h5")则访问的是执行文件所在目录，这一句并不会报错，而会在主目录下生成一个空的mydata.h5文件，后续访问数据则会报错。
python异常处理
官方文档
所有的Exception都是Exception的子类，raise ExceptionName即可以强制报错。
内置Exceptions

示例如下

try:
expected_size_of_next_frame = available_size / (self.buffer_size - (self.buffer_counter % 10) - 1)
except ZeroDivisionError:
expected_size_of_next_frame = self.first_frame_limit

NarcissusInMirror commented 5 years ago

2019.4.1工作日志

深度解读CMOS图像传感器，这些知识你都知道吗？

和肖扬关于毕设的讨论
- 一个数据集里分出测试集没什么意义，都是同分布的，测试集应该用没见过的数据分布
- 每张wsi的分布不同，但是每几张wsi放在一起可以看成是另外一个数据分布
- 出现下图这种情况（验证集的准确率上升，但loss先下降后上升）的原因在于，在判断对的图片上面越来越对，而在错误的图片上错得越来越离谱
- 每一层添加的正则项是对每一层的参数产生影响，在loss上加的正则项是对网络中所有参数产生影响
明日待办
- 尝试新shuffle的数据
- 把归一化放到batchnorm层里
- 在每层加入正则化
- early stop（用处应该不大，使用的权重并非过拟合后的）
- PCA

NarcissusInMirror commented 5 years ago

2019.4.2工作日志

毕设进度：

将shuffle过的数据送入网络，并将图片预处理放到batchnorm层后在测试集上的准确率达到了83%~86%
在每层加入regularizer后，不再出现valid loss先减后增的情况，并且添加了ReduceLROnPlateau这个callback
但是在另一个不同分布的测试集上效果不佳，几乎没有起到判断作用
resnet50上的效果，测试集强于vgg16，但仍差强人意。图一是在同分布测试集上，图二是另外的测试集
训练神经网络时如何确定batch size？
获取当前时间并创建目录
```
import datetime
```

current_time = datetime.datetime.now() year = str(current_time.year) month = str(current_time.month) day = str(current_time.day) hour = str(current_time.hour) minute = str(currenttime.minute) timestamp = year + '' + month + '' + day + '' + hour + '_' + minute os.makedirs('record_files/weight_files/' + timestamp)

* 修改了损失函数，在独立测试集上的准确率提升了3~6个百分点
[Keras中自定义复杂的loss函数](https://spaces.ac.cn/archives/4493)

def mycrossentropy(y_true, y_pred, e=0.1):
    loss1 = K.binary_crossentropy(y_true, y_pred)
    loss2 = K.binary_crossentropy(K.ones_like(y_pred)/nb_classes, y_pred)
    return (1-e)*loss1 + e*loss2

model.compile(loss=mycrossentropy, optimizer=sgd, metrics=['accuracy'])


![image](https://user-images.githubusercontent.com/28808216/55390310-8acb0a00-5569-11e9-8095-3c4647f22272.png)

NarcissusInMirror commented 5 years ago

2019.4.3工作日志

黄铁军：“智能为用，机器为体”，30 年内实现人造大脑

https://stackoverflow.com/questions/15584608/python-opencv2-cv2-cv-fourcc-not-working-with-videowriter https://blog.csdn.net/Lay_ZY/article/details/53884420 https://docs.opencv.org/2.4.9/modules/highgui/doc/reading_and_writing_images_and_video.html#cv2.imwrite https://blog.csdn.net/u010167269/article/details/53268686

https://www.jianshu.com/p/7eec907827ee http://ufldl.stanford.edu/wiki/index.php/Exercise:PCA_and_Whitening http://ufldl.stanford.edu/wiki/index.php/PCA

NarcissusInMirror commented 5 years ago

2019.4.4 工作日志

opencv处理图像和视频

opencv官方文档

读图片
- cv2.imread(filename[, flags]) → retval，flag介绍如下：
显示图片
- cv2.imshow(dialog_box_name, img)第一个参数是对话框的名字，第二个参数是要显示的图片，此代码后需接cv2.waitKey()，参数为图片打开的时间，单位为毫秒，如果参数为空则时间为无限长。退出方法是将光标放在图片窗口上按esc键。
写图片
- cv2.imwrite(filename, img[, params]) → retval
读视频
- cap = cv2.VideoCapture('bbb.avi')初始化VideoCapture类
- success, frame = cap.read() VideoCapture类的read方法返回两个值，第一个值为True或False，表示视频是否结束或相机是否断开，第二个值为一帧图像，每次调用此方法返回新的一帧
写视频
- 写视频时需要实例化VideoWriter类，初始化时可以不附加参数，可以之后调用open方法进行初始化。官方文档参数表如下cv2.VideoWriter.open(filename, fourcc, fps, frameSize[, isColor]) → retval，这里[]里的参数为可选参数，→ retval表示返回一个变量，return value。cv2.VideoWriter([filename, fourcc, fps, frameSize[, isColor]]) → <VideoWriter object>中，则表示所有参数都是可选的，并返回一个VideoWriter对象。
- VideoWriter构造函数的参数列表赋值如下例：video_writer.open('ccc.avi', cv2.VideoWriter_fourcc('P', 'I', 'M', '1'), 30, (640, 360), 0)，官方文档给出的CV_FOURCC('M','J','P','G')是会报错的，参见连接stack overflow, csdn。同时，framesize参数的长和宽要进行对调，否则在后续写如视频的时候会因为size不符合要求而导致无法写入，而不会报错，最后得到一个空的视频文件
- 使用VideoWriter的video_writer.write()方法即可将一帧图片写入视频文件中。

numpy的mask操作2️⃣

现有需求如下：需要将数组分为三个部分并进行赋值，大于threhold值的变为255，小于-threhold值的变为128，中间的值变为0。numpy数组支持形如array[array > threhold] = 255、array[array < threhold] = 128的操作，但不支持array[-threhold < array < threhold] = 0的操作，也不支持array[-threhold < array and array < threhold] = 0，故需要用到mask，代码如下

mask_array = np.ma.array(minus_frame, mask=(minus_frame < threshold.threshold))
mask_array_2 = np.ma.array(minus_frame, mask= (minus_frame > - threshold.threshold))
mask = mask_array.mask & mask_array_2.mask

分析：

>>> import numpy as np
>>> a = np.array([1, 2, 3, 4, 5, 6, 7])
>>> b = np.ma.array(a, mask=(a < 3))
>>> b
masked_array(data=[--, --, 3, 4, 5, 6, 7],
             mask=[ True,  True, False, False, False, False, False],
       fill_value=999999)

由以上代码可以看出，maskarray由三部分组成，data，mask和fill_value，可以通过.进行访问

NarcissusInMirror commented 5 years ago

2019.4.8工作日志

编写码率控制代码，但是仍没有理论依据，简单地采用了步进的方法
python析构函数__del__(self)

NarcissusInMirror commented 5 years ago

2019.4.9工作日志

解决word中表格无法跨页的问题：右键表格 → Table Properties → Row → Options → Allow row to break across pages
神经网络绘图网址
- http://alexlenail.me/NN-SVG/
- https://github.com/yu4u/convnet-drawer
word中无法编辑公式是由于处在兼容模式，点File → convert file即可

NarcissusInMirror commented 5 years ago

2019.4.10工作日志

linux中为命令添加别名

直接使用alias name='command name'只在当前的终端中有效，再打开一个终端就不行了
有效设置需在.bashrc中添加命令，直接添加alias name='command name'即可，需打开新终端方可生效
macOS没有.bashrc文件，在.bash_profile文件中添加即可
要查看已有别名键入alias即可
阅读论文Network in network #4

NarcissusInMirror commented 5 years ago

2019.4.11工作日志

完成中期答辩

关于TeX: The TeX family tree: LaTeX, pdfTeX, XeTeX, LuaTeX and ConTeXt

TeX是一款type setting program
LaTeX是TeX的升级版

The commands in TeX and Plain TeX are still quite basic and it isn't easy to do complicated things with them. To help with this, Leslie Lamport created LaTeX in the early 1980s to provide a higher level language to work in than TeX.
pdfTeX可以输出pdf文件
XeTeX支持更多的字体（除英文之外的）
LuaTeX is an attempt to extend the original TeX program with a more sensible programming language
BibTeX

BibTeX is reference management software for formatting lists of references.

关于MacTeX的安装

吐槽一下：MacTex真的超级良心啊啊啊啊！就凭一个What is installed就把我圈粉了好吗！把安装的位置讲得那么清楚！我太希望所有软件都能有这么一个文档了！主要分为两个部分：TeXLive-2018（可以理解为主题的程序）和GUI-Applications（相当于IDE）

TeXLive-2018
- 安装在/usr/local/texlive/下，如果安装了多个版本会看到文件夹下有以版本年号命名的多个文件夹，互不冲突，下载新的安装包即会安装新的版本，修改的是symbolic link，即指向这些文件的链接。这些链接文件在/Library/TeX下。
- 想要修改使用的版本，打开TeXLiveUtility → Configure → Change Default TeX Live Version，选择相应的版本即可。
GUI-Applications
- 安装在/Applications/TeX下
- TeXLiveUtility可以对TeX进行包管理

NarcissusInMirror commented 5 years ago

2019.4.12工作日志

完善码率控制代码逻辑，加入降低阈值操作

python 三元运算符

a = 为真时的结果 if 判定条件 else 为假时的结果 
>>> result = 1 if 5>3 else 0
>>> result
1

Darwin is an open-source Unix-like operating system first released by Apple Inc. in 2000. It is composed of code developed by Apple, as well as code derived from NeXTSTEP, BSD, Mach, and other free software projects.

NarcissusInMirror commented 5 years ago

2019.4.16工作日志

使用numpy的函数对图像进行减去均值的操作 使用到了numpy的以下函数:

有如下数组：（为明显起见，将数组用空行分为三段，代表三张图片）

>>> a = np.array([[[[10, 11, 12], [13, 14, 15]],
        [[16, 17, 18], [19, 20, 21]]],

        [[[22, 23, 24], [25, 26, 27]],
        [[28, 29, 30], [31, 32, 33]]],

        [[[34, 35, 36], [37, 38, 39]],
        [[40, 41, 42], [43, 44, 45]]]])

形状为(3, 2, 2, 3)，其中四个维度分别为（图片数目，行，列，通道数） 因此这里我们模拟的是3张223的图片，第一张图片的三各通道分别为

[[10, 13],
 [16, 19]]

[[11, 14],
 [17, 20]]

[[12, 15],
 [18, 21]]

其他两张图片类似。

均值函数的使用方法为np.mean(ndarray, axis)，这里比较关键的是axis的值。数组的axis是如何规定的呢？从最外层到最内层依次是0~n。这里的最内层，指的是最小的括号，最小的括号所包含的素个数即为第n维的维度。以此类推，倒数第二小的括号所包含的元素个数即为第n-1维的维度。以以上数组为例，最小的括号是[10, 11, 12]，包含3个元素，所以最后四维的维度是3，对应的axis为3，倒数第二小的括号包含[10, 11, 12], [13, 14, 15]这两个元素，所以倒数第第三维的维度是2，对应的axis为2 同理，第二维的维度也是2，对应的axis为1，第一维的维度为3，对应的axis为0。我们所要计算的的是一个三通道图像每一个通道图像像素的均值，因此这里的axis应该选择第二和第三维，对应axis=（1， 2）

>>>a_mean = np.mean(a, axis=(1,2))
[[14.5 15.5 16.5]
 [26.5 27.5 28.5]
 [38.5 39.5 40.5]]

经过均值计算后，我们得到了一个(3, 3)的数组，这里第一维的3代表图片的数目，第二维的3代表通道个数，下面我们需要把均值减掉，很明显，直接进行相减是行不通的。需要把均值数组reshape成图片的大小。在此之前，要用的np.tile(ndarray, tuple)函数

>>> a_mean_tile = np.tile(a_mean, (1, 4))
[[14.5 15.5 16.5 14.5 15.5 16.5 14.5 15.5 16.5 14.5 15.5 16.5]
 [26.5 27.5 28.5 26.5 27.5 28.5 26.5 27.5 28.5 26.5 27.5 28.5]
 [38.5 39.5 40.5 38.5 39.5 40.5 38.5 39.5 40.5 38.5 39.5 40.5]]

tile函数的逻辑如下，参数列表中的元组是对各个维度的重复次数，这里的4表示对最小括号里的内容重复4次，因为图片的大小为2*2=4， 对于尺寸为mn的图片，这里参数改为mn即可；1表示对次小括号里的内容重复1次，若输入整数则默认对最小括号内的内容进行重复，其余维度保持不变。在本例中，原数组是二维的，如果输入的元组的维度大于2，就会增加数组的维度，例如:

>>>  a_mean_tile = np.tile(a_mean, (1, 1, 4))
[[[14.5 15.5 16.5 14.5 15.5 16.5 14.5 15.5 16.5 14.5 15.5 16.5]
  [26.5 27.5 28.5 26.5 27.5 28.5 26.5 27.5 28.5 26.5 27.5 28.5]
  [38.5 39.5 40.5 38.5 39.5 40.5 38.5 39.5 40.5 38.5 39.5 40.5]]]

最后，进行reshape操作，图片数目的维度填入-1即可

>>> a_mean_tile_reshape = np.reshape(a_mean_tile, (-1, 2, 2, 3))
[[[[14.5 15.5 16.5]
   [14.5 15.5 16.5]]

  [[14.5 15.5 16.5]
   [14.5 15.5 16.5]]]

 [[[26.5 27.5 28.5]
   [26.5 27.5 28.5]]

  [[26.5 27.5 28.5]
   [26.5 27.5 28.5]]]

 [[[38.5 39.5 40.5]
   [38.5 39.5 40.5]]

  [[38.5 39.5 40.5]
   [38.5 39.5 40.5]]]]

完整代码如下：

a = np.array([[[[10, 11, 12], [13, 14, 15]],
        [[16, 17, 18], [19, 20, 21]],
        [[22, 23, 24], [25, 26, 27]]],
            [[[28, 29, 30], [31, 32, 33]],
        [[34, 35, 36], [37, 38, 39]],
        [[40, 41, 42], [43, 44, 45]]],
            [[[46, 47, 48], [49, 50, 51]],
        [[52, 53, 54], [55, 56, 57]],
        [[58, 59, 60], [61, 62, 63]]]])

a_mean = np.reshape(np.tile(np.mean(a, axis=(1,2)), (1, 6)), (-1, 3, 2, 3))
b = a - a_mean_tile_reshape

NarcissusInMirror commented 5 years ago

2019.4.17工作日志

numpy, scipy, scikit-learn, pandas...

Screenshot 2019-04-17 at 11 24 40

如何理解主成分分析中的协方差矩阵的特征值的几何含义？ Deep Learning Tutorial - PCA and Whitening

使用iMovie

iMovie中裁剪片段的方法：拖动右上方的滑块使视频放大，再拖动视频边缘即可
iMovie中保存影片的方法：File → Share → File 即可
iMovie中合并影片并分屏的方法：将新的影片拖动到workspace中，与原影片上下叠放（如上图所示），再选择Video Overlay Setting → Split Screen即可

学习概率论，矩估计和似然估计

NarcissusInMirror commented 5 years ago

2019.4.18工作日志

[ ] 读一些多标签分类相关的论文，拓展毕设思路，初步想法是提取浅层特征进行一个融合，然后对比，在inception上做（Resnet也行？），验证集和测试集……
[ ] 关于协方差、PCA的总结
[ ] 矩估计、似然估计的总结

NarcissusInMirror commented 5 years ago

2019.4.19 & 2019.4.21工作日志

在将图片灰度化后，无法使用预训练的权重，vgg16成为效果最好的网络，renet效果最差。一方面可能因为迁移学习的原因，另一方面可能因为数据被重新打乱，不同的分割会带来不同的效果。
将数据增广20倍，10k+图片，试试效果。
增广后数据效果并不好，renet上验证集的准确率都不超过80%。之前出现较高准确率大概率是shuffle后的数据分布比较好。现在正在尝试不断shuffle数据，得到更好的结果。

NarcissusInMirror commented 5 years ago

2019.4.22工作日志

使用sklearn进行k-fold验证，增加每次shuffle后数据的利用率

$ conda install scikit-learn

K-Fold官方文档使用较为简单：

>>> from sklearn.model_selection import KFold
>>> kf = KFold(n_splits=5) # n_splits是数据分割的数目如果用20%的数据作为验证集，就设为5即可
>>> kf.get_n_splits()
5
>>> x = np.array(...)
>>> X = np.array([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]])
>>> y = np.array([1, 2, 3, 4, 5]) 
>>> print(kf)  
KFold(n_splits=5, random_state=None, shuffle=False) # 如果不shuffle数据的话后两个参数用不到
>>> for train_index, test_index in kf.split(X):
...    print("TRAIN:", train_index, "TEST:", test_index)
...    X_train, X_test = X[train_index], X[test_index]
...    y_train, y_test = y[train_index], y[test_index]
TRAIN: [1 2 3 4] TEST: [0]
TRAIN: [0 2 3 4] TEST: [1]
TRAIN: [0 1 3 4] TEST: [2]
TRAIN: [0 1 2 4] TEST: [3]
TRAIN: [0 1 2 3] TEST: [4]
# 这个函数实则生成的就是n_split组数组的index

shell显示行数的问题

linux下vim和bash配置文件这篇文章里还有许多其他的配置值得研究。

# for setting history length see HISTSIZE and HISTFILESIZE in bash(1)
HISTSIZE=1000
HISTFILESIZE=2000

初步完成了上周五讨论的总结

计算机视觉领域常见期刊和会议

NarcissusInMirror commented 5 years ago

2019.4.23工作日志

E.g. vs. I.e.–What’s the Difference?
- e.g:exempli gratia
- i.e.: id est —— in other word;也就是说

继续进行数据的shuffle和交叉验证

思考是否是进行多示例学习进行辅助分类

将标签从4减少为3
先除去两个标签，跑一下看看是否有提升。
如果有，再标记一些数据，写网络，跑模型。

NarcissusInMirror commented 5 years ago

2019.4.24工作日志

随机种子

计算机的伪随机数是由随机种子根据一定的计算方法计算出来的数值。所以，只要计算方法一定，随机种子一定，那么产生的随机数就是固定的。
只要用户或第三方不设置随机种子，那么在默认情况下随机种子来自系统时钟。
有关如何产生随机数的理论有许多，如果要详细地讨论，需要厚厚的一本书的篇幅。不管用什么方法实现随机数发生器，都必须给它提供一个名为“种子”的初始值。而且这个值最好是随机的，或者至少这个值是伪随机的。“种子”的值通常是用快速计数寄存器或移位寄存器来生成的。
sklearn.model_selection.train_test_split参数中的random_state
即，相同的random_state保证每次分割结果相同。否则每次分割结果是不同的。

毕设

取出两个标签后准确率都出现下降的情况
使用我自己标注的数据验证集准确率只有60%左右……
怀疑网络有一些问题，怎么会一下出现这么大的滑坡，即使是之前第一次shuffle成了灰度数据，也有80%~88%的准确率

Mac创建新的文本文件

去北大拷回了测试脉冲序列

NarcissusInMirror commented 5 years ago

2019.4.25工作日志

分析脉冲序列特性

根据北大方面提供的数据和matlab文件对数据进行了分析，得到如下结论：
- 每个像素产生1bit数据，视频文件是以字节为单位进行组织的，不管有没有数据产生，每个像素都会产生1bit的数据
- 因此，如果阈值控制问题是针对控制码率进行的，则需要结合压缩算法进行研究，否则没有意义，这篇文章可以提供一个认识；或者说，阈值控制算法是针对于图片质量而进行的。

NarcissusInMirror commented 5 years ago

2019.4.27工作日志

Fine-Tuning

所谓Fine-Tuning是将预训练好的权重加载到网络里，代替随机初始化，在之后的训练里权值都会根据梯度下降进行更新（也可以选择不更新某些层的参数）。
A Comprehensive guide to Fine-tuning Deep Learning Models in Keras
李飞飞高徒发布33条神经网络训练秘技

bottleneck features
What are bottleneck features?
Building powerful image classification models using very little data

NarcissusInMirror commented 5 years ago

2019.4.29工作日志

编写了计算输出AUC的脚本

关于keras！！！！！

https://en.wikipedia.org/wiki/Logit https://github.com/keras-team/keras/blob/master/keras/metrics.py https://stackoverflow.com/questions/42081257/keras-binary-crossentropy-vs-categorical-crossentropy-performance https://stackoverflow.com/questions/45741878/using-binary-crossentropy-loss-in-keras-tensorflow-backend

tf.nn.sigmoid binary cross entropy logit probability

NarcissusInMirror / DailyWorkLog

2019春季学期-3月&4月 #1

2019.3.21工作日志

2019.3.24工作日志

获取输出

添加适合自己研究的全连接层

使用functional API

fit时需注意，输入是两个,[x_train, x_aux], 输出是一个 y_train，因为是共享标签的

validation_data=([x_test, x_aux_test], y_test)也是一样的

2019.3.25工作日志

阅读论文：Simultaneous Optical Flow and Intensity Estimation from an Event Camera, Bardow et. al.

2019.3.26工作日志

了解了一下正则项相关的问题。在另一个issue里也有提到这个问题

关于bath，minibatch

试图在keras下编写一个generator，失败

2019.3.28 工作日志

python的集合数据结构

2019.3.29工作日志

python调用子import中的模块

python异常处理

2019.4.1工作日志

2019.4.2工作日志

毕设进度：

2019.4.3工作日志

2019.4.4 工作日志

opencv处理图像和视频

numpy的mask操作2️⃣

2019.4.8工作日志

2019.4.9工作日志

2019.4.10工作日志

linux中为命令添加别名

阅读论文Network in network #4

2019.4.11工作日志

完成中期答辩

关于TeX: The TeX family tree: LaTeX, pdfTeX, XeTeX, LuaTeX and ConTeXt

关于MacTeX的安装

2019.4.12工作日志

完善码率控制代码逻辑，加入降低阈值操作

python 三元运算符

2019.4.16工作日志

2019.4.17工作日志

numpy, scipy, scikit-learn, pandas...

使用iMovie

学习概率论，矩估计和似然估计

2019.4.18工作日志

2019.4.19 & 2019.4.21工作日志

2019.4.22工作日志

使用sklearn进行k-fold验证，增加每次shuffle后数据的利用率

shell显示行数的问题

初步完成了上周五讨论的总结

2019.4.23工作日志

继续进行数据的shuffle和交叉验证

思考是否是进行多示例学习进行辅助分类

2019.4.24工作日志

随机种子

sklearn.model_selection.train_test_split参数中的random_state

毕设

Mac创建新的文本文件

去北大拷回了测试脉冲序列

2019.4.25工作日志

分析脉冲序列特性

2019.4.27工作日志

Fine-Tuning

李飞飞高徒发布33条神经网络训练秘技

bottleneck features

2019.4.29工作日志

编写了计算输出AUC的脚本

关于keras！！！！！