在学习深度学习的时候,Keras逐渐成了我最喜欢使用的深度学习框架,因为用它搭建模型很方面,而且相比较Tensorflow来说要容易很多。

因为也是一个初学者,经常会遇到很多不会的方法,所以难免需要查询官方文档进行学习。学习任何东西都是一个从陌生到熟悉的过程,因此想在博客里新开一个tag,专门放置一些我刚遇到的还不太会使用的方法,也方便以后学习。

今天这篇博客的话,主要是学习Keras中Model这个方法的使用,文中的例子来自Keras的官方文档,如果感兴趣的话,可以直接点击蓝色的超链接进行学习。

Keras的泛型模型接口

Keras的泛型模型Model, 即广义的拥有输入和输出的模型,我们使用Model来初始化一个泛型模型:

1
2
3
4
5
6
from keras.models import Model
from keras.layers import Input, Dense

a = Input(shape=(32, ))
b = Dense(32)(a)
model = Model(input=a, output=b)

在这里,我们的模型以a为输入,以b为输出,同样我们可以构造拥有多输入和多输出的模型:

1
model = Model(input=[a1, a2], output=[b1, b2, b3])

常用的Model属性

  • model.layers:组成模型图的各个层
  • model.inputs:模型的输入张量列表
  • model.outputs:模型的输出张量列表

Model模型方法

compile

1
compile(self, optimizer, loss, metrics=[], loss_weights=None, sample_weight_model=None)

本函数编译模型以供训练,参数有:

  • optimizer:优化器,为预定义优化器名或优化器对象
  • loss:目标函数,为预定义损失函数名或者一个目标函数
  • metrics:列表, 包含评估模型在训练和测试时的性能指标,典型用法是metrics=['accuracy']。如果要在多输出模型中为不同的输出指定不同的指标,可向该参数传递一个字典,例如metrics={'output_a': 'accuracy'}
  • sample_weight_mode:如果你需要按时间步为样本赋权(2D权矩阵),将该值设为“temporal”。默认为“None”,代表按样本赋权(1D权)。如果模型有多个输出,可以向该参数传入指定sample_weight_mode的字典或列表。在下面fit函数的解释中有相关的参考内容。
  • kwargs:使用TensorFlow作为后端请忽略该参数,若使用Theano作为后端,kwargs的值将会传递给 K.function

fit

1
fit(self, x, y, batch_size=32, np_epoch=10, verbose=1, callbacks=[], validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None)

本函数用以训练模型,参数有:

  • x:输入数据。如果模型只有一个输入,那么x的类型是numpy array,如果模型有多个输入,那么x的类型应当为list,list的元素是对应于各个输入的numpy array。
  • y:标签, numpy array。如果模型有多个输出,可以传入一个numpy array的list。如果模型的输出拥有名字,则可以传入一个字典,将输出名与其标签对应起来。
  • batch_size:整数,指定进行梯度下降时每个batch包含的样本数。训练时一个batch的样本会被计算一次梯度下降,使目标函数优化一步。
  • np_epoch:整数,训练的轮数,训练数据将会被遍历nb_epoch次。Keras中nb开头的变量均为"number of"的意思。
  • verbose:日志显示,0为不在标准输出流输出日志信息,1为输出进度条记录,2为每个epoch输出一行记录。
  • callbacks:list,其中的元素是keras.callbacks.Callback的对象。这个list中的回调函数将会在训练过程中的适当时机被调用。
  • validation_split:0~1之间的浮点数,用来指定训练集的一定比例数据作为验证集。验证集将不参与训练,并在每个epoch结束后测试的模型的指标,如损失函数、精确度等。
  • validation_data:形式为(X,y)或(X,y,sample_weights)的tuple,是指定的验证集。此参数将覆盖validation_spilt。
  • class_weight:字典,将不同的类别映射为不同的权值,该参数用来在训练过程中调整损失函数(只能用于训练)。该参数在处理非平衡的训练数据(某些类的训练样本数很少)时,可以使得损失函数对样本数不足的数据更加关注。
  • sample_weight:权值的numpy array,用于在训练时调整损失函数(仅用于训练)。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权,或者在面对时序数据时,传递一个的形式为(samples,sequence_length)的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode='temporal'

fit函数返回一个History对象,其History.history属性,记录了损失函数和其他指标的数值随epoch变化的情况,如果有验证集的话,也包含了验证集的这些指标的变化情况。

evaluate

1
evaluate(self, x, y, batch_size=32, verbose=1, sample_weight=None)

本函数按batch计算在某些输入数据上模型的误差,其参数有:

  • x:输入数据,与fit一样,是numpy array或numpy array的list。
  • y:标签,numpy array。
  • batch_size:整数,含义同fit的同名参数。
  • verbose:含义同fit的同名参数,但只能取0或1。
  • sample_weight:numpy array,含义同fit的同名参数。

本函数返回一个测试误差的标量值(如果模型没有其他评价指标),或一个标量的list(如果模型还有其他的评价指标)。model.metrics_names将给出list中各个值的含义。

predict

1
predict(self, x, batch_size=32, verbose=0)

本函数按batch获得输入数据对应的输出,其参数有:

函数的返回值是预测值的numpy array

fit_generator

1
fit_generator(self, generator, sample_per_epoch, nb_epoch, verbose=1, callbacks=[], validation_data=None, nb_val_samples=None, class_weight={}, max_q_size=10)

利用Python的生成器,逐个生成数据的batch并进行训练。生成器与模型将并行执行以提高效率。

函数的参数是:

  • generator:生成器函数,生成器的输出应该为:
    • 一个形如(inputs,targets)的tuple
    • 一个形如(inputs, targets,sample_weight)的tuple。所有的返回值都应该包含相同数目的样本。生成器将无限在数据集上循环。每个epoch以经过模型的样本数达到samples_per_epoch时,记一个epoch结束
  • samples_per_epoch:整数,当模型处理的样本达到此数目时计一个epoch结束,执行下一个epoch
  • verbose:日志显示,0为不在标准输出流输出日志信息,1为输出进度条记录,2为每个epoch输出一行记录
  • validation_data:具有以下三种形式之一
    • 生成验证集的生成器
    • 一个形如(inputs,targets)的tuple
    • 一个形如(inputs,targets,sample_weights)的tuple
  • nb_val_samples:仅当validation_data是生成器时使用,用以限制在每个epoch结束时用来验证模型的验证集样本数,功能类似于samples_per_epoch
  • max_q_size:生成器队列的最大容量

函数返回一个History对象。

一个简单的例子。

1
2
3
4
5
6
7
8
9
10
11
def generate_arrays_from_file(path):
while 1:
f = open(path)
for line in f:
# create numpy array of input data
# and labels, from each line in the file
x, y = process_line(line)
yield(x, y)
f.close()

model.fit_generator(generate_arrays_from_file('/my_file.txt'),samples_per_epoch=10000, nb_epoch=10)

evaluate_generator

1
evaluate_generator(self, generator, val_samples, max_q_size=10)

本函数使用一个生成器作为数据源,来评估模型,生成器应返回与test_on_batch的输入数据相同类型的数据。

函数的参数是:

  • generator:生成输入batch数据的生成器
  • val_samples:生成器应该返回的总样本数
  • max_q_size:生成器队列的最大容量
  • nb_worker:使用基于进程的多线程处理时的进程数
  • pickle_safe:若设置为True,则使用基于进程的线程。注意因为它的实现依赖于多进程处理,不可传递不可pickle的参数到生成器中,因为它们不能轻易的传递到子进程中。

predict_generator

1
predict_generator(self, generator, val_samples, max_q_size=10, nb_worker=1, pickle_safe=False)

从一个生成器上获取数据并进行预测,生成器应返回与predict_on_batch输入类似的数据。

函数的参数是:

  • generator:生成输入batch数据的生成器
  • val_samples:生成器应该返回的总样本数
  • max_q_size:生成器队列的最大容量
  • nb_worker:使用基于进程的多线程处理时的进程数
  • pickle_safe:若设置为True,则使用基于进程的线程。注意因为它的实现依赖于多进程处理,不可传递不可pickle的参数到生成器中,因为它们不能轻易的传递到子进程中。