增加Agent的探索能力是强化学习中经常遇到的问题，一种常用的方法是采用e-greedy的策略，即以e的概率采取随机的动作，以1-e的概率采取当前获得价值最大的动作。本文我们将介绍另一种方法：NoisyNet，该方法通过对参数增加噪声来增加模型的探索能力。

1、NoisyNet的原理

我们的噪声通常添加在全连接层，考虑我们全连接层的前向计算公式：

假设两层的神经元个数分别为p个和q个，那么w是q*p的，x是p维的，y和b都是q维的。

此时我们在参数上增加噪声，文章中假设每一个参数b和w分别服从于均值为μ，方差为σ的正态分布，同时存在一定的随机噪声ε，我们可以假设噪声是服从标准正态分布N(0,1)的。那么前向计算公式变为：

这样，我们模型的变量从原来的p*q + q个，变为了2 * p * q + q个，你可能会问，变量不是3 * p * q + q个么？因为这里，我们的噪声ε在每一轮中，都是随机产生的常量，试想如果噪声ε也是变量的话，就跟原有的wx+b没有什么区别了。

接下来就是这个噪声如何产生的问题了。文中提到了两种方法：

Independent Gaussian noise:这也是我们最容易想到的方法，就是直接从标准正态分布中，随机产生p*q+q个常量。这也就是说，对于每一个全连接层来说，为每一个w和b都产生独立的噪声，这无疑对于模型的计算带来了不小的负担。

Factorised Gaussian noise:该方法有效地减少了噪声的个数，我们只需要p + q个噪声即可，w和b的噪声计算方式如下：

而上式中的f所代表的函数如下：

了解了如何给参数增加噪声，我们就可以把这种方法应用于DQN或者AC等方法中。

2、NoisyNet的TF实现

代码的地址为：https://github.com/princewen/tensorflow_practice/tree/master/RL/Basic-NoisyNet-Demo

这里实现的是使用DQN来玩Atrai游戏的Demo。关于DQN的整体实现思路，我们就不在细讲了，这里重点介绍一下eval-net的构建以及其中最重点的带噪声的全连接层的实现。

我们这里的网络结构是两层卷积层 + 三层全连接层，输入是当前的状态，即三帧的游戏画面，输出是上下左右共四个动作的预估Q值：

def build_layers(self, state, c_names, units_1, units_2, w_i, b_i, reg=None):

    with tf.variable_scope('conv1'):

        conv1 = conv(state, [5, 5, 3, 6], [6], [1, 2, 2, 1], w_i, b_i)

    with tf.variable_scope('conv2'):

        conv2 = conv(conv1, [3, 3, 6, 12], [12], [1, 2, 2, 1], w_i, b_i)

    with tf.variable_scope('flatten'):

        flatten = tf.contrib.layers.flatten(conv2)

        # 两种reshape写法

        # flatten = tf.reshape(relu5, [-1, np.prod(relu5.get_shape().as_list()[1:])])

        # flatten = tf.reshape(relu5, [-1, np.prod(relu5.shape.as_list()[1:])])

        # print flatten.get_shape()

    with tf.variable_scope('dense1'):

        dense1 = noisy_dense(flatten, units_1, [units_1], c_names, w_i, b_i, noisy_distribution=self.config.noisy_distribution)

    with tf.variable_scope('dense2'):

        dense2 = noisy_dense(dense1, units_2, [units_2], c_names, w_i, b_i, noisy_distribution=self.config.noisy_distribution)

    with tf.variable_scope('dense3'):

        dense3 = noisy_dense(dense2, self.action_dim, [self.action_dim], c_names, w_i, b_i, noisy_distribution=self.config.noisy_distribution)

    return dense3

接下来，我们重点介绍一下之中noisy_dense的实现。首先，我们得到每个w的均值和方差的估计：

weights = tf.get_variable('weights', shape=[flatten_shape, units], initializer=w_i)

w_sigma = tf.get_variable('w_sigma', [flatten_shape, units], initializer=w_i, collections=c_names)

如果噪声采用Independent Gaussian noise的方式，我们接下来需要得到p*q个的随机噪声，并得到最终的w：

if noisy_distribution == 'independent':

    weights += tf.multiply(tf.random_normal(shape=w_sigma.shape), w_sigma)

如果噪声采用Factorised Gaussian noise的方式，我们需要得到p + q个噪声，并对这些噪声进行变换，最终得到w：

elif noisy_distribution == 'factorised':

    noise_1 = f(tf.random_normal(tf.TensorShape([flatten_shape, 1]), dtype=tf.float32))  # 注意是列向量形式，方便矩阵乘法

    noise_2 = f(tf.random_normal(tf.TensorShape([1, units]), dtype=tf.float32))

    weights += tf.multiply(noise_1 * noise_2, w_sigma)

其中变换的代码如下：

  def f(e_list):

    return tf.multiply(tf.sign(e_list), tf.pow(tf.abs(e_list), 0.5))

接下来，进行全连接的操作：

dense = tf.matmul(inputs, weights)

最后，如果有偏置项的话，我们同样通过不同的方式为偏置项增加噪声：

if bias_shape is not None:

    assert bias_shape[0] == units

    biases = tf.get_variable('biases', shape=bias_shape, initializer=b_i)

    b_noise = tf.get_variable('b_noise', [1, units], initializer=b_i, collections=c_names)

    if noisy_distribution == 'independent':

        biases += tf.multiply(tf.random_normal(shape=b_noise.shape), b_noise)

    elif noisy_distribution == 'factorised':

        biases += tf.multiply(noise_2, b_noise)

最后，经过激活函数得到最后的输出：

return activation(dense) if activation is not None else dense

完整noise_dense的函数如下：

def noisy_dense(inputs, units, bias_shape, c_names, w_i, b_i=None, activation=tf.nn.relu, noisy_distribution='factorised'):

    def f(e_list):

        return tf.multiply(tf.sign(e_list), tf.pow(tf.abs(e_list), 0.5))



    if not isinstance(inputs, ops.Tensor):

        inputs = ops.convert_to_tensor(inputs, dtype='float')



    if len(inputs.shape) > 2:

        inputs = tf.contrib.layers.flatten(inputs)

    flatten_shape = inputs.shape[1]

    weights = tf.get_variable('weights', shape=[flatten_shape, units], initializer=w_i)

    w_sigma = tf.get_variable('w_sigma', [flatten_shape, units], initializer=w_i, collections=c_names)

    if noisy_distribution == 'independent':

        weights += tf.multiply(tf.random_normal(shape=w_sigma.shape), w_sigma)

    elif noisy_distribution == 'factorised':

        noise_1 = f(tf.random_normal(tf.TensorShape([flatten_shape, 1]), dtype=tf.float32))  # 注意是列向量形式，方便矩阵乘法

        noise_2 = f(tf.random_normal(tf.TensorShape([1, units]), dtype=tf.float32))

        weights += tf.multiply(noise_1 * noise_2, w_sigma)

    dense = tf.matmul(inputs, weights)

    if bias_shape is not None:

        assert bias_shape[0] == units

        biases = tf.get_variable('biases', shape=bias_shape, initializer=b_i)

        b_noise = tf.get_variable('b_noise', [1, units], initializer=b_i, collections=c_names)

        if noisy_distribution == 'independent':

            biases += tf.multiply(tf.random_normal(shape=b_noise.shape), b_noise)

        elif noisy_distribution == 'factorised':

            biases += tf.multiply(noise_2, b_noise)

        return activation(dense + biases) if activation is not None else dense + biases

    return activation(dense) if activation is not None else dense

说点题外话，这个方法我是通过《强化学习精要：核心算法与Tensorflow》这本书看到的，书中对该方法的描述好像与论文和github上代码中所描述的有所出入，书中好像是把变量的方差当作噪声了。如果大家看过这本书同时也看过原作，如果觉得书中写的没有问题而本文写的有错误的话，欢迎大家在下方留言指正！