python求函数一二阶导_python – Keras&TensorFlow：获得f(x)wrt x的二阶导数,其中dim(x)=(1,n)...
来源：华佗健康网
我在Keras和TensorFlow一起工作.我有一个深度神经模型(预测自动编码器).我正在做一些与此类似的事情：
https://arxiv.org/abs/1612.00796 – 我试图了解输出中给定图层中变量的影响.
为此,我需要找到关于特定层输出的损失(L)的二阶导数(Hessian)：
对角线条目就足够了. L是标量,s是1乘n.
我先尝试了什么：
dLds = tf.gradients(L, s) # works fine to get first order derivatives
d2Lds2 = tf.gradients(dLds, s) # throws an error
TypeError: Second-order gradient for while loops not supported.
我也尝试过：
d2Lds2 = tf.hessians(L, s)
ValueError: Computing hessians is currently only supported for one-dimensional tensors. Element number 0 of `xs` has 2 dimensions.
我无法改变s的形状,因为它是神经网络的一部分(LSTM的状态).第一个维度(batch_size)已经设置为1,我认为我不能摆脱它.
我无法重塑s因为它打破了渐变的流动,例如：
tf.gradients(L, tf.reduce_sum(s, axis=0))
得到：
[None]
关于在这种情况下我该怎么做的任何想法？
因篇幅问题不能全部显示，请点此查看更多更全内容