批次標準化

tflearn.layers.normalization.batch_normalization (輸入，beta=0.0，gamma=1.0，epsilon=1e-05，decay=0.9，stddev=0.002，可訓練=True，回復=True，重複使用=False，範圍=None，名稱='BatchNormalization')

每一批次標準化前一層的啟用。

參數

  • 輸入：張量輸入張量。
  • beta：float預設值：0.0。
  • gamma：float預設值：1.0。
  • epsilon：float預設值：1e-5。
  • decay：float預設值：0.9。
  • stddev：float權重初始化的標準差。
  • 可訓練：布林值如果是 True，權重將會是可訓練的。
  • 回復：布林值如果是 True，在載入模型時此層權重將會被回復。
  • 重複使用：布林值如果是 True 而且有提供 '範圍'，此層變數將會被重複使用 (共用)。
  • 範圍：字串定義此層的範圍 (選擇性的)，範圍可用於在層之間共用變數。請注意範圍會覆寫名稱。
  • 名稱：字串此層的名稱 (選擇性的)。

參考文獻

批次標準化：透過減少內部協變數轉移加速深度網路訓練。Sergey Ioffe、Christian Szegedy。2015 年。

連結

http://arxiv.org/pdf/1502.03167v3.pdf

局部回應標準化

tflearn.layers.normalization.local_response_normalization (輸入，深度半徑=5，偏差=1.0，alpha=0.0001，beta=0.75，名稱='LocalResponseNormalization')

輸入

4-D 張量層。

輸出

4-D 張量層。(與輸入相同的維度)

參數

  • 輸入：張量輸入張量。
  • 深度半徑：整數0-D，1-D 標準化視窗的一半寬度。預設值為 5。
  • 偏差：float位移 (通常為正數以避免除以 0)。預設值為 1.0。
  • alpha: float。縮放因子，通常是正值。預設為 0.0001。
  • beta: float。指數。預設為 0.5。
  • 名稱：字串此層的名稱 (選擇性的)。

L2 標準化

tflearn.layers.normalization.l2_normalize (incoming, dim, epsilon=1e-12, name='l2_normalize')

使用 L2 範數在維度 dim 沿著正規化。

對於 dim = 0 的一維張量，計算

output = x / sqrt(max(sum(x**2), epsilon))

對於有更多維度的 x，獨立地沿著維度 dim 正規化每一個一維切片。

參數

  • 輸入：張量輸入張量。
  • dim: int。要正規化的維度。
  • epsilon: float。範數的下界值。如果 norm < sqrt(epsilon)，則會使用 sqrt(epsilon) 作為除數。
  • 名稱：字串此層的名稱 (選擇性的)。

回傳

其形狀與 x 相同的 Tensor。