Función Tensorflow.js tf.train.momentum()

Tensorflow.js es una biblioteca de código abierto desarrollada por Google para ejecutar modelos de aprendizaje automático y redes neuronales de aprendizaje profundo en el entorno del navegador o del Node.

La función tf.train.momemtum() se usa para crear un tf.MomentumOptimizer que usa un algoritmo decente de gradiente de momento. 

Sintaxis:

tf.train.momentum(learningRate, momentum, useNesterov)

Parámetros:

• learningRate (número): especifica la tasa de aprendizaje que utilizará el algoritmo de descenso del gradiente de impulso.
• impulso (número): especifica el impulso que utilizará el algoritmo de descenso del gradiente de impulso.
• useNesterov (booleano): Especifica si se usa o no el impulso nesterov. Es un parámetro opcional.

Valor devuelto: Devuelve un tf.MomentumOptimizer

Ejemplo 1: Ajuste una función f=(a*x+b) utilizando un optimizador de momento, aprendiendo los coeficientes a y b. En este ejemplo usaremos el impulso nesterov. Entonces useNestrov será cierto.

// Importing tensorflow
import * as tf from "@tensorflow/tfjs"
  
const xs = tf.tensor1d([0, 1, 2]);
const ys = tf.tensor1d([1.1, 5.9, 16.8]);
  
const a = tf.scalar(Math.random()).variable();
const b = tf.scalar(Math.random()).variable();
  
const f = x => a.mul(x).add(b);
const loss = (pred, label) => pred.sub(label).square().mean();
  
const learningRate = 0.01;
const momentum = 10;
const useNestrov = true;
const optimizer = tf.train.momentum(learningRate, momentum, useNestrov);
  
// Train the model.
for (let i = 0; i < 10; i++) {
   optimizer.minimize(() => loss(f(xs), ys));
}
  
// Make predictions.
console.log(
     `a: ${a.dataSync()}, b: ${b.dataSync()}}`);
const preds = f(xs).dataSync();
preds.forEach((pred, i) => {
   console.log(`x: ${i}, pred: ${pred}`);
});

Producción:

a: 1982014720, b:1076448384
x: 0, pred: 1076448384
x: 1, pred: 3058463232
x: 2, pred: 5040477696

Ejemplo 2: Ajuste una ecuación cuadrática usando un optimizador de momento, aprendiendo los coeficientes a y b. En este ejemplo no usaremos el impulso nesterov. Entonces useNestrov será falso.

// Importing tensorflow
import * as tf from "@tensorflow/tfjs"
  
const xs = tf.tensor1d([0, 1, 2, 3]);
const ys = tf.tensor1d([1.1, 5.9, 16.8, 33.9]);
  
const a = tf.scalar(Math.random()).variable();
const b = tf.scalar(Math.random()).variable();
const c = tf.scalar(Math.random()).variable();
  
const f = x => a.mul(x.square()).add(b.mul(x)).add(c);
const loss = (pred, label) => pred.sub(label).square().mean();
  
const learningRate = 0.01;
const momentum = 10;
const useNestrov = false;
const optimizer = tf.train.momentum(learningRate, momentum, useNestrov);
  
// Train the model.
for (let i = 0; i < 10; i++) {
   optimizer.minimize(() => loss(f(xs), ys));
}
  
// Make predictions.
console.log(
     `a: ${a.dataSync()}, b: ${b.dataSync()}, c: ${c.dataSync()}`);
const preds = f(xs).dataSync();
preds.forEach((pred, i) => {
   console.log(`x: ${i}, pred: ${pred}`);
});

Producción:

a: 892235776, b: 331963616, c: 134188384
x:0, pred: 134188384
x:1, pred: 1358387840
x:2, pred: 4367058944
x:3, pred: 9160201216

Referencia: https://js.tensorflow.org/api/1.0.0/#train.momentum