📖STUDY 웹 브라우저 속 머신러닝 Tensorflow.js | 다항회귀

다항회귀

: 주어진 데이터셋의 목푯값을 예측하는데 사용하는 머신러닝 알고리즘.

지도학습: 명시적인 목푯값(label)과 함께 훈련 ➡ 최대한 데이터를 반영하는 함수(objective function)를 만듦
선형 모델(linear model): $y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \ldots + \beta_px_p + \varepsilon$
손실 함수(loss function): 예측과 샘플간의 오차 ex. mean squared error
Optimizer: 최적값을 찾아나감, 최적화함에 따라 단조 감소 과정을 거침. 이 과정에서 손실 함수는 미분이 가능해야하며, 최솟값을 찾아야함.
- gradient descent: $\theta_{j} := \theta_{j} - \alpha \nabla J(\theta)$
- $J(\theta + \Delta\theta) - J(\theta) \approx \nabla J(\theta)^T \Delta\theta + \frac{1}{2}\Delta\theta^T H \Delta\theta$
Underfitting: 과하게 단순화 ➡ 손실값이 작더라도 발생
Overfitting: 과하게 복잡화 ➡ 손실값이 작더라도 발생

import * as tf from "@tensorflow/tfjs";

const doublePi = tf.scalar(2.0, Math.PI);
const xs = tf.mul(doublePi, tf.range(-0.5, 0.5, 0.01));
const noise = tf.randomNormal([xs.size]).mul(0.05);
const ys = tf.sin(xs).add(noise);

const w0 = tf.scalar(Math.random() - 0.5).variable();
const w1 = tf.scalar(Math.random() - 0.5).variable();
const w2 = tf.scalar(Math.random() - 0.5).variable();

const f_x = (x) => {
  return w2.mul(x).mul(x).add(w1.mul(x)).add(w0);
};

const loss = (pred, label) => pred.sub(label).square().mean();
const learningRate = 0.3;
const optimizer = tf.train.adam(learningRate);

for (let i = 0; i < 100; i++) {
  const l = optimizer.minimize(() => loss(f_x(xs), ys), true);
  losses.push(l.dataSync());
}