| 1 | package Peta::NN::Optimizer; | ||||||||||||||||||||||||||||
| 2 | # ABSTRACT: SGD with momentum, and Adam | ||||||||||||||||||||||||||||
| 3 | |||||||||||||||||||||||||||||
| 4 | # Turns a batch's gradients into parameter updates. It keeps the per-parameter | ||||||||||||||||||||||||||||
| 5 | # state (momentum, or Adam's two moments) and leaves the arithmetic to the | ||||||||||||||||||||||||||||
| 6 | # backend that owns the tensors. | ||||||||||||||||||||||||||||
| 7 | |||||||||||||||||||||||||||||
| 8 | 27 | ▶ | use v5.36; | ||||||||||||||||||||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||||||||||||||||||||
| 9 | |||||||||||||||||||||||||||||
| 10 | 27 | our $VERSION = '0.2610090'; | |||||||||||||||||||||||||||
| 11 | |||||||||||||||||||||||||||||
| 12 | 27 | my %DEFAULT = ( | |||||||||||||||||||||||||||
| 13 | sgd => { lr => 0.1, momentum => 0.9 }, | ||||||||||||||||||||||||||||
| 14 | adam => { lr => 0.005, beta1 => 0.9, beta2 => 0.999, epsilon => 1e-8 }, | ||||||||||||||||||||||||||||
| 15 | # both also take weight_decay => rate; default none | ||||||||||||||||||||||||||||
| 16 | ); | ||||||||||||||||||||||||||||
| 17 | |||||||||||||||||||||||||||||
| 18 | # params is a list of [holder, name]: the parameter tensor is $holder->{name} | ||||||||||||||||||||||||||||
| 19 | # and its gradient, renewed by every backward pass, is $holder->{"g$name"}. | ||||||||||||||||||||||||||||
| 20 | 246 | ▶ | sub new ($class, %arg) { | ||||||||||||||||||||||||||
|
Subroutine
new: called CC=5 SCAR=16.1
Pod
documented
| |||||||||||||||||||||||||||||
| 21 | 246 | ▶ | my $kind = $arg{kind} // 'adam'; | ||||||||||||||||||||||||||
|
Condition50%1/2
$arg{"kind"} // "adam"
MC/DC0%0/1
$arg{"kind"} // "adam"
$arg{"kind"}
Truth table50%1/2
A
A= $arg{"kind"}
| |||||||||||||||||||||||||||||
| 22 | 246 | ▶ | my $default = $DEFAULT{$kind} or die "unknown optimizer '$kind'\n"; | ||||||||||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||||||||||
| 23 | 245 | my $self = bless { %$default, %arg, kind => $kind, steps => 0 }, $class; | |||||||||||||||||||||||||||
| 24 | 245 | ▶ | my $backend = $self->{backend} // die "backend => is required\n"; | ||||||||||||||||||||||||||
|
Condition50%1/2
$self->{"backend"} // die("backend => is required\n")
MC/DC0%0/1
$self->{"backend"} // die("backend => is required\n")
$self->{"backend"}
Truth table50%1/2
A
A= $self->{"backend"}
| |||||||||||||||||||||||||||||
| 25 | 245 | my @tensors = map { $_->[0]{ $_->[1] } } @{ $self->{params} }; | |||||||||||||||||||||||||||
| 26 | 245 | $self->{m} = [ map { $backend->zeros_like($_) } @tensors ]; | |||||||||||||||||||||||||||
| 27 | 245 | ▶ | $self->{v} = [ map { $backend->zeros_like($_) } @tensors ] if $kind eq 'adam'; | ||||||||||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||||||||||
| 28 | 245 | return $self; | |||||||||||||||||||||||||||
| 29 | } | ||||||||||||||||||||||||||||
| 30 | |||||||||||||||||||||||||||||
| 31 | # One update. $scale multiplies every gradient: 1/batch-size turns a batch's | ||||||||||||||||||||||||||||
| 32 | # summed gradient into its mean. | ||||||||||||||||||||||||||||
| 33 | 95428 | ▶ | sub step ($self, $scale = 1) { | ||||||||||||||||||||||||||
|
Subroutine
step: called CC=8 SCAR=20.8
Pod
documented
| |||||||||||||||||||||||||||||
| 34 | 95428 | my $backend = $self->{backend}; | |||||||||||||||||||||||||||
| 35 | 95428 | my $t = ++$self->{steps}; | |||||||||||||||||||||||||||
| 36 | 95428 | my ($lr, $b1, $b2) = @$self{qw(lr beta1 beta2)}; | |||||||||||||||||||||||||||
| 37 | # Weight decay, decoupled from the gradient: every weight shrinks a little | ||||||||||||||||||||||||||||
| 38 | # at each step. Biases are left alone; shrinking them buys nothing. | ||||||||||||||||||||||||||||
| 39 | 95428 | ▶ | my $shrink = $self->{weight_decay} ? 1 - $lr * $self->{weight_decay} : undef; | ||||||||||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||||||||||
| 40 | # Adam's bias correction for the zero-initialised moments, folded into the step size. | ||||||||||||||||||||||||||||
| 41 | 95428 | ▶ | my $rate = $self->{kind} eq 'adam' ? $lr * sqrt(1 - $b2**$t) / (1 - $b1**$t) : undef; | ||||||||||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||||||||||
| 42 | |||||||||||||||||||||||||||||
| 43 | 95428 | for my $p (0 .. $#{ $self->{params} }) { | |||||||||||||||||||||||||||
| 44 | 443800 | my ($holder, $name) = @{ $self->{params}[$p] }; | |||||||||||||||||||||||||||
| 45 | 443800 | my ($value, $grad) = ($holder->{$name}, $holder->{"g$name"}); | |||||||||||||||||||||||||||
| 46 | 443800 | ▶ | $backend->decay($value, $shrink) if defined $shrink && $name ne 'b'; | ||||||||||||||||||||||||||
|
Branch: 1 branch
Condition100%3/3
defined $shrink and $name ne "b"
MC/DC100%2/2
defined $shrink and $name ne "b"
defined $shrink
$name ne "b"
Truth table100%3/3
A and B
A= defined $shrinkB= $name ne "b"
| |||||||||||||||||||||||||||||
| 47 | 443800 | ▶ | if (defined $rate) { | ||||||||||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||||||||||
| 48 | $backend->adam_update($value, $grad, $self->{m}[$p], $self->{v}[$p], | ||||||||||||||||||||||||||||
| 49 | 442600 | $rate, $b1, $b2, $self->{epsilon}, $scale); | |||||||||||||||||||||||||||
| 50 | } | ||||||||||||||||||||||||||||
| 51 | else { | ||||||||||||||||||||||||||||
| 52 | 1200 | $backend->sgd_update($value, $grad, $self->{m}[$p], $lr, $self->{momentum}, $scale); | |||||||||||||||||||||||||||
| 53 | } | ||||||||||||||||||||||||||||
| 54 | } | ||||||||||||||||||||||||||||
| 55 | 95428 | return; | |||||||||||||||||||||||||||
| 56 | } | ||||||||||||||||||||||||||||
| 57 | |||||||||||||||||||||||||||||
| 58 | 27 | 1; | |||||||||||||||||||||||||||
| 59 | |||||||||||||||||||||||||||||
| 60 | __END__ | ||||||||||||||||||||||||||||