mirror of
https://github.com/NGSolve/netgen.git
synced 2025-01-27 21:30:35 +05:00
add opti files to linalg
This commit is contained in:
Joachim Schoeberl
parent
abef983224
commit
05e73c4230
410
libsrc/linalg/bfgs.cpp
Normal file
410
libsrc/linalg/bfgs.cpp
Normal file
@ -0,0 +1,410 @@
|
|||||||
|
/***************************************************************************/
|
||||||
|
/* */
|
||||||
|
/* Vorlesung Optimierung I, Gfrerer, WS94/95 */
|
||||||
|
/* BFGS-Verfahren zur Lösung freier nichtlinearer Optimierungsprobleme */
|
||||||
|
/* */
|
||||||
|
/* Programmautor: Joachim Schöberl */
|
||||||
|
/* Matrikelnummer: 9155284 */
|
||||||
|
/* */
|
||||||
|
/***************************************************************************/
|
||||||
|
|
||||||
|
#include <mystdlib.h>
|
||||||
|
#include <myadt.hpp>
|
||||||
|
|
||||||
|
#include <linalg.hpp>
|
||||||
|
#include "opti.hpp"
|
||||||
|
|
||||||
|
|
||||||
|
namespace netgen
|
||||||
|
{
|
||||||
|
|
||||||
|
void Cholesky (const DenseMatrix & a,
|
||||||
|
DenseMatrix & l, Vector & d)
|
||||||
|
{
|
||||||
|
// Factors A = L D L^T
|
||||||
|
|
||||||
|
double x;
|
||||||
|
|
||||||
|
int i, j, k;
|
||||||
|
int n = a.Height();
|
||||||
|
|
||||||
|
// (*testout) << "a = " << a << endl;
|
||||||
|
|
||||||
|
l = a;
|
||||||
|
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
{
|
||||||
|
for (j = i; j <= n; j++)
|
||||||
|
{
|
||||||
|
x = l.Get(i, j);
|
||||||
|
|
||||||
|
for (k = 1; k < i; k++)
|
||||||
|
x -= l.Get(i, k) * l.Get(j, k) * d.Get(k);
|
||||||
|
|
||||||
|
if (i == j)
|
||||||
|
{
|
||||||
|
d.Elem(i) = x;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
l.Elem(j, i) = x / d.Get(k);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
{
|
||||||
|
l.Elem(i, i) = 1;
|
||||||
|
for (j = i+1; j <= n; j++)
|
||||||
|
l.Elem(i, j) = 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
// Multiply:
|
||||||
|
(*testout) << "multiplied factors: " << endl;
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
for (j = 1; j <= n; j++)
|
||||||
|
{
|
||||||
|
x = 0;
|
||||||
|
for (k = 1; k <= n; k++)
|
||||||
|
x += l.Get(i, k) * l.Get(j, k) * d.Get(k);
|
||||||
|
(*testout) << x << " ";
|
||||||
|
}
|
||||||
|
(*testout) << endl;
|
||||||
|
*/
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
void MultLDLt (const DenseMatrix & l, const Vector & d, const Vector & g, Vector & p)
|
||||||
|
{
|
||||||
|
/*
|
||||||
|
int i, j, n;
|
||||||
|
double val;
|
||||||
|
|
||||||
|
n = l.Height();
|
||||||
|
p = g;
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
{
|
||||||
|
val = 0;
|
||||||
|
for (j = i; j <= n; j++)
|
||||||
|
val += p.Get(j) * l.Get(j, i);
|
||||||
|
p.Set(i, val);
|
||||||
|
}
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
p.Elem(i) *= d.Get(i);
|
||||||
|
|
||||||
|
for (i = n; i >= 1; i--)
|
||||||
|
{
|
||||||
|
val = 0;
|
||||||
|
for (j = 1; j <= i; j++)
|
||||||
|
val += p.Get(j) * l.Get(i, j);
|
||||||
|
p.Set(i, val);
|
||||||
|
}
|
||||||
|
*/
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
double val;
|
||||||
|
|
||||||
|
int n = l.Height();
|
||||||
|
p = g;
|
||||||
|
|
||||||
|
for (int i = 0; i < n; i++)
|
||||||
|
{
|
||||||
|
val = 0;
|
||||||
|
for (int j = i; j < n; j++)
|
||||||
|
val += p(j) * l(j, i);
|
||||||
|
p(i) = val;
|
||||||
|
}
|
||||||
|
|
||||||
|
for (int i = 0; i < n; i++)
|
||||||
|
p(i) *= d(i);
|
||||||
|
|
||||||
|
for (int i = n-1; i >= 0; i--)
|
||||||
|
{
|
||||||
|
val = 0;
|
||||||
|
for (int j = 0; j <= i; j++)
|
||||||
|
val += p(j) * l(i, j);
|
||||||
|
p(i) = val;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
void SolveLDLt (const DenseMatrix & l, const Vector & d, const Vector & g, Vector & p)
|
||||||
|
{
|
||||||
|
double val;
|
||||||
|
|
||||||
|
int n = l.Height();
|
||||||
|
p = g;
|
||||||
|
|
||||||
|
for (int i = 0; i < n; i++)
|
||||||
|
{
|
||||||
|
val = 0;
|
||||||
|
for (int j = 0; j < i; j++)
|
||||||
|
val += p(j) * l(i,j);
|
||||||
|
p(i) -= val;
|
||||||
|
}
|
||||||
|
|
||||||
|
for (int i = 0; i < n; i++)
|
||||||
|
p(i) /= d(i);
|
||||||
|
|
||||||
|
for (int i = n-1; i >= 0; i--)
|
||||||
|
{
|
||||||
|
val = 0;
|
||||||
|
for (int j = i+1; j < n; j++)
|
||||||
|
val += p(j) * l(j, i);
|
||||||
|
p(i) -= val;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
int LDLtUpdate (DenseMatrix & l, Vector & d, double a, const Vector & u)
|
||||||
|
{
|
||||||
|
// Bemerkung: Es wird a aus R erlaubt
|
||||||
|
// Rueckgabewert: 0 .. D bleibt positiv definit
|
||||||
|
// 1 .. sonst
|
||||||
|
|
||||||
|
int i, j, n;
|
||||||
|
|
||||||
|
n = l.Height();
|
||||||
|
|
||||||
|
Vector v(n);
|
||||||
|
double t, told, xi;
|
||||||
|
|
||||||
|
told = 1;
|
||||||
|
v = u;
|
||||||
|
|
||||||
|
for (j = 1; j <= n; j++)
|
||||||
|
{
|
||||||
|
t = told + a * sqr (v.Elem(j)) / d.Get(j);
|
||||||
|
|
||||||
|
if (t <= 0)
|
||||||
|
{
|
||||||
|
(*testout) << "update err, t = " << t << endl;
|
||||||
|
return 1;
|
||||||
|
}
|
||||||
|
|
||||||
|
xi = a * v.Elem(j) / (d.Get(j) * t);
|
||||||
|
|
||||||
|
d.Elem(j) *= t / told;
|
||||||
|
|
||||||
|
for (i = j + 1; i <= n; i++)
|
||||||
|
{
|
||||||
|
v.Elem(i) -= v.Elem(j) * l.Elem(i, j);
|
||||||
|
l.Elem(i, j) += xi * v.Elem(i);
|
||||||
|
}
|
||||||
|
|
||||||
|
told = t;
|
||||||
|
}
|
||||||
|
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
double BFGS (
|
||||||
|
Vector & x, // i: Startwert
|
||||||
|
// o: Loesung, falls IFAIL = 0
|
||||||
|
const MinFunction & fun,
|
||||||
|
const OptiParameters & par,
|
||||||
|
double eps
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
{
|
||||||
|
int i, j, n = x.Size();
|
||||||
|
long it;
|
||||||
|
char a1crit, a3acrit;
|
||||||
|
|
||||||
|
|
||||||
|
Vector d(n), g(n), p(n), temp(n), bs(n), xneu(n), y(n), s(n), x0(n);
|
||||||
|
DenseMatrix l(n);
|
||||||
|
DenseMatrix hesse(n);
|
||||||
|
|
||||||
|
double /* normg, */ alphahat, hd, fold;
|
||||||
|
double a1, a2;
|
||||||
|
const double mu1 = 0.1, sigma = 0.1, xi1 = 1, xi2 = 10;
|
||||||
|
const double tau = 0.1, tau1 = 0.1, tau2 = 0.6;
|
||||||
|
|
||||||
|
Vector typx(x.Size()); // i: typische Groessenordnung der Komponenten
|
||||||
|
double f, f0;
|
||||||
|
double typf; // i: typische Groessenordnung der Loesung
|
||||||
|
double fmin = -1e5; // i: untere Schranke fuer Funktionswert
|
||||||
|
// double eps = 1e-8; // i: Abbruchschranke fuer relativen Gradienten
|
||||||
|
double tauf = 0.1; // i: Abbruchschranke fuer die relative Aenderung der
|
||||||
|
// Funktionswerte
|
||||||
|
int ifail; // o: 0 .. Erfolg
|
||||||
|
// -1 .. Unterschreitung von fmin
|
||||||
|
// 1 .. kein Erfolg bei Liniensuche
|
||||||
|
// 2 .. Überschreitung von itmax
|
||||||
|
|
||||||
|
typx = par.typx;
|
||||||
|
typf = par.typf;
|
||||||
|
|
||||||
|
|
||||||
|
l = 0;
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
l.Elem(i, i) = 1;
|
||||||
|
|
||||||
|
f = fun.FuncGrad (x, g);
|
||||||
|
f0 = f;
|
||||||
|
x0 = x;
|
||||||
|
|
||||||
|
it = 0;
|
||||||
|
do
|
||||||
|
{
|
||||||
|
// Restart
|
||||||
|
|
||||||
|
if (it % (5 * n) == 0)
|
||||||
|
{
|
||||||
|
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
d.Elem(i) = typf/ sqr (typx.Get(i)); // 1;
|
||||||
|
for (i = 2; i <= n; i++)
|
||||||
|
for (j = 1; j < i; j++)
|
||||||
|
l.Elem(i, j) = 0;
|
||||||
|
|
||||||
|
/*
|
||||||
|
hesse = 0;
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
hesse.Elem(i, i) = typf / sqr (typx.Get(i));
|
||||||
|
|
||||||
|
fun.ApproximateHesse (x, hesse);
|
||||||
|
|
||||||
|
Cholesky (hesse, l, d);
|
||||||
|
*/
|
||||||
|
}
|
||||||
|
|
||||||
|
it++;
|
||||||
|
if (it > par.maxit_bfgs)
|
||||||
|
{
|
||||||
|
ifail = 2;
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
// Solve with factorized B
|
||||||
|
|
||||||
|
SolveLDLt (l, d, g, p);
|
||||||
|
|
||||||
|
// (*testout) << "l " << l << endl
|
||||||
|
// << "d " << d << endl
|
||||||
|
// << "g " << g << endl
|
||||||
|
// << "p " << p << endl;
|
||||||
|
|
||||||
|
|
||||||
|
p *= -1;
|
||||||
|
y = g;
|
||||||
|
|
||||||
|
fold = f;
|
||||||
|
|
||||||
|
// line search
|
||||||
|
|
||||||
|
alphahat = 1;
|
||||||
|
lines (x, xneu, p, f, g, fun, par, alphahat, fmin,
|
||||||
|
mu1, sigma, xi1, xi2, tau, tau1, tau2, ifail);
|
||||||
|
|
||||||
|
if(ifail == 1)
|
||||||
|
(*testout) << "no success with linesearch" << endl;
|
||||||
|
|
||||||
|
/*
|
||||||
|
// if (it > par.maxit_bfgs/2)
|
||||||
|
{
|
||||||
|
(*testout) << "x = " << x << endl;
|
||||||
|
(*testout) << "xneu = " << xneu << endl;
|
||||||
|
(*testout) << "f = " << f << endl;
|
||||||
|
(*testout) << "g = " << g << endl;
|
||||||
|
}
|
||||||
|
*/
|
||||||
|
|
||||||
|
// (*testout) << "it = " << it << " f = " << f << endl;
|
||||||
|
// if (ifail != 0) break;
|
||||||
|
|
||||||
|
s.Set2 (1, xneu, -1, x);
|
||||||
|
y *= -1;
|
||||||
|
y.Add (1,g); // y += g;
|
||||||
|
|
||||||
|
x = xneu;
|
||||||
|
|
||||||
|
// BFGS Update
|
||||||
|
|
||||||
|
MultLDLt (l, d, s, bs);
|
||||||
|
|
||||||
|
a1 = y * s;
|
||||||
|
a2 = s * bs;
|
||||||
|
|
||||||
|
if (a1 > 0 && a2 > 0)
|
||||||
|
{
|
||||||
|
if (LDLtUpdate (l, d, 1 / a1, y) != 0)
|
||||||
|
{
|
||||||
|
cerr << "BFGS update error1" << endl;
|
||||||
|
(*testout) << "BFGS update error1" << endl;
|
||||||
|
(*testout) << "l " << endl << l << endl
|
||||||
|
<< "d " << d << endl;
|
||||||
|
ifail = 1;
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (LDLtUpdate (l, d, -1 / a2, bs) != 0)
|
||||||
|
{
|
||||||
|
cerr << "BFGS update error2" << endl;
|
||||||
|
(*testout) << "BFGS update error2" << endl;
|
||||||
|
(*testout) << "l " << endl << l << endl
|
||||||
|
<< "d " << d << endl;
|
||||||
|
ifail = 1;
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Calculate stop conditions
|
||||||
|
|
||||||
|
hd = eps * max2 (typf, fabs (f));
|
||||||
|
a1crit = 1;
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
if ( fabs (g.Elem(i)) * max2 (typx.Elem(i), fabs (x.Elem(i))) > hd)
|
||||||
|
a1crit = 0;
|
||||||
|
|
||||||
|
|
||||||
|
a3acrit = (fold - f <= tauf * max2 (typf, fabs (f)));
|
||||||
|
|
||||||
|
// testout << "g = " << g << endl;
|
||||||
|
// testout << "a1crit, a3crit = " << int(a1crit) << ", " << int(a3acrit) << endl;
|
||||||
|
|
||||||
|
/*
|
||||||
|
// Output for tests
|
||||||
|
|
||||||
|
normg = sqrt (g * g);
|
||||||
|
|
||||||
|
testout << "it =" << setw (5) << it
|
||||||
|
<< " f =" << setw (12) << setprecision (5) << f
|
||||||
|
<< " |g| =" << setw (12) << setprecision (5) << normg;
|
||||||
|
|
||||||
|
testout << " x = (" << setw (12) << setprecision (5) << x.Elem(1);
|
||||||
|
for (i = 2; i <= n; i++)
|
||||||
|
testout << "," << setw (12) << setprecision (5) << x.Elem(i);
|
||||||
|
testout << ")" << endl;
|
||||||
|
*/
|
||||||
|
|
||||||
|
//(*testout) << "it = " << it << " f = " << f << " x = " << x << endl
|
||||||
|
// << " g = " << g << " p = " << p << endl << endl;
|
||||||
|
|
||||||
|
// (*testout) << "|g| = " << g.L2Norm() << endl;
|
||||||
|
|
||||||
|
if (g.L2Norm() < fun.GradStopping (x)) break;
|
||||||
|
|
||||||
|
}
|
||||||
|
while (!a1crit || !a3acrit);
|
||||||
|
|
||||||
|
/*
|
||||||
|
(*testout) << "it = " << it << " g = " << g << " f = " << f
|
||||||
|
<< " fail = " << ifail << endl;
|
||||||
|
*/
|
||||||
|
if (f0 < f || (ifail == 1))
|
||||||
|
{
|
||||||
|
(*testout) << "fail, f = " << f << " f0 = " << f0 << endl;
|
||||||
|
f = f0;
|
||||||
|
x = x0;
|
||||||
|
}
|
||||||
|
|
||||||
|
// (*testout) << "x = " << x << ", x0 = " << x0 << endl;
|
||||||
|
return f;
|
||||||
|
}
|
||||||
|
|
||||||
|
}
|
||||||
73
libsrc/linalg/linopt.cpp
Normal file
73
libsrc/linalg/linopt.cpp
Normal file
@ -0,0 +1,73 @@
|
|||||||
|
#include <mystdlib.h>
|
||||||
|
#include <myadt.hpp>
|
||||||
|
|
||||||
|
#include <linalg.hpp>
|
||||||
|
#include "opti.hpp"
|
||||||
|
|
||||||
|
namespace netgen
|
||||||
|
{
|
||||||
|
|
||||||
|
void LinearOptimize (const DenseMatrix & a, const Vector & b,
|
||||||
|
const Vector & c, Vector & x)
|
||||||
|
|
||||||
|
{
|
||||||
|
int i1, i2, i3, j;
|
||||||
|
DenseMatrix m(3), inv(3);
|
||||||
|
Vector rs(3), hx(3), res(a.Height()), res2(3);
|
||||||
|
double f, fmin;
|
||||||
|
int nrest;
|
||||||
|
|
||||||
|
if (a.Width() != 3)
|
||||||
|
{
|
||||||
|
cerr << "LinearOptimize only implemented for 3 unknowns" << endl;
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
fmin = 1e10;
|
||||||
|
x = 0;
|
||||||
|
nrest = a.Height();
|
||||||
|
for (i1 = 1; i1 <= nrest; i1++)
|
||||||
|
for (i2 = i1 + 1; i2 <= nrest; i2++)
|
||||||
|
for (i3 = i2 + 1; i3 <= nrest; i3++)
|
||||||
|
{
|
||||||
|
for (j = 1; j <= 3; j++)
|
||||||
|
{
|
||||||
|
m.Elem(1, j) = a.Get(i1, j);
|
||||||
|
m.Elem(2, j) = a.Get(i2, j);
|
||||||
|
m.Elem(3, j) = a.Get(i3, j);
|
||||||
|
}
|
||||||
|
|
||||||
|
rs.Elem(1) = b.Get(i1);
|
||||||
|
rs.Elem(2) = b.Get(i2);
|
||||||
|
rs.Elem(3) = b.Get(i3);
|
||||||
|
|
||||||
|
if (fabs (m.Det()) < 1e-12) continue;
|
||||||
|
|
||||||
|
CalcInverse (m, inv);
|
||||||
|
inv.Mult (rs, hx);
|
||||||
|
|
||||||
|
a.Residuum (hx, b, res);
|
||||||
|
// m.Residuum (hx, rs, res2);
|
||||||
|
f = c * hx;
|
||||||
|
|
||||||
|
/*
|
||||||
|
testout -> precision(12);
|
||||||
|
(*testout) << "i = (" << i1 << "," << i2 << "," << i3
|
||||||
|
<< "), f = " << f << " x = " << x << " res = " << res
|
||||||
|
<< " resmin = " << res.Min()
|
||||||
|
<< " res2 = " << res2 << " prod = " << prod << endl;
|
||||||
|
*/
|
||||||
|
|
||||||
|
|
||||||
|
double rmin = res.Elem(1);
|
||||||
|
for (int hi = 2; hi <= res.Size(); hi++)
|
||||||
|
if (res.Elem(hi) < rmin) rmin = res.Elem(hi);
|
||||||
|
|
||||||
|
if ( (f < fmin) && rmin >= -1e-8)
|
||||||
|
{
|
||||||
|
fmin = f;
|
||||||
|
x = hx;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
351
libsrc/linalg/linsearch.cpp
Normal file
351
libsrc/linalg/linsearch.cpp
Normal file
@ -0,0 +1,351 @@
|
|||||||
|
/***************************************************************************/
|
||||||
|
/* */
|
||||||
|
/* Problem: Liniensuche */
|
||||||
|
/* */
|
||||||
|
/* Programmautor: Joachim Schöberl */
|
||||||
|
/* Matrikelnummer: 9155284 */
|
||||||
|
/* */
|
||||||
|
/* Algorithmus nach: */
|
||||||
|
/* */
|
||||||
|
/* Optimierung I, Gfrerer, WS94/95 */
|
||||||
|
/* Algorithmus 2.1: Liniensuche Problem (ii) */
|
||||||
|
/* */
|
||||||
|
/***************************************************************************/
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
#include <mystdlib.h>
|
||||||
|
|
||||||
|
#include <myadt.hpp> // min, max, sqr
|
||||||
|
|
||||||
|
#include <linalg.hpp>
|
||||||
|
#include "opti.hpp"
|
||||||
|
|
||||||
|
|
||||||
|
namespace netgen
|
||||||
|
{
|
||||||
|
const double eps0 = 1E-15;
|
||||||
|
|
||||||
|
// Liniensuche
|
||||||
|
|
||||||
|
|
||||||
|
double MinFunction :: Func (const Vector & /* x */) const
|
||||||
|
{
|
||||||
|
cerr << "Func of MinFunction called" << endl;
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
void MinFunction :: Grad (const Vector & /* x */, Vector & /* g */) const
|
||||||
|
{
|
||||||
|
cerr << "Grad of MinFunction called" << endl;
|
||||||
|
}
|
||||||
|
|
||||||
|
double MinFunction :: FuncGrad (const Vector & x, Vector & g) const
|
||||||
|
{
|
||||||
|
cerr << "Grad of MinFunction called" << endl;
|
||||||
|
return 0;
|
||||||
|
/*
|
||||||
|
int n = x.Size();
|
||||||
|
|
||||||
|
static Vector xr;
|
||||||
|
static Vector xl;
|
||||||
|
xr.SetSize(n);
|
||||||
|
xl.SetSize(n);
|
||||||
|
|
||||||
|
double eps = 1e-6;
|
||||||
|
double fl, fr;
|
||||||
|
|
||||||
|
for (int i = 1; i <= n; i++)
|
||||||
|
{
|
||||||
|
xr.Set (1, x);
|
||||||
|
xl.Set (1, x);
|
||||||
|
|
||||||
|
xr.Elem(i) += eps;
|
||||||
|
fr = Func (xr);
|
||||||
|
|
||||||
|
xl.Elem(i) -= eps;
|
||||||
|
fl = Func (xl);
|
||||||
|
|
||||||
|
g.Elem(i) = (fr - fl) / (2 * eps);
|
||||||
|
}
|
||||||
|
|
||||||
|
double f = Func(x);
|
||||||
|
// (*testout) << "f = " << f << " grad = " << g << endl;
|
||||||
|
return f;
|
||||||
|
*/
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
double MinFunction :: FuncDeriv (const Vector & x, const Vector & dir, double & deriv) const
|
||||||
|
{
|
||||||
|
Vector g(x.Size());
|
||||||
|
double f = FuncGrad (x, g);
|
||||||
|
deriv = (g * dir);
|
||||||
|
|
||||||
|
// (*testout) << "g = " << g << ", dir = " << dir << ", deriv = " << deriv << endl;
|
||||||
|
return f;
|
||||||
|
}
|
||||||
|
|
||||||
|
void MinFunction :: ApproximateHesse (const Vector & x,
|
||||||
|
DenseMatrix & hesse) const
|
||||||
|
{
|
||||||
|
int n = x.Size();
|
||||||
|
int i, j;
|
||||||
|
|
||||||
|
static Vector hx;
|
||||||
|
hx.SetSize(n);
|
||||||
|
|
||||||
|
double eps = 1e-6;
|
||||||
|
double f, f11, f12, f21, f22;
|
||||||
|
|
||||||
|
for (i = 1; i <= n; i++)
|
||||||
|
{
|
||||||
|
for (j = 1; j < i; j++)
|
||||||
|
{
|
||||||
|
hx = x;
|
||||||
|
hx.Elem(i) = x.Get(i) + eps;
|
||||||
|
hx.Elem(j) = x.Get(j) + eps;
|
||||||
|
f11 = Func(hx);
|
||||||
|
hx.Elem(i) = x.Get(i) + eps;
|
||||||
|
hx.Elem(j) = x.Get(j) - eps;
|
||||||
|
f12 = Func(hx);
|
||||||
|
hx.Elem(i) = x.Get(i) - eps;
|
||||||
|
hx.Elem(j) = x.Get(j) + eps;
|
||||||
|
f21 = Func(hx);
|
||||||
|
hx.Elem(i) = x.Get(i) - eps;
|
||||||
|
hx.Elem(j) = x.Get(j) - eps;
|
||||||
|
f22 = Func(hx);
|
||||||
|
|
||||||
|
hesse.Elem(i, j) = hesse.Elem(j, i) =
|
||||||
|
(f11 + f22 - f12 - f21) / (2 * eps * eps);
|
||||||
|
}
|
||||||
|
|
||||||
|
hx = x;
|
||||||
|
f = Func(x);
|
||||||
|
hx.Elem(i) = x.Get(i) + eps;
|
||||||
|
f11 = Func(hx);
|
||||||
|
hx.Elem(i) = x.Get(i) - eps;
|
||||||
|
f22 = Func(hx);
|
||||||
|
|
||||||
|
hesse.Elem(i, i) = (f11 + f22 - 2 * f) / (eps * eps);
|
||||||
|
}
|
||||||
|
// (*testout) << "hesse = " << hesse << endl;
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
/// Line search, modified Mangasarien conditions
|
||||||
|
void lines (Vector & x, // i: initial point of line-search
|
||||||
|
Vector & xneu, // o: solution, if successful
|
||||||
|
Vector & p, // i: search direction
|
||||||
|
double & f, // i: function-value at x
|
||||||
|
// o: function-value at xneu, iff ifail = 0
|
||||||
|
Vector & g, // i: gradient at x
|
||||||
|
// o: gradient at xneu, iff ifail = 0
|
||||||
|
const MinFunction & fun, // function to minimize
|
||||||
|
const OptiParameters & par,
|
||||||
|
double & alphahat, // i: initial value for alpha_hat
|
||||||
|
// o: solution alpha iff ifail = 0
|
||||||
|
double fmin, // i: lower bound for f
|
||||||
|
double mu1, // i: Parameter mu_1 of Alg.2.1
|
||||||
|
double sigma, // i: Parameter sigma of Alg.2.1
|
||||||
|
double xi1, // i: Parameter xi_1 of Alg.2.1
|
||||||
|
double xi2, // i: Parameter xi_1 of Alg.2.1
|
||||||
|
double tau, // i: Parameter tau of Alg.2.1
|
||||||
|
double tau1, // i: Parameter tau_1 of Alg.2.1
|
||||||
|
double tau2, // i: Parameter tau_2 of Alg.2.1
|
||||||
|
int & ifail) // o: 0 on success
|
||||||
|
// -1 bei termination because lower limit fmin
|
||||||
|
// 1 bei illegal termination due to different reasons
|
||||||
|
|
||||||
|
{
|
||||||
|
double phi0, phi0prime, phi1, phi1prime, phihatprime;
|
||||||
|
double alpha1, alpha2, alphaincr, c;
|
||||||
|
char flag = 1;
|
||||||
|
long it;
|
||||||
|
|
||||||
|
alpha1 = 0;
|
||||||
|
alpha2 = 1e50;
|
||||||
|
phi0 = phi1 = f;
|
||||||
|
|
||||||
|
phi0prime = g * p;
|
||||||
|
|
||||||
|
if (phi0prime > 0)
|
||||||
|
{
|
||||||
|
ifail = 1;
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
ifail = 1; // Markus
|
||||||
|
|
||||||
|
phi1prime = phi0prime;
|
||||||
|
|
||||||
|
// (*testout) << "phi0prime = " << phi0prime << endl;
|
||||||
|
|
||||||
|
// it = 100000l;
|
||||||
|
it = 0;
|
||||||
|
|
||||||
|
while (it++ <= par.maxit_linsearch)
|
||||||
|
{
|
||||||
|
|
||||||
|
xneu.Set2 (1, x, alphahat, p);
|
||||||
|
|
||||||
|
|
||||||
|
// f = fun.FuncGrad (xneu, g);
|
||||||
|
// f = fun.Func (xneu);
|
||||||
|
f = fun.FuncDeriv (xneu, p, phihatprime);
|
||||||
|
|
||||||
|
// (*testout) << "lines, f = " << f << " phip = " << phihatprime << endl;
|
||||||
|
|
||||||
|
if (f < fmin)
|
||||||
|
{
|
||||||
|
ifail = -1;
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
if (alpha2 - alpha1 < eps0 * alpha2)
|
||||||
|
{
|
||||||
|
ifail = 0;
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
|
// (*testout) << "i = " << it << " al = " << alphahat << " f = " << f << " fprime " << phihatprime << endl;;
|
||||||
|
|
||||||
|
if (f - phi0 > mu1 * alphahat * phi1prime + eps0 * fabs (phi0))
|
||||||
|
|
||||||
|
{
|
||||||
|
|
||||||
|
flag = 0;
|
||||||
|
alpha2 = alphahat;
|
||||||
|
|
||||||
|
c =
|
||||||
|
(f - phi1 - phi1prime * (alphahat-alpha1)) /
|
||||||
|
sqr (alphahat-alpha1);
|
||||||
|
|
||||||
|
alphahat = alpha1 - 0.5 * phi1prime / c;
|
||||||
|
|
||||||
|
if (alphahat > alpha2)
|
||||||
|
alphahat = alpha1 + 1/(4*c) *
|
||||||
|
( (sigma+mu1) * phi0prime - 2*phi1prime
|
||||||
|
+ sqrt (sqr(phi1prime - mu1 * phi0prime) -
|
||||||
|
4 * (phi1 - phi0 - mu1 * alpha1 * phi0prime) * c));
|
||||||
|
|
||||||
|
alphahat = max2 (alphahat, alpha1 + tau * (alpha2 - alpha1));
|
||||||
|
alphahat = min2 (alphahat, alpha2 - tau * (alpha2 - alpha1));
|
||||||
|
|
||||||
|
// (*testout) << " if-branch" << endl;
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
else
|
||||||
|
|
||||||
|
{
|
||||||
|
/*
|
||||||
|
f = fun.FuncGrad (xneu, g);
|
||||||
|
phihatprime = g * p;
|
||||||
|
*/
|
||||||
|
f = fun.FuncDeriv (xneu, p, phihatprime);
|
||||||
|
|
||||||
|
if (phihatprime < sigma * phi0prime * (1 + eps0))
|
||||||
|
|
||||||
|
{
|
||||||
|
if (phi1prime < phihatprime)
|
||||||
|
// Approximationsfunktion ist konvex
|
||||||
|
|
||||||
|
alphaincr = (alphahat - alpha1) * phihatprime /
|
||||||
|
(phi1prime - phihatprime);
|
||||||
|
|
||||||
|
else
|
||||||
|
alphaincr = 1e99; // MAXDOUBLE;
|
||||||
|
|
||||||
|
if (flag)
|
||||||
|
{
|
||||||
|
alphaincr = max2 (alphaincr, xi1 * (alphahat-alpha1));
|
||||||
|
alphaincr = min2 (alphaincr, xi2 * (alphahat-alpha1));
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
alphaincr = max2 (alphaincr, tau1 * (alpha2 - alphahat));
|
||||||
|
alphaincr = min2 (alphaincr, tau2 * (alpha2 - alphahat));
|
||||||
|
}
|
||||||
|
|
||||||
|
alpha1 = alphahat;
|
||||||
|
alphahat += alphaincr;
|
||||||
|
phi1 = f;
|
||||||
|
phi1prime = phihatprime;
|
||||||
|
}
|
||||||
|
|
||||||
|
else
|
||||||
|
|
||||||
|
{
|
||||||
|
ifail = 0; // Erfolg !!
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
|
// (*testout) << " else, " << endl;
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
// (*testout) << "linsearch: it = " << it << " ifail = " << ifail << endl;
|
||||||
|
|
||||||
|
fun.FuncGrad (xneu, g);
|
||||||
|
|
||||||
|
|
||||||
|
if (it < 0)
|
||||||
|
ifail = 1;
|
||||||
|
|
||||||
|
// (*testout) << "fail = " << ifail << endl;
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
void SteepestDescent (Vector & x, const MinFunction & fun,
|
||||||
|
const OptiParameters & par)
|
||||||
|
{
|
||||||
|
int it, n = x.Size();
|
||||||
|
Vector xnew(n), p(n), g(n), g2(n);
|
||||||
|
double val, alphahat;
|
||||||
|
int fail;
|
||||||
|
|
||||||
|
val = fun.FuncGrad(x, g);
|
||||||
|
|
||||||
|
alphahat = 1;
|
||||||
|
// testout << "f = ";
|
||||||
|
for (it = 0; it < 10; it++)
|
||||||
|
{
|
||||||
|
// testout << val << " ";
|
||||||
|
|
||||||
|
// p = -g;
|
||||||
|
p.Set (-1, g);
|
||||||
|
|
||||||
|
lines (x, xnew, p, val, g, fun, par, alphahat, -1e5,
|
||||||
|
0.1, 0.1, 1, 10, 0.1, 0.1, 0.6, fail);
|
||||||
|
|
||||||
|
x = xnew;
|
||||||
|
}
|
||||||
|
// testout << endl;
|
||||||
|
}
|
||||||
|
}
|
||||||
142
libsrc/linalg/opti.hpp
Normal file
142
libsrc/linalg/opti.hpp
Normal file
@ -0,0 +1,142 @@
|
|||||||
|
#ifndef FILE_OPTI
|
||||||
|
#define FILE_OPTI
|
||||||
|
|
||||||
|
/**************************************************************************/
|
||||||
|
/* File: opti.hpp */
|
||||||
|
/* Author: Joachim Schoeberl */
|
||||||
|
/* Date: 01. Jun. 95 */
|
||||||
|
/**************************************************************************/
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
namespace netgen
|
||||||
|
{
|
||||||
|
|
||||||
|
/**
|
||||||
|
Function to be minimized.
|
||||||
|
*/
|
||||||
|
class MinFunction
|
||||||
|
{
|
||||||
|
public:
|
||||||
|
///
|
||||||
|
virtual double Func (const Vector & x) const;
|
||||||
|
///
|
||||||
|
virtual void Grad (const Vector & x, Vector & g) const;
|
||||||
|
/// function and gradient
|
||||||
|
virtual double FuncGrad (const Vector & x, Vector & g) const;
|
||||||
|
/// directional derivative
|
||||||
|
virtual double FuncDeriv (const Vector & x, const Vector & dir, double & deriv) const;
|
||||||
|
/// if |g| < gradaccuray, then stop bfgs
|
||||||
|
virtual double GradStopping (const Vector & /* x */) const { return 0; }
|
||||||
|
|
||||||
|
///
|
||||||
|
virtual void ApproximateHesse (const Vector & /* x */,
|
||||||
|
DenseMatrix & /* hesse */) const;
|
||||||
|
};
|
||||||
|
|
||||||
|
|
||||||
|
class OptiParameters
|
||||||
|
{
|
||||||
|
public:
|
||||||
|
int maxit_linsearch;
|
||||||
|
int maxit_bfgs;
|
||||||
|
double typf;
|
||||||
|
double typx;
|
||||||
|
|
||||||
|
OptiParameters ()
|
||||||
|
{
|
||||||
|
maxit_linsearch = 100;
|
||||||
|
maxit_bfgs = 100;
|
||||||
|
typf = 1;
|
||||||
|
typx = 1;
|
||||||
|
}
|
||||||
|
};
|
||||||
|
|
||||||
|
|
||||||
|
/** Implementation of BFGS method.
|
||||||
|
Efficient method for non-linear minimiztion problems.
|
||||||
|
@param x initial value and solution
|
||||||
|
@param fun function to be minimized
|
||||||
|
*/
|
||||||
|
extern double BFGS (Vector & x, const MinFunction & fun,
|
||||||
|
const OptiParameters & par,
|
||||||
|
double eps = 1e-8);
|
||||||
|
|
||||||
|
/** Steepest descent method.
|
||||||
|
Simple method for non-linear minimization problems.
|
||||||
|
@param x initial value and solution
|
||||||
|
@param fun function to be minimized
|
||||||
|
*/
|
||||||
|
void SteepestDescent (Vector & x, const MinFunction & fun,
|
||||||
|
const OptiParameters & par);
|
||||||
|
|
||||||
|
|
||||||
|
extern void lines (
|
||||||
|
Vector & x, // i: Ausgangspunkt der Liniensuche
|
||||||
|
Vector & xneu, // o: Loesung der Liniensuche bei Erfolg
|
||||||
|
Vector & p, // i: Suchrichtung
|
||||||
|
double & f, // i: Funktionswert an der Stelle x
|
||||||
|
// o: Funktionswert an der Stelle xneu, falls ifail = 0
|
||||||
|
Vector & g, // i: Gradient an der Stelle x
|
||||||
|
// o: Gradient an der Stelle xneu, falls ifail = 0
|
||||||
|
|
||||||
|
const MinFunction & fun, // function to minmize
|
||||||
|
const OptiParameters & par, // parameters
|
||||||
|
double & alphahat, // i: Startwert für alpha_hat
|
||||||
|
// o: Loesung falls ifail = 0
|
||||||
|
double fmin, // i: untere Schranke für f
|
||||||
|
double mu1, // i: Parameter mu_1 aus Alg.2.1
|
||||||
|
double sigma, // i: Parameter sigma aus Alg.2.1
|
||||||
|
double xi1, // i: Parameter xi_1 aus Alg.2.1
|
||||||
|
double xi2, // i: Parameter xi_1 aus Alg.2.1
|
||||||
|
double tau, // i: Parameter tau aus Alg.2.1
|
||||||
|
double tau1, // i: Parameter tau_1 aus Alg.2.1
|
||||||
|
double tau2, // i: Parameter tau_2 aus Alg.2.1
|
||||||
|
int & ifail); // o: 0 bei erfolgreicher Liniensuche
|
||||||
|
// -1 bei Abbruch wegen Unterschreiten von fmin
|
||||||
|
// 1 bei Abbruch, aus sonstigen Gründen
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
/**
|
||||||
|
Solver for linear programming problem.
|
||||||
|
|
||||||
|
\begin{verbatim}
|
||||||
|
min c^t x
|
||||||
|
A x <= b
|
||||||
|
\end{verbatim}
|
||||||
|
*/
|
||||||
|
extern void LinearOptimize (const DenseMatrix & a, const Vector & b,
|
||||||
|
const Vector & c, Vector & x);
|
||||||
|
|
||||||
|
|
||||||
|
#ifdef NONE
|
||||||
|
|
||||||
|
/**
|
||||||
|
Simple projection iteration.
|
||||||
|
|
||||||
|
find $u = argmin_{v >= 0} 0.5 u A u - f u$
|
||||||
|
*/
|
||||||
|
extern void ApproxProject (const BaseMatrix & a, Vector & u,
|
||||||
|
const Vector & f,
|
||||||
|
double tau, int its);
|
||||||
|
|
||||||
|
|
||||||
|
/**
|
||||||
|
CG Algorithm for quadratic programming problem.
|
||||||
|
See: Dostal ...
|
||||||
|
|
||||||
|
d ... diag(A) ^{-1}
|
||||||
|
*/
|
||||||
|
extern void ApproxProjectCG (const BaseMatrix & a, Vector & x,
|
||||||
|
const Vector & b, const class DiagMatrix & d,
|
||||||
|
double gamma, int & steps, int & changes);
|
||||||
|
|
||||||
|
#endif
|
||||||
|
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
#endif
|
||||||
|
|
||||||
Loading…
Reference in New Issue
Block a user