Setup

The following few lines setup the codes we'll need


In [1]:
include("simple_gradient_descent.jl")


Out[1]:
gradient_descent_2

In [2]:
using Optim
Optim.UnconstrainedProblems.examples["Rosenbrock"]


Out[2]:
Optim.UnconstrainedProblems.OptimizationProblem("Rosenbrock",Optim.UnconstrainedProblems.rosenbrock,Optim.UnconstrainedProblems.rosenbrock_gradient!,Optim.UnconstrainedProblems.rosenbrock_hessian!,[0.0,0.0],[1.0,1.0],true,true)

In [3]:
function opt_combine(x, f, g!)
    g = Vector{Float64}(length(x))
    g!(x,g)
    return (f(x), g)
end
function opt_problem(p::Optim.UnconstrainedProblems.OptimizationProblem)
    return x -> opt_combine(x, p.f, p.g!)
end
opt_problem(s::AbstractString) = opt_problem(Optim.UnconstrainedProblems.examples[s])
fg = opt_problem("Rosenbrock")
f, g = fg([0.0,0.0])


Out[3]:
(1.0,[-2.0,0.0])

In [9]:
using Plots
ezcontour(x, y, f) = begin
    X = repmat(x', length(y), 1)
    Y = repmat(y, 1, length(x))
    # Evaluate each f(x, y)
    Z = map((x,y) -> f([x,y]), X, Y)
    plot(x, y, Z, st=:contour)
end


Out[9]:
ezcontour (generic function with 1 method)

In [ ]:


In [8]:
fg = opt_problem("Rosenbrock")
histx = Vector{Vector{Float64}}()
x,fx,gx,hist = gradient_descent_1(fg, [0.0,0.0]; 
    maxiter=5000, histx=histx, gamma = 1.0)


    iter        val     normg     fdiff
       1   1.00e+00  2.00e+00       Inf
       2   1.60e+03  3.20e+03 -1.60e+03
       3   1.05e+16  1.31e+13 -1.05e+16
       4   2.95e+54  9.01e+41 -2.95e+54
       5  6.58e+169 2.92e+128 -6.58e+169
       6        Inf       Inf      -Inf
WARNING: Did not converge
Out[8]:
([2.92095e128,1.62183e86],Inf,[Inf,-1.70639e259],
[1.0 1601.0 … 6.57585e169 Inf; 2.0 3202.0 … 2.92095e128 Inf])

In [10]:
ezcontour(-1:0.05:1, -1:0.05:1, Optim.UnconstrainedProblems.examples["Rosenbrock"].f)
plot!(map(first,histx),map(x->x[2], histx), linewidth=2)


At least one finite value must be provided to formatter.

 in showoff(::Array{Float64,1}, ::Symbol) at /home/juser/.julia/v0.5/Showoff/src/Showoff.jl:120
 in optimal_ticks_and_labels(::Plots.Axis, ::Void) at /opt/julia_packages/.julia/v0.5/Plots/src/axes.jl:176
 in get_ticks(::Plots.Axis) at /opt/julia_packages/.julia/v0.5/Plots/src/axes.jl:204
 in tick_padding(::Plots.Axis) at /opt/julia_packages/.julia/v0.5/Plots/src/backends.jl:71
 in _update_min_padding!(::Plots.Subplot{Plots.PlotlyBackend}) at /opt/julia_packages/.julia/v0.5/Plots/src/backends.jl:104
 in _collect(::Array{Plots.AbstractLayout,2}, ::Base.Generator{Array{Plots.AbstractLayout,2},Plots.#_update_min_padding!}, ::Base.EltypeUnknown, ::Base.HasShape) at ./array.jl:320
 in _update_min_padding!(::Plots.GridLayout) at /opt/julia_packages/.julia/v0.5/Plots/src/layouts.jl:302
 in prepare_output(::Plots.Plot{Plots.PlotlyBackend}) at /opt/julia_packages/.julia/v0.5/Plots/src/plot.jl:254
 in show(::Base.AbstractIOBuffer{Array{UInt8,1}}, ::MIME{Symbol("image/svg+xml")}, ::Plots.Plot{Plots.PlotlyBackend}) at /opt/julia_packages/.julia/v0.5/Plots/src/output.jl:196
 in show(::Base.AbstractIOBuffer{Array{UInt8,1}}, ::MIME{Symbol("text/html")}, ::Plots.Plot{Plots.PlotlyBackend}) at /opt/julia_packages/.julia/v0.5/Plots/src/output.jl:177
 in show(::Base.AbstractIOBuffer{Array{UInt8,1}}, ::String, ::Plots.Plot{Plots.PlotlyBackend}) at ./multimedia.jl:33
 in #sprint#304(::Void, ::Function, ::Int64, ::Function, ::String, ::Vararg{Any,N}) at ./strings/io.jl:37
 in display_dict(::Plots.Plot{Plots.PlotlyBackend}) at /opt/julia_packages/.julia/v0.5/Plots/src/output.jl:266
 in execute_request(::ZMQ.Socket, ::IJulia.Msg) at /opt/julia_packages/.julia/v0.5/IJulia/src/execute_request.jl:188
 in eventloop(::ZMQ.Socket) at /opt/julia_packages/.julia/v0.5/IJulia/src/eventloop.jl:8
 in (::IJulia.##13#19)() at ./task.jl:360

In [ ]:
fg = opt_problem("Rosenbrock")
histx = Vector{Vector{Float64}}()
x,f,g,hist = gradient_descent_1(fg, [0.0,0.0]; 
    maxiter=5000, histx=histx, gamma = 0.5)

In [15]:
#h = ezcontourf(@(x,y) log((1-x)^2 + 100*(y - x^2)^2)); hold on; colormap(1-cool)
#plot(histx(1,:), histx(2,:),'.-');
#hold off;
ezcontour(-1:0.05:1, -1:0.05:1, Optim.UnconstrainedProblems.examples["Rosenbrock"].f)
plot!(map(first,histx),map(x->x[2], histx), linewidth=2)


Out[15]:

In [83]:
fg = opt_problem("Rosenbrock")
histx = Vector{Vector{Float64}}()
x,f,g,hist = gradient_descent_2(fg, [0.0,0.0]; 
    maxiter=100, histx=histx)


    iter        val     normg     fdiff
       1   1.00e+00  2.00e+00       Inf
       2   1.00e+02  4.00e+02 -9.90e+01
       3   1.98e+01  8.72e+01  8.02e+01
       4   4.10e+01  1.27e+02 -2.12e+01
       5   8.47e+00  5.29e+01  3.25e+01
       6   9.30e+01  2.21e+02 -8.46e+01
       7   6.67e-01  1.25e+00  9.24e+01
       8   5.92e+00  9.28e+01 -5.26e+00
       9   1.28e+02  2.25e+02 -1.22e+02
      10   1.56e+00  1.94e+01  1.26e+02
      11   1.42e+02  3.17e+02 -1.41e+02
      12   4.03e+00  3.31e+01  1.38e+02
      13   5.94e+01  1.53e+02 -5.54e+01
      14   1.83e+01  9.07e+01  4.11e+01
      15   2.77e+01  1.03e+02 -9.44e+00
      16   4.74e+01  1.45e+02 -1.96e+01
      17   6.66e+00  4.91e+01  4.07e+01
      18   1.00e+02  2.43e+02 -9.34e+01
      19   1.38e+00  3.62e+00  9.86e+01
      20   1.99e+01  9.54e+01 -1.85e+01
      21   2.42e+02  7.88e+02 -2.22e+02
      22   9.51e+00  6.02e+01  2.32e+02
      23   1.51e+02  4.44e+02 -1.41e+02
      24   1.50e+00  1.49e+01  1.49e+02
      25   9.16e+01  1.91e+02 -9.01e+01
      26   1.41e+00  3.51e+00  9.02e+01
      27   1.62e+01  8.90e+01 -1.48e+01
      28   2.69e+02  8.49e+02 -2.53e+02
      29   7.38e+00  5.28e+01  2.62e+02
      30   1.76e+02  5.09e+02 -1.69e+02
      31   1.11e+00  1.00e+01  1.75e+02
      32   1.09e+02  2.09e+02 -1.08e+02
      33   3.73e+00  2.99e+01  1.05e+02
      34   5.32e+01  1.45e+02 -4.95e+01
      35   3.43e+01  1.60e+02  1.89e+01
      36   2.28e+01  9.28e+01  1.15e+01
      37   3.87e+01  1.22e+02 -1.59e+01
      38   8.04e+00  5.46e+01  3.07e+01
      39   1.06e+02  2.77e+02 -9.75e+01
      40   1.28e+00  2.02e+00  1.04e+02
      41   1.02e+02  2.11e+02 -1.00e+02
      42   2.07e+00  1.60e+01  9.97e+01
      43   5.80e+01  1.52e+02 -5.59e+01
      44   4.04e+01  1.97e+02  1.76e+01
      45   2.68e+01  1.01e+02  1.36e+01
      46   2.75e+01  1.02e+02 -7.22e-01
      47   1.91e+01  8.58e+01  8.44e+00
      48   5.51e+01  1.49e+02 -3.60e+01
      49   4.69e+00  3.60e+01  5.04e+01
      50   1.02e+02  2.12e+02 -9.77e+01
      51   1.31e+00  1.65e+01  1.01e+02
      52   8.31e+01  1.81e+02 -8.18e+01
      53   3.63e+00  2.85e+01  7.95e+01
      54   5.08e+01  1.42e+02 -4.72e+01
      55   4.12e+01  1.87e+02  9.64e+00
      56   2.16e+01  9.04e+01  1.96e+01
      57   3.64e+01  1.18e+02 -1.48e+01
      58   1.05e+01  6.27e+01  2.59e+01
      59   8.88e+01  2.34e+02 -7.84e+01
      60   1.58e+00  9.94e+00  8.72e+01
      61   9.71e+01  1.96e+02 -9.56e+01
      62   1.02e+00  1.23e+01  9.61e+01
      63   8.95e+01  1.88e+02 -8.85e+01
      64   1.98e+00  1.57e+01  8.76e+01
      65   6.10e+01  1.55e+02 -5.90e+01
      66   3.46e+01  1.75e+02  2.64e+01
      67   2.84e+01  1.04e+02  6.16e+00
      68   2.77e+01  1.02e+02  6.59e-01
      69   1.66e+01  8.00e+01  1.11e+01
      70   6.98e+01  1.98e+02 -5.31e+01
      71   3.25e+00  2.75e+01  6.65e+01
      72   9.69e+01  1.95e+02 -9.36e+01
      73   1.42e+00  1.82e+01  9.54e+01
      74   7.92e+01  1.77e+02 -7.78e+01
      75   5.68e+00  3.93e+01  7.36e+01
      76   4.30e+01  1.30e+02 -3.73e+01
      77   4.82e+01  2.01e+02 -5.23e+00
      78   1.67e+01  7.87e+01  3.16e+01
      79   4.39e+01  1.30e+02 -2.72e+01
      80   6.98e+00  5.04e+01  3.69e+01
      81   1.02e+02  2.54e+02 -9.49e+01
      82   1.34e+00  3.02e+00  1.01e+02
      83   5.09e+00  5.74e+01 -3.75e+00
      84   4.08e+02  1.15e+03 -4.03e+02
      85   1.52e+00  2.26e+01  4.06e+02
      86   3.18e+02  8.51e+02 -3.16e+02
      87   7.41e-01  9.14e+00  3.17e+02
      88   9.23e+01  1.91e+02 -9.15e+01
      89   2.27e+00  1.70e+01  9.00e+01
      90   5.44e+01  1.47e+02 -5.21e+01
      91   4.68e+01  2.19e+02  7.58e+00
      92   2.48e+01  9.73e+01  2.20e+01
      93   2.86e+01  1.05e+02 -3.83e+00
      94   2.03e+01  8.85e+01  8.27e+00
      95   4.46e+01  1.33e+02 -2.43e+01
      96   6.80e+00  4.61e+01  3.78e+01
      97   1.01e+02  2.34e+02 -9.40e+01
      98   8.26e-01  7.88e+00  1.00e+02
      99   9.72e+01  1.96e+02 -9.63e+01
     100   8.81e-01  5.04e+00  9.63e+01
WARNING: Did not converge
Out[83]:
([0.0958799,-0.0160241],0.8810230982015401,[-0.841116,-5.04341],
[1.0 100.0 … 97.1585 0.881023; 2.0 400.0 … 196.179 5.04341])

In [86]:
ezcontour(-1.5:0.01:1.5, -1.5:0.01:1.5, Optim.UnconstrainedProblems.examples["Rosenbrock"].f)
plot!(map(first,histx),map(x->x[2], histx), linewidth=2)


Out[86]:

In [27]:
using ApproxFun
function exact_gradient_descent(fg,x0;
    maxiter=10000,tol=1.0e-8,quiet=false,histx=[])
    
    x = copy(x0)
    n = length(x)

    hist = zeros(2,maxiter)
    savehistx = eltype(histx) == Vector{Float64} ? true : false

    f = Inf
    normg = Inf
    lastiter = 0
    g = Vector{Float64}()

    if !quiet
        @printf("  %6s  %9s %9s %9s\n", "iter", 
            "val", "normg", "fdiff");
    end

    for iter=1:maxiter
        if savehistx
            push!(histx, x)
        end
    
        if iter>1
            # Form an ApproxFun and exactly minimize it
            polyf = Fun( alpha -> fg(x - alpha*g)[1], 0..10)
            amin = indmin(polyf)
            x = x - amin*g;
        end
    
        flast = f
        f,g = fg(x)
        normg = norm(g,Inf)
       
        fdiff = flast - f
    
        if !quiet
            @printf("  %6i  %9.2e %9.2e %9.2e\n", 
                iter, f, normg, fdiff)
        end
    
        hist[:,iter] = [f; normg]
        lastiter = iter
    
        if normg <= tol 
            break 
        end
        if !isfinite(normg)
            break
        end
    end

    if lastiter < maxiter
        hist = hist[:,1:lastiter]
    end

    if normg > tol
        warn("Did not converge")
    end
    
    return x,f,g,hist
end
fg = opt_problem("Rosenbrock")
histx = Vector{Vector{Float64}}()
x,f,g,hist = exact_gradient_descent(fg, [0.0,0.0]; 
    maxiter=1000, histx=histx)


    iter        val     normg     fdiff
       1   1.00e+00  2.00e+00       Inf
  
WARNING: Method definition exact_gradient_descent(Any, Any) in module Main at In[22]:5 overwritten at In[27]:5.
WARNING: Method definition #exact_gradient_descent(Array{Any, 1}, Main.#exact_gradient_descent, Any, Any) in module Main overwritten.
     2   7.71e-01  5.20e+00  2.29e-01
       3   7.03e-01  1.68e+00  6.76e-02
       4   6.57e-01  3.73e+00  4.67e-02
       5   6.22e-01  1.58e+00  3.48e-02
       6   5.94e-01  3.08e+00  2.84e-02
       7   5.70e-01  1.51e+00  2.37e-02
       8   5.49e-01  2.69e+00  2.06e-02
       9   5.31e-01  1.46e+00  1.81e-02
      10   5.15e-01  2.42e+00  1.62e-02
      11   5.00e-01  1.41e+00  1.46e-02
      12   4.87e-01  2.22e+00  1.34e-02
      13   4.75e-01  1.38e+00  1.23e-02
      14   4.63e-01  2.06e+00  1.14e-02
      15   4.53e-01  1.35e+00  1.06e-02
      16   4.43e-01  1.93e+00  9.91e-03
      17   4.34e-01  1.32e+00  9.30e-03
      18   4.25e-01  1.82e+00  8.77e-03
      19   4.17e-01  1.29e+00  8.28e-03
      20   4.09e-01  1.73e+00  7.86e-03
      21   4.01e-01  1.27e+00  7.47e-03
      22   3.94e-01  1.65e+00  7.12e-03
      23   3.87e-01  1.24e+00  6.79e-03
      24   3.81e-01  1.58e+00  6.50e-03
      25   3.75e-01  1.22e+00  6.22e-03
      26   3.69e-01  1.52e+00  5.97e-03
      27   3.63e-01  1.20e+00  5.74e-03
      28   3.57e-01  1.46e+00  5.53e-03
      29   3.52e-01  1.19e+00  5.32e-03
      30   3.47e-01  1.41e+00  5.14e-03
      31   3.42e-01  1.17e+00  4.96e-03
      32   3.37e-01  1.36e+00  4.80e-03
      33   3.33e-01  1.15e+00  4.64e-03
      34   3.28e-01  1.32e+00  4.49e-03
      35   3.24e-01  1.14e+00  4.36e-03
      36   3.19e-01  1.28e+00  4.23e-03
      37   3.15e-01  1.12e+00  4.10e-03
      38   3.11e-01  1.24e+00  3.99e-03
      39   3.08e-01  1.11e+00  3.87e-03
      40   3.04e-01  1.21e+00  3.77e-03
      41   3.00e-01  1.10e+00  3.67e-03
      42   2.97e-01  1.18e+00  3.57e-03
      43   2.93e-01  1.08e+00  3.48e-03
      44   2.90e-01  1.15e+00  3.40e-03
      45   2.86e-01  1.07e+00  3.31e-03
      46   2.83e-01  1.12e+00  3.23e-03
      47   2.80e-01  1.06e+00  3.16e-03
      48   2.77e-01  1.10e+00  3.08e-03
      49   2.74e-01  1.05e+00  3.01e-03
      50   2.71e-01  1.07e+00  2.95e-03
      51   2.68e-01  1.04e+00  2.88e-03
      52   2.65e-01  1.05e+00  2.82e-03
      53   2.62e-01  1.02e+00  2.76e-03
      54   2.60e-01  1.03e+00  2.70e-03
      55   2.57e-01  1.01e+00  2.64e-03
      56   2.54e-01  1.01e+00  2.59e-03
      57   2.52e-01  1.00e+00  2.54e-03
      58   2.49e-01  9.88e-01  2.49e-03
      59   2.47e-01  9.94e-01  2.44e-03
      60   2.45e-01  9.69e-01  2.39e-03
      61   2.42e-01  9.84e-01  2.35e-03
      62   2.40e-01  9.51e-01  2.31e-03
      63   2.38e-01  9.75e-01  2.26e-03
      64   2.35e-01  9.34e-01  2.22e-03
      65   2.33e-01  9.66e-01  2.18e-03
      66   2.31e-01  9.18e-01  2.14e-03
      67   2.29e-01  9.57e-01  2.11e-03
      68   2.27e-01  9.02e-01  2.07e-03
      69   2.25e-01  9.49e-01  2.03e-03
      70   2.23e-01  8.87e-01  2.00e-03
      71   2.21e-01  9.40e-01  1.97e-03
      72   2.19e-01  8.73e-01  1.94e-03
      73   2.17e-01  9.32e-01  1.90e-03
      74   2.15e-01  8.59e-01  1.87e-03
      75   2.13e-01  9.24e-01  1.84e-03
      76   2.12e-01  8.45e-01  1.81e-03
      77   2.10e-01  9.16e-01  1.79e-03
      78   2.08e-01  8.32e-01  1.76e-03
      79   2.06e-01  9.08e-01  1.73e-03
      80   2.05e-01  8.20e-01  1.71e-03
      81   2.03e-01  9.01e-01  1.68e-03
      82   2.01e-01  8.08e-01  1.66e-03
      83   2.00e-01  8.94e-01  1.63e-03
      84   1.98e-01  7.96e-01  1.61e-03
      85   1.96e-01  8.87e-01  1.58e-03
      86   1.95e-01  7.85e-01  1.56e-03
      87   1.93e-01  8.79e-01  1.54e-03
      88   1.92e-01  7.74e-01  1.52e-03
      89   1.90e-01  8.73e-01  1.50e-03
      90   1.89e-01  7.63e-01  1.48e-03
      91   1.87e-01  8.66e-01  1.46e-03
      92   1.86e-01  7.53e-01  1.44e-03
      93   1.85e-01  8.59e-01  1.42e-03
      94   1.83e-01  7.43e-01  1.40e-03
      95   1.82e-01  8.53e-01  1.38e-03
      96   1.80e-01  7.34e-01  1.36e-03
      97   1.79e-01  8.46e-01  1.35e-03
      98   1.78e-01  7.24e-01  1.33e-03
      99   1.76e-01  8.40e-01  1.31e-03
     100   1.75e-01  7.15e-01  1.29e-03
     101   1.74e-01  8.34e-01  1.28e-03
     102   1.73e-01  7.06e-01  1.26e-03
     103   1.71e-01  8.28e-01  1.25e-03
     104   1.70e-01  6.98e-01  1.23e-03
     105   1.69e-01  8.22e-01  1.22e-03
     106   1.68e-01  6.89e-01  1.20e-03
     107   1.67e-01  8.16e-01  1.19e-03
     108   1.65e-01  6.81e-01  1.17e-03
     109   1.64e-01  8.10e-01  1.16e-03
     110   1.63e-01  6.73e-01  1.15e-03
     111   1.62e-01  8.05e-01  1.13e-03
     112   1.61e-01  6.66e-01  1.12e-03
     113   1.60e-01  7.99e-01  1.11e-03
     114   1.59e-01  6.58e-01  1.09e-03
     115   1.57e-01  7.94e-01  1.08e-03
     116   1.56e-01  6.51e-01  1.07e-03
     117   1.55e-01  7.88e-01  1.06e-03
     118   1.54e-01  6.43e-01  1.05e-03
     119   1.53e-01  7.83e-01  1.03e-03
     120   1.52e-01  6.36e-01  1.02e-03
     121   1.51e-01  7.78e-01  1.01e-03
     122   1.50e-01  6.30e-01  1.00e-03
     123   1.49e-01  7.73e-01  9.91e-04
     124   1.48e-01  6.23e-01  9.80e-04
     125   1.47e-01  7.68e-01  9.70e-04
     126   1.46e-01  6.16e-01  9.60e-04
     127   1.45e-01  7.63e-01  9.50e-04
     128   1.44e-01  6.10e-01  9.40e-04
     129   1.44e-01  7.58e-01  9.30e-04
     130   1.43e-01  6.04e-01  9.20e-04
     131   1.42e-01  7.53e-01  9.11e-04
     132   1.41e-01  5.98e-01  9.02e-04
     133   1.40e-01  7.48e-01  8.93e-04
     134   1.39e-01  5.92e-01  8.84e-04
     135   1.38e-01  7.43e-01  8.75e-04
     136   1.37e-01  5.86e-01  8.66e-04
     137   1.36e-01  7.39e-01  8.57e-04
     138   1.36e-01  5.80e-01  8.49e-04
     139   1.35e-01  7.34e-01  8.41e-04
     140   1.34e-01  5.74e-01  8.33e-04
     141   1.33e-01  7.30e-01  8.24e-04
     142   1.32e-01  5.69e-01  8.17e-04
     143   1.31e-01  7.25e-01  8.09e-04
     144   1.31e-01  5.63e-01  8.01e-04
     145   1.30e-01  7.21e-01  7.93e-04
     146   1.29e-01  5.58e-01  7.86e-04
     147   1.28e-01  7.16e-01  7.79e-04
     148   1.28e-01  5.53e-01  7.71e-04
     149   1.27e-01  7.12e-01  7.64e-04
     150   1.26e-01  5.48e-01  7.57e-04
     151   1.25e-01  7.08e-01  7.50e-04
     152   1.25e-01  5.43e-01  7.43e-04
     153   1.24e-01  7.04e-01  7.36e-04
     154   1.23e-01  5.38e-01  7.30e-04
     155   1.22e-01  6.99e-01  7.23e-04
     156   1.22e-01  5.33e-01  7.17e-04
     157   1.21e-01  6.95e-01  7.10e-04
     158   1.20e-01  5.28e-01  7.04e-04
     159   1.19e-01  6.91e-01  6.98e-04
     160   1.19e-01  5.24e-01  6.92e-04
     161   1.18e-01  6.87e-01  6.85e-04
     162   1.17e-01  5.19e-01  6.79e-04
     163   1.17e-01  6.83e-01  6.74e-04
     164   1.16e-01  5.15e-01  6.68e-04
     165   1.15e-01  6.79e-01  6.62e-04
     166   1.15e-01  5.10e-01  6.56e-04
     167   1.14e-01  6.76e-01  6.51e-04
     168   1.13e-01  5.06e-01  6.45e-04
     169   1.13e-01  6.72e-01  6.40e-04
     170   1.12e-01  5.02e-01  6.34e-04
     171   1.12e-01  6.68e-01  6.29e-04
     172   1.11e-01  4.97e-01  6.24e-04
     173   1.10e-01  6.64e-01  6.18e-04
     174   1.10e-01  4.93e-01  6.13e-04
     175   1.09e-01  6.61e-01  6.08e-04
     176   1.09e-01  4.89e-01  6.03e-04
     177   1.08e-01  6.57e-01  5.98e-04
     178   1.07e-01  4.85e-01  5.93e-04
     179   1.07e-01  6.53e-01  5.89e-04
     180   1.06e-01  4.81e-01  5.84e-04
     181   1.06e-01  6.50e-01  5.79e-04
     182   1.05e-01  4.77e-01  5.74e-04
     183   1.04e-01  6.46e-01  5.70e-04
     184   1.04e-01  4.74e-01  5.65e-04
     185   1.03e-01  6.43e-01  5.61e-04
     186   1.03e-01  4.70e-01  5.56e-04
     187   1.02e-01  6.39e-01  5.52e-04
     188   1.02e-01  4.66e-01  5.48e-04
     189   1.01e-01  6.36e-01  5.43e-04
     190   1.01e-01  4.63e-01  5.39e-04
     191   1.00e-01  6.33e-01  5.35e-04
     192   9.95e-02  4.59e-01  5.31e-04
     193   9.90e-02  6.29e-01  5.27e-04
     194   9.84e-02  4.55e-01  5.23e-04
     195   9.79e-02  6.26e-01  5.19e-04
     196   9.74e-02  4.52e-01  5.15e-04
     197   9.69e-02  6.23e-01  5.11e-04
     198   9.64e-02  4.49e-01  5.07e-04
     199   9.59e-02  6.19e-01  5.03e-04
     200   9.54e-02  4.45e-01  4.99e-04
     201   9.49e-02  6.16e-01  4.95e-04
     202   9.44e-02  4.42e-01  4.92e-04
     203   9.39e-02  6.13e-01  4.88e-04
     204   9.34e-02  4.39e-01  4.84e-04
     205   9.29e-02  6.10e-01  4.81e-04
     206   9.25e-02  4.35e-01  4.77e-04
     207   9.20e-02  6.07e-01  4.74e-04
     208   9.15e-02  4.32e-01  4.70e-04
     209   9.11e-02  6.04e-01  4.67e-04
     210   9.06e-02  4.29e-01  4.64e-04
     211   9.01e-02  6.00e-01  4.60e-04
     212   8.97e-02  4.26e-01  4.57e-04
     213   8.92e-02  5.97e-01  4.54e-04
     214   8.88e-02  4.23e-01  4.50e-04
     215   8.83e-02  5.94e-01  4.47e-04
     216   8.79e-02  4.20e-01  4.44e-04
     217   8.74e-02  5.91e-01  4.41e-04
     218   8.70e-02  4.17e-01  4.38e-04
     219   8.66e-02  5.88e-01  4.34e-04
     220   8.61e-02  4.14e-01  4.31e-04
     221   8.57e-02  5.86e-01  4.28e-04
     222   8.53e-02  4.11e-01  4.25e-04
     223   8.49e-02  5.83e-01  4.22e-04
     224   8.44e-02  4.08e-01  4.19e-04
     225   8.40e-02  5.80e-01  4.17e-04
     226   8.36e-02  4.05e-01  4.14e-04
     227   8.32e-02  5.77e-01  4.11e-04
     228   8.28e-02  4.03e-01  4.08e-04
     229   8.24e-02  5.74e-01  4.05e-04
     230   8.20e-02  4.00e-01  4.02e-04
     231   8.16e-02  5.71e-01  4.00e-04
     232   8.12e-02  3.97e-01  3.97e-04
     233   8.08e-02  5.68e-01  3.94e-04
     234   8.04e-02  3.94e-01  3.92e-04
     235   8.00e-02  5.66e-01  3.89e-04
     236   7.96e-02  3.92e-01  3.86e-04
     237   7.92e-02  5.63e-01  3.84e-04
     238   7.89e-02  3.89e-01  3.81e-04
     239   7.85e-02  5.60e-01  3.79e-04
     240   7.81e-02  3.87e-01  3.76e-04
     241   7.77e-02  5.58e-01  3.74e-04
     242   7.74e-02  3.84e-01  3.71e-04
     243   7.70e-02  5.55e-01  3.69e-04
     244   7.66e-02  3.82e-01  3.66e-04
     245   7.63e-02  5.52e-01  3.64e-04
     246   7.59e-02  3.79e-01  3.62e-04
     247   7.55e-02  5.50e-01  3.59e-04
     248   7.52e-02  3.77e-01  3.57e-04
     249   7.48e-02  5.47e-01  3.54e-04
     250   7.45e-02  3.74e-01  3.52e-04
     251   7.41e-02  5.45e-01  3.50e-04
     252   7.38e-02  3.72e-01  3.48e-04
     253   7.34e-02  5.42e-01  3.45e-04
     254   7.31e-02  3.69e-01  3.43e-04
     255   7.28e-02  5.39e-01  3.41e-04
     256   7.24e-02  3.67e-01  3.39e-04
     257   7.21e-02  5.37e-01  3.37e-04
     258   7.17e-02  3.65e-01  3.35e-04
     259   7.14e-02  5.34e-01  3.32e-04
     260   7.11e-02  3.62e-01  3.30e-04
     261   7.07e-02  5.32e-01  3.28e-04
     262   7.04e-02  3.60e-01  3.26e-04
     263   7.01e-02  5.30e-01  3.24e-04
     264   6.98e-02  3.58e-01  3.22e-04
     265   6.95e-02  5.27e-01  3.20e-04
     266   6.91e-02  3.56e-01  3.18e-04
     267   6.88e-02  5.25e-01  3.16e-04
     268   6.85e-02  3.53e-01  3.14e-04
     269   6.82e-02  5.22e-01  3.12e-04
     270   6.79e-02  3.51e-01  3.10e-04
     271   6.76e-02  5.20e-01  3.08e-04
     272   6.73e-02  3.49e-01  3.07e-04
     273   6.70e-02  5.18e-01  3.05e-04
     274   6.67e-02  3.47e-01  3.03e-04
     275   6.64e-02  5.15e-01  3.01e-04
     276   6.61e-02  3.45e-01  2.99e-04
     277   6.58e-02  5.13e-01  2.97e-04
     278   6.55e-02  3.43e-01  2.96e-04
     279   6.52e-02  5.11e-01  2.94e-04
     280   6.49e-02  3.41e-01  2.92e-04
     281   6.46e-02  5.08e-01  2.90e-04
     282   6.43e-02  3.39e-01  2.89e-04
     283   6.40e-02  5.06e-01  2.87e-04
     284   6.37e-02  3.37e-01  2.85e-04
     285   6.34e-02  5.04e-01  2.83e-04
     286   6.32e-02  3.35e-01  2.82e-04
     287   6.29e-02  5.02e-01  2.80e-04
     288   6.26e-02  3.33e-01  2.78e-04
     289   6.23e-02  4.99e-01  2.77e-04
     290   6.21e-02  3.31e-01  2.75e-04
     291   6.18e-02  4.97e-01  2.74e-04
     292   6.15e-02  3.29e-01  2.72e-04
     293   6.12e-02  4.95e-01  2.70e-04
     294   6.10e-02  3.27e-01  2.69e-04
     295   6.07e-02  4.93e-01  2.67e-04
     296   6.04e-02  3.25e-01  2.66e-04
     297   6.02e-02  4.91e-01  2.64e-04
     298   5.99e-02  3.23e-01  2.63e-04
     299   5.97e-02  4.88e-01  2.61e-04
     300   5.94e-02  3.21e-01  2.60e-04
     301   5.91e-02  4.86e-01  2.58e-04
     302   5.89e-02  3.19e-01  2.57e-04
     303   5.86e-02  4.84e-01  2.55e-04
     304   5.84e-02  3.18e-01  2.54e-04
     305   5.81e-02  4.82e-01  2.52e-04
     306   5.79e-02  3.16e-01  2.51e-04
     307   5.76e-02  4.80e-01  2.49e-04
     308   5.74e-02  3.14e-01  2.48e-04
     309   5.71e-02  4.78e-01  2.47e-04
     310   5.69e-02  3.12e-01  2.45e-04
     311   5.66e-02  4.76e-01  2.44e-04
     312   5.64e-02  3.11e-01  2.42e-04
     313   5.61e-02  4.74e-01  2.41e-04
     314   5.59e-02  3.09e-01  2.40e-04
     315   5.57e-02  4.72e-01  2.38e-04
     316   5.54e-02  3.07e-01  2.37e-04
     317   5.52e-02  4.70e-01  2.36e-04
     318   5.50e-02  3.05e-01  2.34e-04
     319   5.47e-02  4.68e-01  2.33e-04
     320   5.45e-02  3.04e-01  2.32e-04
     321   5.43e-02  4.66e-01  2.31e-04
     322   5.40e-02  3.02e-01  2.29e-04
     323   5.38e-02  4.64e-01  2.28e-04
     324   5.36e-02  3.00e-01  2.27e-04
     325   5.34e-02  4.62e-01  2.26e-04
     326   5.31e-02  2.99e-01  2.24e-04
     327   5.29e-02  4.60e-01  2.23e-04
     328   5.27e-02  2.97e-01  2.22e-04
     329   5.25e-02  4.58e-01  2.21e-04
     330   5.22e-02  2.96e-01  2.20e-04
     331   5.20e-02  4.56e-01  2.18e-04
     332   5.18e-02  2.94e-01  2.17e-04
     333   5.16e-02  4.54e-01  2.16e-04
     334   5.14e-02  2.92e-01  2.15e-04
     335   5.12e-02  4.52e-01  2.14e-04
     336   5.10e-02  2.91e-01  2.13e-04
     337   5.07e-02  4.51e-01  2.11e-04
     338   5.05e-02  2.89e-01  2.10e-04
     339   5.03e-02  4.49e-01  2.09e-04
     340   5.01e-02  2.88e-01  2.08e-04
     341   4.99e-02  4.47e-01  2.07e-04
     342   4.97e-02  2.86e-01  2.06e-04
     343   4.95e-02  4.45e-01  2.05e-04
     344   4.93e-02  2.85e-01  2.04e-04
     345   4.91e-02  4.43e-01  2.03e-04
     346   4.89e-02  2.83e-01  2.01e-04
     347   4.87e-02  4.41e-01  2.00e-04
     348   4.85e-02  2.82e-01  1.99e-04
     349   4.83e-02  4.40e-01  1.98e-04
     350   4.81e-02  2.80e-01  1.97e-04
     351   4.79e-02  4.38e-01  1.96e-04
     352   4.77e-02  2.79e-01  1.95e-04
     353   4.75e-02  4.36e-01  1.94e-04
     354   4.73e-02  2.77e-01  1.93e-04
     355   4.71e-02  4.34e-01  1.92e-04
     356   4.69e-02  2.76e-01  1.91e-04
     357   4.67e-02  4.32e-01  1.90e-04
     358   4.66e-02  2.74e-01  1.89e-04
     359   4.64e-02  4.31e-01  1.88e-04
     360   4.62e-02  2.73e-01  1.87e-04
     361   4.60e-02  4.29e-01  1.86e-04
     362   4.58e-02  2.72e-01  1.85e-04
     363   4.56e-02  4.27e-01  1.84e-04
     364   4.54e-02  2.70e-01  1.83e-04
     365   4.53e-02  4.25e-01  1.83e-04
     366   4.51e-02  2.69e-01  1.82e-04
     367   4.49e-02  4.24e-01  1.81e-04
     368   4.47e-02  2.67e-01  1.80e-04
     369   4.45e-02  4.22e-01  1.79e-04
     370   4.44e-02  2.66e-01  1.78e-04
     371   4.42e-02  4.20e-01  1.77e-04
     372   4.40e-02  2.65e-01  1.76e-04
     373   4.38e-02  4.19e-01  1.75e-04
     374   4.37e-02  2.63e-01  1.74e-04
     375   4.35e-02  4.17e-01  1.74e-04
     376   4.33e-02  2.62e-01  1.73e-04
     377   4.31e-02  4.15e-01  1.72e-04
     378   4.30e-02  2.61e-01  1.71e-04
     379   4.28e-02  4.14e-01  1.70e-04
     380   4.26e-02  2.60e-01  1.69e-04
     381   4.25e-02  4.12e-01  1.68e-04
     382   4.23e-02  2.58e-01  1.68e-04
     383   4.21e-02  4.10e-01  1.67e-04
     384   4.20e-02  2.57e-01  1.66e-04
     385   4.18e-02  4.09e-01  1.65e-04
     386   4.16e-02  2.56e-01  1.64e-04
     387   4.15e-02  4.07e-01  1.63e-04
     388   4.13e-02  2.54e-01  1.63e-04
     389   4.11e-02  4.06e-01  1.62e-04
     390   4.10e-02  2.53e-01  1.61e-04
     391   4.08e-02  4.04e-01  1.60e-04
     392   4.07e-02  2.52e-01  1.59e-04
     393   4.05e-02  4.03e-01  1.59e-04
     394   4.03e-02  2.51e-01  1.58e-04
     395   4.02e-02  4.01e-01  1.57e-04
     396   4.00e-02  2.50e-01  1.56e-04
     397   3.99e-02  3.99e-01  1.56e-04
     398   3.97e-02  2.48e-01  1.55e-04
     399   3.96e-02  3.98e-01  1.54e-04
     400   3.94e-02  2.47e-01  1.53e-04
     401   3.93e-02  3.96e-01  1.53e-04
     402   3.91e-02  2.46e-01  1.52e-04
     403   3.90e-02  3.95e-01  1.51e-04
     404   3.88e-02  2.45e-01  1.50e-04
     405   3.87e-02  3.93e-01  1.50e-04
     406   3.85e-02  2.44e-01  1.49e-04
     407   3.84e-02  3.92e-01  1.48e-04
     408   3.82e-02  2.42e-01  1.48e-04
     409   3.81e-02  3.90e-01  1.47e-04
     410   3.79e-02  2.41e-01  1.46e-04
     411   3.78e-02  3.89e-01  1.45e-04
     412   3.76e-02  2.40e-01  1.45e-04
     413   3.75e-02  3.87e-01  1.44e-04
     414   3.73e-02  2.39e-01  1.43e-04
     415   3.72e-02  3.86e-01  1.43e-04
     416   3.71e-02  2.38e-01  1.42e-04
     417   3.69e-02  3.84e-01  1.41e-04
     418   3.68e-02  2.37e-01  1.41e-04
     419   3.66e-02  3.83e-01  1.40e-04
     420   3.65e-02  2.36e-01  1.39e-04
     421   3.64e-02  3.81e-01  1.39e-04
     422   3.62e-02  2.34e-01  1.38e-04
     423   3.61e-02  3.80e-01  1.37e-04
     424   3.59e-02  2.33e-01  1.37e-04
     425   3.58e-02  3.78e-01  1.36e-04
     426   3.57e-02  2.32e-01  1.36e-04
     427   3.55e-02  3.77e-01  1.35e-04
     428   3.54e-02  2.31e-01  1.34e-04
     429   3.53e-02  3.76e-01  1.34e-04
     430   3.51e-02  2.30e-01  1.33e-04
     431   3.50e-02  3.74e-01  1.32e-04
     432   3.49e-02  2.29e-01  1.32e-04
     433   3.47e-02  3.73e-01  1.31e-04
     434   3.46e-02  2.28e-01  1.31e-04
     435   3.45e-02  3.71e-01  1.30e-04
     436   3.44e-02  2.27e-01  1.29e-04
     437   3.42e-02  3.70e-01  1.29e-04
     438   3.41e-02  2.26e-01  1.28e-04
     439   3.40e-02  3.69e-01  1.28e-04
     440   3.38e-02  2.25e-01  1.27e-04
     441   3.37e-02  3.67e-01  1.26e-04
     442   3.36e-02  2.24e-01  1.26e-04
     443   3.35e-02  3.66e-01  1.25e-04
     444   3.33e-02  2.23e-01  1.25e-04
     445   3.32e-02  3.64e-01  1.24e-04
     446   3.31e-02  2.22e-01  1.24e-04
     447   3.30e-02  3.63e-01  1.23e-04
     448   3.28e-02  2.21e-01  1.22e-04
     449   3.27e-02  3.62e-01  1.22e-04
     450   3.26e-02  2.20e-01  1.21e-04
     451   3.25e-02  3.60e-01  1.21e-04
     452   3.24e-02  2.19e-01  1.20e-04
     453   3.22e-02  3.59e-01  1.20e-04
     454   3.21e-02  2.18e-01  1.19e-04
     455   3.20e-02  3.58e-01  1.19e-04
     456   3.19e-02  2.17e-01  1.18e-04
     457   3.18e-02  3.56e-01  1.18e-04
     458   3.16e-02  2.16e-01  1.17e-04
     459   3.15e-02  3.55e-01  1.17e-04
     460   3.14e-02  2.15e-01  1.16e-04
     461   3.13e-02  3.54e-01  1.16e-04
     462   3.12e-02  2.14e-01  1.15e-04
     463   3.11e-02  3.53e-01  1.14e-04
     464   3.10e-02  2.13e-01  1.14e-04
     465   3.08e-02  3.51e-01  1.13e-04
     466   3.07e-02  2.12e-01  1.13e-04
     467   3.06e-02  3.50e-01  1.12e-04
     468   3.05e-02  2.11e-01  1.12e-04
     469   3.04e-02  3.49e-01  1.11e-04
     470   3.03e-02  2.10e-01  1.11e-04
     471   3.02e-02  3.47e-01  1.10e-04
     472   3.01e-02  2.09e-01  1.10e-04
     473   3.00e-02  3.46e-01  1.10e-04
     474   2.98e-02  2.08e-01  1.09e-04
     475   2.97e-02  3.45e-01  1.09e-04
     476   2.96e-02  2.07e-01  1.08e-04
     477   2.95e-02  3.44e-01  1.08e-04
     478   2.94e-02  2.07e-01  1.07e-04
     479   2.93e-02  3.42e-01  1.07e-04
     480   2.92e-02  2.06e-01  1.06e-04
     481   2.91e-02  3.41e-01  1.06e-04
     482   2.90e-02  2.05e-01  1.05e-04
     483   2.89e-02  3.40e-01  1.05e-04
     484   2.88e-02  2.04e-01  1.04e-04
     485   2.87e-02  3.39e-01  1.04e-04
     486   2.86e-02  2.03e-01  1.03e-04
     487   2.85e-02  3.37e-01  1.03e-04
     488   2.84e-02  2.02e-01  1.03e-04
     489   2.83e-02  3.36e-01  1.02e-04
     490   2.82e-02  2.01e-01  1.02e-04
     491   2.81e-02  3.35e-01  1.01e-04
     492   2.80e-02  2.00e-01  1.01e-04
     493   2.79e-02  3.34e-01  1.00e-04
     494   2.78e-02  1.99e-01  9.99e-05
     495   2.77e-02  3.33e-01  9.95e-05
     496   2.76e-02  1.99e-01  9.91e-05
     497   2.75e-02  3.31e-01  9.86e-05
     498   2.74e-02  1.98e-01  9.82e-05
     499   2.73e-02  3.30e-01  9.78e-05
     500   2.72e-02  1.97e-01  9.74e-05
     501   2.71e-02  3.29e-01  9.70e-05
     502   2.70e-02  1.96e-01  9.66e-05
     503   2.69e-02  3.28e-01  9.61e-05
     504   2.68e-02  1.95e-01  9.57e-05
     505   2.67e-02  3.27e-01  9.53e-05
     506   2.66e-02  1.94e-01  9.49e-05
     507   2.65e-02  3.26e-01  9.45e-05
     508   2.64e-02  1.94e-01  9.41e-05
     509   2.63e-02  3.24e-01  9.37e-05
     510   2.62e-02  1.93e-01  9.33e-05
     511   2.61e-02  3.23e-01  9.29e-05
     512   2.60e-02  1.92e-01  9.25e-05
     513   2.59e-02  3.22e-01  9.21e-05
     514   2.58e-02  1.91e-01  9.18e-05
     515   2.58e-02  3.21e-01  9.14e-05
     516   2.57e-02  1.90e-01  9.10e-05
     517   2.56e-02  3.20e-01  9.06e-05
     518   2.55e-02  1.90e-01  9.02e-05
     519   2.54e-02  3.19e-01  8.98e-05
     520   2.53e-02  1.89e-01  8.95e-05
     521   2.52e-02  3.18e-01  8.91e-05
     522   2.51e-02  1.88e-01  8.87e-05
     523   2.50e-02  3.16e-01  8.84e-05
     524   2.50e-02  1.87e-01  8.80e-05
     525   2.49e-02  3.15e-01  8.76e-05
     526   2.48e-02  1.86e-01  8.73e-05
     527   2.47e-02  3.14e-01  8.69e-05
     528   2.46e-02  1.86e-01  8.65e-05
     529   2.45e-02  3.13e-01  8.62e-05
     530   2.44e-02  1.85e-01  8.58e-05
     531   2.43e-02  3.12e-01  8.55e-05
     532   2.43e-02  1.84e-01  8.51e-05
     533   2.42e-02  3.11e-01  8.48e-05
     534   2.41e-02  1.83e-01  8.44e-05
     535   2.40e-02  3.10e-01  8.41e-05
     536   2.39e-02  1.83e-01  8.37e-05
     537   2.38e-02  3.09e-01  8.34e-05
     538   2.38e-02  1.82e-01  8.30e-05
     539   2.37e-02  3.08e-01  8.27e-05
     540   2.36e-02  1.81e-01  8.23e-05
     541   2.35e-02  3.07e-01  8.20e-05
     542   2.34e-02  1.80e-01  8.17e-05
     543   2.33e-02  3.06e-01  8.13e-05
     544   2.33e-02  1.80e-01  8.10e-05
     545   2.32e-02  3.05e-01  8.07e-05
     546   2.31e-02  1.79e-01  8.03e-05
     547   2.30e-02  3.03e-01  8.00e-05
     548   2.29e-02  1.78e-01  7.97e-05
     549   2.29e-02  3.02e-01  7.94e-05
     550   2.28e-02  1.77e-01  7.90e-05
     551   2.27e-02  3.01e-01  7.87e-05
     552   2.26e-02  1.77e-01  7.84e-05
     553   2.26e-02  3.00e-01  7.81e-05
     554   2.25e-02  1.76e-01  7.78e-05
     555   2.24e-02  2.99e-01  7.74e-05
     556   2.23e-02  1.75e-01  7.71e-05
     557   2.22e-02  2.98e-01  7.68e-05
     558   2.22e-02  1.75e-01  7.65e-05
     559   2.21e-02  2.97e-01  7.62e-05
     560   2.20e-02  1.74e-01  7.59e-05
     561   2.19e-02  2.96e-01  7.56e-05
     562   2.19e-02  1.73e-01  7.53e-05
     563   2.18e-02  2.95e-01  7.50e-05
     564   2.17e-02  1.72e-01  7.47e-05
     565   2.16e-02  2.94e-01  7.44e-05
     566   2.16e-02  1.72e-01  7.41e-05
     567   2.15e-02  2.93e-01  7.38e-05
     568   2.14e-02  1.71e-01  7.35e-05
     569   2.13e-02  2.92e-01  7.32e-05
     570   2.13e-02  1.70e-01  7.29e-05
     571   2.12e-02  2.91e-01  7.26e-05
     572   2.11e-02  1.70e-01  7.23e-05
     573   2.11e-02  2.90e-01  7.20e-05
     574   2.10e-02  1.69e-01  7.17e-05
     575   2.09e-02  2.89e-01  7.15e-05
     576   2.08e-02  1.68e-01  7.12e-05
     577   2.08e-02  2.88e-01  7.09e-05
     578   2.07e-02  1.68e-01  7.06e-05
     579   2.06e-02  2.87e-01  7.03e-05
     580   2.06e-02  1.67e-01  7.00e-05
     581   2.05e-02  2.86e-01  6.98e-05
     582   2.04e-02  1.66e-01  6.95e-05
     583   2.04e-02  2.85e-01  6.92e-05
     584   2.03e-02  1.66e-01  6.89e-05
     585   2.02e-02  2.84e-01  6.87e-05
     586   2.01e-02  1.65e-01  6.84e-05
     587   2.01e-02  2.83e-01  6.81e-05
     588   2.00e-02  1.64e-01  6.79e-05
     589   1.99e-02  2.82e-01  6.76e-05
     590   1.99e-02  1.64e-01  6.73e-05
     591   1.98e-02  2.81e-01  6.71e-05
     592   1.97e-02  1.63e-01  6.68e-05
     593   1.97e-02  2.81e-01  6.65e-05
     594   1.96e-02  1.63e-01  6.63e-05
     595   1.95e-02  2.80e-01  6.60e-05
     596   1.95e-02  1.62e-01  6.58e-05
     597   1.94e-02  2.79e-01  6.55e-05
     598   1.93e-02  1.61e-01  6.53e-05
     599   1.93e-02  2.78e-01  6.50e-05
     600   1.92e-02  1.61e-01  6.47e-05
     601   1.92e-02  2.77e-01  6.45e-05
     602   1.91e-02  1.60e-01  6.42e-05
     603   1.90e-02  2.76e-01  6.40e-05
     604   1.90e-02  1.59e-01  6.37e-05
     605   1.89e-02  2.75e-01  6.35e-05
     606   1.88e-02  1.59e-01  6.33e-05
     607   1.88e-02  2.74e-01  6.30e-05
     608   1.87e-02  1.58e-01  6.28e-05
     609   1.86e-02  2.73e-01  6.25e-05
     610   1.86e-02  1.58e-01  6.23e-05
     611   1.85e-02  2.72e-01  6.20e-05
     612   1.85e-02  1.57e-01  6.18e-05
     613   1.84e-02  2.71e-01  6.16e-05
     614   1.83e-02  1.56e-01  6.13e-05
     615   1.83e-02  2.70e-01  6.11e-05
     616   1.82e-02  1.56e-01  6.08e-05
     617   1.82e-02  2.69e-01  6.06e-05
     618   1.81e-02  1.55e-01  6.04e-05
     619   1.80e-02  2.69e-01  6.02e-05
     620   1.80e-02  1.55e-01  5.99e-05
     621   1.79e-02  2.68e-01  5.97e-05
     622   1.79e-02  1.54e-01  5.95e-05
     623   1.78e-02  2.67e-01  5.92e-05
     624   1.77e-02  1.53e-01  5.90e-05
     625   1.77e-02  2.66e-01  5.88e-05
     626   1.76e-02  1.53e-01  5.86e-05
     627   1.76e-02  2.65e-01  5.83e-05
     628   1.75e-02  1.52e-01  5.81e-05
     629   1.74e-02  2.64e-01  5.79e-05
     630   1.74e-02  1.52e-01  5.77e-05
     631   1.73e-02  2.63e-01  5.75e-05
     632   1.73e-02  1.51e-01  5.72e-05
     633   1.72e-02  2.62e-01  5.70e-05
     634   1.72e-02  1.50e-01  5.68e-05
     635   1.71e-02  2.62e-01  5.66e-05
     636   1.70e-02  1.50e-01  5.64e-05
     637   1.70e-02  2.61e-01  5.62e-05
     638   1.69e-02  1.49e-01  5.59e-05
     639   1.69e-02  2.60e-01  5.57e-05
     640   1.68e-02  1.49e-01  5.55e-05
     641   1.68e-02  2.59e-01  5.53e-05
     642   1.67e-02  1.48e-01  5.51e-05
     643   1.67e-02  2.58e-01  5.49e-05
     644   1.66e-02  1.48e-01  5.47e-05
     645   1.65e-02  2.57e-01  5.45e-05
     646   1.65e-02  1.47e-01  5.43e-05
     647   1.64e-02  2.56e-01  5.41e-05
     648   1.64e-02  1.47e-01  5.39e-05
     649   1.63e-02  2.56e-01  5.37e-05
     650   1.63e-02  1.46e-01  5.35e-05
     651   1.62e-02  2.55e-01  5.33e-05
     652   1.62e-02  1.45e-01  5.31e-05
     653   1.61e-02  2.54e-01  5.29e-05
     654   1.61e-02  1.45e-01  5.27e-05
     655   1.60e-02  2.53e-01  5.25e-05
     656   1.60e-02  1.44e-01  5.23e-05
     657   1.59e-02  2.52e-01  5.21e-05
     658   1.59e-02  1.44e-01  5.19e-05
     659   1.58e-02  2.51e-01  5.17e-05
     660   1.58e-02  1.43e-01  5.15e-05
     661   1.57e-02  2.51e-01  5.13e-05
     662   1.57e-02  1.43e-01  5.11e-05
     663   1.56e-02  2.50e-01  5.09e-05
     664   1.55e-02  1.42e-01  5.07e-05
     665   1.55e-02  2.49e-01  5.05e-05
     666   1.54e-02  1.42e-01  5.04e-05
     667   1.54e-02  2.48e-01  5.02e-05
     668   1.53e-02  1.41e-01  5.00e-05
     669   1.53e-02  2.47e-01  4.98e-05
     670   1.52e-02  1.41e-01  4.96e-05
     671   1.52e-02  2.47e-01  4.94e-05
     672   1.52e-02  1.40e-01  4.93e-05
     673   1.51e-02  2.46e-01  4.91e-05
     674   1.51e-02  1.40e-01  4.89e-05
     675   1.50e-02  2.45e-01  4.87e-05
     676   1.50e-02  1.39e-01  4.85e-05
     677   1.49e-02  2.44e-01  4.84e-05
     678   1.49e-02  1.39e-01  4.82e-05
     679   1.48e-02  2.43e-01  4.80e-05
     680   1.48e-02  1.38e-01  4.78e-05
     681   1.47e-02  2.43e-01  4.76e-05
     682   1.47e-02  1.38e-01  4.75e-05
     683   1.46e-02  2.42e-01  4.73e-05
     684   1.46e-02  1.37e-01  4.71e-05
     685   1.45e-02  2.41e-01  4.70e-05
     686   1.45e-02  1.37e-01  4.68e-05
     687   1.44e-02  2.40e-01  4.66e-05
     688   1.44e-02  1.36e-01  4.64e-05
     689   1.43e-02  2.39e-01  4.63e-05
     690   1.43e-02  1.36e-01  4.61e-05
     691   1.42e-02  2.39e-01  4.59e-05
     692   1.42e-02  1.35e-01  4.58e-05
     693   1.42e-02  2.38e-01  4.56e-05
     694   1.41e-02  1.35e-01  4.54e-05
     695   1.41e-02  2.37e-01  4.53e-05
     696   1.40e-02  1.34e-01  4.51e-05
     697   1.40e-02  2.36e-01  4.49e-05
     698   1.39e-02  1.34e-01  4.48e-05
     699   1.39e-02  2.36e-01  4.46e-05
     700   1.38e-02  1.33e-01  4.44e-05
     701   1.38e-02  2.35e-01  4.43e-05
     702   1.38e-02  1.33e-01  4.41e-05
     703   1.37e-02  2.34e-01  4.40e-05
     704   1.37e-02  1.32e-01  4.38e-05
     705   1.36e-02  2.33e-01  4.36e-05
     706   1.36e-02  1.32e-01  4.35e-05
     707   1.35e-02  2.33e-01  4.33e-05
     708   1.35e-02  1.31e-01  4.32e-05
     709   1.34e-02  2.32e-01  4.30e-05
     710   1.34e-02  1.31e-01  4.29e-05
     711   1.34e-02  2.31e-01  4.27e-05
     712   1.33e-02  1.30e-01  4.26e-05
     713   1.33e-02  2.30e-01  4.24e-05
     714   1.32e-02  1.30e-01  4.23e-05
     715   1.32e-02  2.30e-01  4.21e-05
     716   1.32e-02  1.29e-01  4.20e-05
     717   1.31e-02  2.29e-01  4.18e-05
     718   1.31e-02  1.29e-01  4.17e-05
     719   1.30e-02  2.28e-01  4.15e-05
     720   1.30e-02  1.28e-01  4.14e-05
     721   1.29e-02  2.28e-01  4.12e-05
     722   1.29e-02  1.28e-01  4.11e-05
     723   1.29e-02  2.27e-01  4.09e-05
     724   1.28e-02  1.27e-01  4.08e-05
     725   1.28e-02  2.26e-01  4.06e-05
     726   1.27e-02  1.27e-01  4.05e-05
     727   1.27e-02  2.25e-01  4.03e-05
     728   1.27e-02  1.27e-01  4.02e-05
     729   1.26e-02  2.25e-01  4.00e-05
     730   1.26e-02  1.26e-01  3.99e-05
     731   1.25e-02  2.24e-01  3.98e-05
     732   1.25e-02  1.26e-01  3.96e-05
     733   1.25e-02  2.23e-01  3.95e-05
     734   1.24e-02  1.25e-01  3.93e-05
     735   1.24e-02  2.23e-01  3.92e-05
     736   1.23e-02  1.25e-01  3.91e-05
     737   1.23e-02  2.22e-01  3.89e-05
     738   1.23e-02  1.24e-01  3.88e-05
     739   1.22e-02  2.21e-01  3.86e-05
     740   1.22e-02  1.24e-01  3.85e-05
     741   1.22e-02  2.20e-01  3.84e-05
     742   1.21e-02  1.23e-01  3.82e-05
     743   1.21e-02  2.20e-01  3.81e-05
     744   1.20e-02  1.23e-01  3.80e-05
     745   1.20e-02  2.19e-01  3.78e-05
     746   1.20e-02  1.23e-01  3.77e-05
     747   1.19e-02  2.18e-01  3.76e-05
     748   1.19e-02  1.22e-01  3.74e-05
     749   1.18e-02  2.18e-01  3.73e-05
     750   1.18e-02  1.22e-01  3.72e-05
     751   1.18e-02  2.17e-01  3.70e-05
     752   1.17e-02  1.21e-01  3.69e-05
     753   1.17e-02  2.16e-01  3.68e-05
     754   1.17e-02  1.21e-01  3.66e-05
     755   1.16e-02  2.16e-01  3.65e-05
     756   1.16e-02  1.20e-01  3.64e-05
     757   1.16e-02  2.15e-01  3.63e-05
     758   1.15e-02  1.20e-01  3.61e-05
     759   1.15e-02  2.14e-01  3.60e-05
     760   1.14e-02  1.20e-01  3.59e-05
     761   1.14e-02  2.14e-01  3.58e-05
     762   1.14e-02  1.19e-01  3.56e-05
     763   1.13e-02  2.13e-01  3.55e-05
     764   1.13e-02  1.19e-01  3.54e-05
     765   1.13e-02  2.12e-01  3.53e-05
     766   1.12e-02  1.18e-01  3.51e-05
     767   1.12e-02  2.12e-01  3.50e-05
     768   1.12e-02  1.18e-01  3.49e-05
     769   1.11e-02  2.11e-01  3.48e-05
     770   1.11e-02  1.18e-01  3.47e-05
     771   1.11e-02  2.10e-01  3.45e-05
     772   1.10e-02  1.17e-01  3.44e-05
     773   1.10e-02  2.10e-01  3.43e-05
     774   1.10e-02  1.17e-01  3.42e-05
     775   1.09e-02  2.09e-01  3.41e-05
     776   1.09e-02  1.16e-01  3.39e-05
     777   1.09e-02  2.08e-01  3.38e-05
     778   1.08e-02  1.16e-01  3.37e-05
     779   1.08e-02  2.08e-01  3.36e-05
     780   1.08e-02  1.16e-01  3.35e-05
     781   1.07e-02  2.07e-01  3.34e-05
     782   1.07e-02  1.15e-01  3.32e-05
     783   1.07e-02  2.06e-01  3.31e-05
     784   1.06e-02  1.15e-01  3.30e-05
     785   1.06e-02  2.06e-01  3.29e-05
     786   1.06e-02  1.14e-01  3.28e-05
     787   1.05e-02  2.05e-01  3.27e-05
     788   1.05e-02  1.14e-01  3.26e-05
     789   1.05e-02  2.05e-01  3.24e-05
     790   1.04e-02  1.14e-01  3.23e-05
     791   1.04e-02  2.04e-01  3.22e-05
     792   1.04e-02  1.13e-01  3.21e-05
     793   1.03e-02  2.03e-01  3.20e-05
     794   1.03e-02  1.13e-01  3.19e-05
     795   1.03e-02  2.03e-01  3.18e-05
     796   1.02e-02  1.12e-01  3.17e-05
     797   1.02e-02  2.02e-01  3.16e-05
     798   1.02e-02  1.12e-01  3.15e-05
     799   1.01e-02  2.01e-01  3.13e-05
     800   1.01e-02  1.12e-01  3.12e-05
     801   1.01e-02  2.01e-01  3.11e-05
     802   1.00e-02  1.11e-01  3.10e-05
     803   1.00e-02  2.00e-01  3.09e-05
     804   9.99e-03  1.11e-01  3.08e-05
     805   9.95e-03  2.00e-01  3.07e-05
     806   9.92e-03  1.10e-01  3.06e-05
     807   9.89e-03  1.99e-01  3.05e-05
     808   9.86e-03  1.10e-01  3.04e-05
     809   9.83e-03  1.98e-01  3.03e-05
     810   9.80e-03  1.10e-01  3.02e-05
     811   9.77e-03  1.98e-01  3.01e-05
     812   9.74e-03  1.09e-01  3.00e-05
     813   9.71e-03  1.97e-01  2.99e-05
     814   9.68e-03  1.09e-01  2.98e-05
     815   9.65e-03  1.97e-01  2.97e-05
     816   9.62e-03  1.09e-01  2.96e-05
     817   9.59e-03  1.96e-01  2.95e-05
     818   9.56e-03  1.08e-01  2.94e-05
     819   9.54e-03  1.95e-01  2.93e-05
     820   9.51e-03  1.08e-01  2.92e-05
     821   9.48e-03  1.95e-01  2.91e-05
     822   9.45e-03  1.07e-01  2.90e-05
     823   9.42e-03  1.94e-01  2.89e-05
     824   9.39e-03  1.07e-01  2.88e-05
     825   9.36e-03  1.94e-01  2.87e-05
     826   9.33e-03  1.07e-01  2.86e-05
     827   9.30e-03  1.93e-01  2.85e-05
     828   9.28e-03  1.06e-01  2.84e-05
     829   9.25e-03  1.92e-01  2.83e-05
     830   9.22e-03  1.06e-01  2.82e-05
     831   9.19e-03  1.92e-01  2.81e-05
     832   9.16e-03  1.06e-01  2.80e-05
     833   9.14e-03  1.91e-01  2.79e-05
     834   9.11e-03  1.05e-01  2.78e-05
     835   9.08e-03  1.91e-01  2.77e-05
     836   9.05e-03  1.05e-01  2.76e-05
     837   9.03e-03  1.90e-01  2.75e-05
     838   9.00e-03  1.05e-01  2.75e-05
     839   8.97e-03  1.89e-01  2.74e-05
     840   8.94e-03  1.04e-01  2.73e-05
     841   8.92e-03  1.89e-01  2.72e-05
     842   8.89e-03  1.04e-01  2.71e-05
     843   8.86e-03  1.88e-01  2.70e-05
     844   8.83e-03  1.04e-01  2.69e-05
     845   8.81e-03  1.88e-01  2.68e-05
     846   8.78e-03  1.03e-01  2.67e-05
     847   8.75e-03  1.87e-01  2.66e-05
     848   8.73e-03  1.03e-01  2.65e-05
     849   8.70e-03  1.87e-01  2.65e-05
     850   8.68e-03  1.03e-01  2.64e-05
     851   8.65e-03  1.86e-01  2.63e-05
     852   8.62e-03  1.02e-01  2.62e-05
     853   8.60e-03  1.85e-01  2.61e-05
     854   8.57e-03  1.02e-01  2.60e-05
     855   8.54e-03  1.85e-01  2.59e-05
     856   8.52e-03  1.02e-01  2.58e-05
     857   8.49e-03  1.84e-01  2.58e-05
     858   8.47e-03  1.01e-01  2.57e-05
     859   8.44e-03  1.84e-01  2.56e-05
     860   8.42e-03  1.01e-01  2.55e-05
     861   8.39e-03  1.83e-01  2.54e-05
     862   8.37e-03  1.01e-01  2.53e-05
     863   8.34e-03  1.83e-01  2.53e-05
     864   8.32e-03  1.00e-01  2.52e-05
     865   8.29e-03  1.82e-01  2.51e-05
     866   8.27e-03  9.98e-02  2.50e-05
     867   8.24e-03  1.82e-01  2.49e-05
     868   8.22e-03  9.95e-02  2.48e-05
     869   8.19e-03  1.81e-01  2.48e-05
     870   8.17e-03  9.92e-02  2.47e-05
     871   8.14e-03  1.80e-01  2.46e-05
     872   8.12e-03  9.89e-02  2.45e-05
     873   8.09e-03  1.80e-01  2.44e-05
     874   8.07e-03  9.85e-02  2.43e-05
     875   8.04e-03  1.79e-01  2.43e-05
     876   8.02e-03  9.82e-02  2.42e-05
     877   8.00e-03  1.79e-01  2.41e-05
     878   7.97e-03  9.79e-02  2.40e-05
     879   7.95e-03  1.78e-01  2.39e-05
     880   7.92e-03  9.76e-02  2.39e-05
     881   7.90e-03  1.78e-01  2.38e-05
     882   7.88e-03  9.72e-02  2.37e-05
     883   7.85e-03  1.77e-01  2.36e-05
     884   7.83e-03  9.69e-02  2.36e-05
     885   7.81e-03  1.77e-01  2.35e-05
     886   7.78e-03  9.66e-02  2.34e-05
     887   7.76e-03  1.76e-01  2.33e-05
     888   7.74e-03  9.63e-02  2.32e-05
     889   7.71e-03  1.76e-01  2.32e-05
     890   7.69e-03  9.60e-02  2.31e-05
     891   7.67e-03  1.75e-01  2.30e-05
     892   7.64e-03  9.56e-02  2.29e-05
     893   7.62e-03  1.75e-01  2.29e-05
     894   7.60e-03  9.53e-02  2.28e-05
     895   7.57e-03  1.74e-01  2.27e-05
     896   7.55e-03  9.50e-02  2.26e-05
     897   7.53e-03  1.74e-01  2.26e-05
     898   7.51e-03  9.47e-02  2.25e-05
     899   7.48e-03  1.73e-01  2.24e-05
     900   7.46e-03  9.44e-02  2.24e-05
     901   7.44e-03  1.73e-01  2.23e-05
     902   7.42e-03  9.41e-02  2.22e-05
     903   7.40e-03  1.72e-01  2.21e-05
     904   7.37e-03  9.38e-02  2.21e-05
     905   7.35e-03  1.71e-01  2.20e-05
     906   7.33e-03  9.35e-02  2.19e-05
     907   7.31e-03  1.71e-01  2.18e-05
     908   7.29e-03  9.32e-02  2.18e-05
     909   7.26e-03  1.70e-01  2.17e-05
     910   7.24e-03  9.29e-02  2.16e-05
     911   7.22e-03  1.70e-01  2.16e-05
     912   7.20e-03  9.26e-02  2.15e-05
     913   7.18e-03  1.69e-01  2.14e-05
     914   7.16e-03  9.23e-02  2.14e-05
     915   7.14e-03  1.69e-01  2.13e-05
     916   7.11e-03  9.20e-02  2.12e-05
     917   7.09e-03  1.68e-01  2.11e-05
     918   7.07e-03  9.17e-02  2.11e-05
     919   7.05e-03  1.68e-01  2.10e-05
     920   7.03e-03  9.14e-02  2.09e-05
     921   7.01e-03  1.67e-01  2.09e-05
     922   6.99e-03  9.11e-02  2.08e-05
     923   6.97e-03  1.67e-01  2.07e-05
     924   6.95e-03  9.08e-02  2.07e-05
     925   6.93e-03  1.66e-01  2.06e-05
     926   6.91e-03  9.05e-02  2.05e-05
     927   6.89e-03  1.66e-01  2.05e-05
     928   6.87e-03  9.02e-02  2.04e-05
     929   6.84e-03  1.65e-01  2.03e-05
     930   6.82e-03  8.99e-02  2.03e-05
     931   6.80e-03  1.65e-01  2.02e-05
     932   6.78e-03  8.96e-02  2.01e-05
     933   6.76e-03  1.64e-01  2.01e-05
     934   6.74e-03  8.93e-02  2.00e-05
     935   6.72e-03  1.64e-01  1.99e-05
     936   6.70e-03  8.90e-02  1.99e-05
     937   6.68e-03  1.64e-01  1.98e-05
     938   6.66e-03  8.88e-02  1.98e-05
     939   6.65e-03  1.63e-01  1.97e-05
     940   6.63e-03  8.85e-02  1.96e-05
     941   6.61e-03  1.63e-01  1.96e-05
     942   6.59e-03  8.82e-02  1.95e-05
     943   6.57e-03  1.62e-01  1.94e-05
     944   6.55e-03  8.79e-02  1.94e-05
     945   6.53e-03  1.62e-01  1.93e-05
     946   6.51e-03  8.76e-02  1.93e-05
     947   6.49e-03  1.61e-01  1.92e-05
     948   6.47e-03  8.73e-02  1.91e-05
     949   6.45e-03  1.61e-01  1.91e-05
     950   6.43e-03  8.71e-02  1.90e-05
     951   6.41e-03  1.60e-01  1.89e-05
     952   6.39e-03  8.68e-02  1.89e-05
     953   6.38e-03  1.60e-01  1.88e-05
     954   6.36e-03  8.65e-02  1.88e-05
     955   6.34e-03  1.59e-01  1.87e-05
     956   6.32e-03  8.62e-02  1.86e-05
     957   6.30e-03  1.59e-01  1.86e-05
     958   6.28e-03  8.59e-02  1.85e-05
     959   6.26e-03  1.58e-01  1.85e-05
     960   6.25e-03  8.57e-02  1.84e-05
     961   6.23e-03  1.58e-01  1.84e-05
     962   6.21e-03  8.54e-02  1.83e-05
     963   6.19e-03  1.57e-01  1.82e-05
     964   6.17e-03  8.51e-02  1.82e-05
     965   6.15e-03  1.57e-01  1.81e-05
     966   6.14e-03  8.49e-02  1.81e-05
     967   6.12e-03  1.56e-01  1.80e-05
     968   6.10e-03  8.46e-02  1.79e-05
     969   6.08e-03  1.56e-01  1.79e-05
     970   6.06e-03  8.43e-02  1.78e-05
     971   6.05e-03  1.56e-01  1.78e-05
     972   6.03e-03  8.41e-02  1.77e-05
     973   6.01e-03  1.55e-01  1.77e-05
     974   5.99e-03  8.38e-02  1.76e-05
     975   5.98e-03  1.55e-01  1.76e-05
     976   5.96e-03  8.35e-02  1.75e-05
     977   5.94e-03  1.54e-01  1.74e-05
     978   5.92e-03  8.33e-02  1.74e-05
     979   5.91e-03  1.54e-01  1.73e-05
     980   5.89e-03  8.30e-02  1.73e-05
     981   5.87e-03  1.53e-01  1.72e-05
     982   5.86e-03  8.27e-02  1.72e-05
     983   5.84e-03  1.53e-01  1.71e-05
     984   5.82e-03  8.25e-02  1.71e-05
     985   5.80e-03  1.52e-01  1.70e-05
     986   5.79e-03  8.22e-02  1.69e-05
     987   5.77e-03  1.52e-01  1.69e-05
     988   5.75e-03  8.19e-02  1.68e-05
     989   5.74e-03  1.51e-01  1.68e-05
     990   5.72e-03  8.17e-02  1.67e-05
     991   5.70e-03  1.51e-01  1.67e-05
     992   5.69e-03  8.14e-02  1.66e-05
     993   5.67e-03  1.51e-01  1.66e-05
     994   5.65e-03  8.12e-02  1.65e-05
     995   5.64e-03  1.50e-01  1.65e-05
     996   5.62e-03  8.09e-02  1.64e-05
     997   5.60e-03  1.50e-01  1.64e-05
     998   5.59e-03  8.07e-02  1.63e-05
     999   5.57e-03  1.49e-01  1.63e-05
    1000   5.56e-03  8.04e-02  1.62e-05
WARNING: Did not converge
Out[27]:
([0.925573,0.856284],0.005555490460766081,[3.76378e-10,-0.0804114],
[1.0 0.77111 … 0.00557171 0.00555549; 2.0 5.20109 … 0.149288 0.0804114])

In [16]:
ezcontour(-1.5:0.01:1.5, -1.5:0.01:1.5, Optim.UnconstrainedProblems.examples["Rosenbrock"].f)
plot!(map(first,histx),map(x->x[2], histx), linewidth=2)


Out[16]:

Another function


In [32]:
V = qr(randn(2,2),thin=false)[1] # compute the full QR factorization to get a random orthogonal matrix
Q = V*diagm([10,1e-2])*V'       # produce a mildly ill-conditioned Q
f = x -> (1/2*x'*Q*x)[1]
g = x -> Q*x
fg = x -> (f(x), g(x))
fg([1.0,1.0])


Out[32]:
(3.166249761228147,[7.8105,-1.478])

In [34]:
histx = Vector{Vector{Float64}}()
x,fx,gx,hist = exact_gradient_descent(fg, [1.0,1.0]; 
    maxiter=1000, histx=histx)


    iter        val     normg     fdiff
       1   3.17e+00  7.81e+00       Inf
       2   6.83e-03  1.15e-02  3.16e+00
       3   5.53e-03  1.00e-02  1.30e-03
       4   5.32e-03  5.95e-02  2.14e-04
       5   5.11e-03  9.62e-03  2.06e-04
       6   4.91e-03  5.72e-02  1.98e-04
       7   4.72e-03  9.25e-03  1.90e-04
       8   4.54e-03  5.50e-02  1.83e-04
       9   4.36e-03  8.89e-03  1.76e-04
      10   4.19e-03  5.29e-02  1.69e-04
      11   4.03e-03  8.55e-03  1.62e-04
      12   3.88e-03  5.08e-02  1.56e-04
      13   3.73e-03  8.22e-03  1.50e-04
      14   3.58e-03  4.89e-02  1.44e-04
      15   3.44e-03  7.90e-03  1.39e-04
      16   3.31e-03  4.70e-02  1.33e-04
      17   3.18e-03  7.59e-03  1.28e-04
      18   3.06e-03  4.51e-02  1.23e-04
      19   2.94e-03  7.30e-03  1.18e-04
      20   2.83e-03  4.34e-02  1.14e-04
      21   2.72e-03  7.02e-03  1.09e-04
      22   2.61e-03  4.17e-02  1.05e-04
      23   2.51e-03  6.75e-03  1.01e-04
      24   2.41e-03  4.01e-02  9.72e-05
      25   2.32e-03  6.48e-03  9.34e-05
      26   2.23e-03  3.85e-02  8.98e-05
      27   2.14e-03  6.23e-03  8.63e-05
      28   2.06e-03  3.71e-02  8.30e-05
      29   1.98e-03  5.99e-03  7.98e-05
      30   1.90e-03  3.56e-02  7.67e-05
      31   1.83e-03  5.76e-03  7.37e-05
      32   1.76e-03  3.42e-02  7.09e-05
      33   1.69e-03  5.54e-03  6.81e-05
      34   1.63e-03  3.29e-02  6.55e-05
      35   1.56e-03  5.32e-03  6.30e-05
      36   1.50e-03  3.16e-02  6.05e-05
      37   1.44e-03  5.12e-03  5.82e-05
      38   1.39e-03  3.04e-02  5.59e-05
      39   1.33e-03  4.92e-03  5.38e-05
      40   1.28e-03  2.92e-02  5.17e-05
      41   1.23e-03  4.73e-03  4.97e-05
      42   1.19e-03  2.81e-02  4.77e-05
      43   1.14e-03  4.54e-03  4.59e-05
      44   1.10e-03  2.70e-02  4.41e-05
      45   1.05e-03  4.37e-03  4.24e-05
      46   1.01e-03  2.60e-02  4.08e-05
      47   9.73e-04  4.20e-03  3.92e-05
      48   9.35e-04  2.50e-02  3.77e-05
      49   8.99e-04  4.04e-03  3.62e-05
      50   8.64e-04  2.40e-02  3.48e-05
      51   8.31e-04  3.88e-03  3.35e-05
      52   7.99e-04  2.31e-02  3.22e-05
      53   7.68e-04  3.73e-03  3.09e-05
      54   7.38e-04  2.22e-02  2.97e-05
      55   7.10e-04  3.59e-03  2.86e-05
      56   6.82e-04  2.13e-02  2.75e-05
      57   6.56e-04  3.45e-03  2.64e-05
      58   6.30e-04  2.05e-02  2.54e-05
      59   6.06e-04  3.31e-03  2.44e-05
      60   5.82e-04  1.97e-02  2.35e-05
      61   5.60e-04  3.19e-03  2.25e-05
      62   5.38e-04  1.89e-02  2.17e-05
      63   5.17e-04  3.06e-03  2.08e-05
      64   4.97e-04  1.82e-02  2.00e-05
      65   4.78e-04  2.94e-03  1.93e-05
      66   4.60e-04  1.75e-02  1.85e-05
      67   4.42e-04  2.83e-03  1.78e-05
      68   4.25e-04  1.68e-02  1.71e-05
      69   4.08e-04  2.72e-03  1.64e-05
      70   3.92e-04  1.62e-02  1.58e-05
      71   3.77e-04  2.61e-03  1.52e-05
      72   3.63e-04  1.55e-02  1.46e-05
      73   3.49e-04  2.51e-03  1.40e-05
      74   3.35e-04  1.49e-02  1.35e-05
      75   3.22e-04  2.42e-03  1.30e-05
      76   3.10e-04  1.44e-02  1.25e-05
      77   2.98e-04  2.32e-03  1.20e-05
      78   2.86e-04  1.38e-02  1.15e-05
      79   2.75e-04  2.23e-03  1.11e-05
      80   2.64e-04  1.33e-02  1.06e-05
      81   2.54e-04  2.15e-03  1.02e-05
      82   2.44e-04  1.28e-02  9.84e-06
      83   2.35e-04  2.06e-03  9.46e-06
      84   2.26e-04  1.23e-02  9.09e-06
      85   2.17e-04  1.98e-03  8.74e-06
      86   2.09e-04  1.18e-02  8.40e-06
      87   2.01e-04  1.91e-03  8.08e-06
      88   1.93e-04  1.13e-02  7.76e-06
      89   1.85e-04  1.83e-03  7.46e-06
      90   1.78e-04  1.09e-02  7.17e-06
      91   1.71e-04  1.76e-03  6.90e-06
      92   1.65e-04  1.05e-02  6.63e-06
      93   1.58e-04  1.69e-03  6.37e-06
      94   1.52e-04  1.01e-02  6.13e-06
      95   1.46e-04  1.63e-03  5.89e-06
      96   1.41e-04  9.68e-03  5.66e-06
      97   1.35e-04  1.56e-03  5.44e-06
      98   1.30e-04  9.30e-03  5.23e-06
      99   1.25e-04  1.50e-03  5.03e-06
     100   1.20e-04  8.94e-03  4.83e-06
     101   1.15e-04  1.45e-03  4.65e-06
     102   1.11e-04  8.60e-03  4.47e-06
     103   1.07e-04  1.39e-03  4.29e-06
     104   1.02e-04  8.26e-03  4.13e-06
     105   9.85e-05  1.34e-03  3.97e-06
     106   9.47e-05  7.94e-03  3.81e-06
     107   9.10e-05  1.28e-03  3.67e-06
     108   8.75e-05  7.64e-03  3.52e-06
     109   8.41e-05  1.23e-03  3.39e-06
     110   8.09e-05  7.34e-03  3.26e-06
     111   7.77e-05  1.19e-03  3.13e-06
     112   7.47e-05  7.06e-03  3.01e-06
     113   7.18e-05  1.14e-03  2.89e-06
     114   6.91e-05  6.78e-03  2.78e-06
     115   6.64e-05  1.10e-03  2.67e-06
     116   6.38e-05  6.52e-03  2.57e-06
     117   6.13e-05  1.05e-03  2.47e-06
     118   5.90e-05  6.27e-03  2.37e-06
     119   5.67e-05  1.01e-03  2.28e-06
     120   5.45e-05  6.03e-03  2.19e-06
     121   5.24e-05  9.74e-04  2.11e-06
     122   5.03e-05  5.79e-03  2.03e-06
     123   4.84e-05  9.37e-04  1.95e-06
     124   4.65e-05  5.57e-03  1.87e-06
     125   4.47e-05  9.00e-04  1.80e-06
     126   4.30e-05  5.35e-03  1.73e-06
     127   4.13e-05  8.65e-04  1.66e-06
     128   3.97e-05  5.15e-03  1.60e-06
     129   3.82e-05  8.32e-04  1.54e-06
     130   3.67e-05  4.95e-03  1.48e-06
     131   3.53e-05  8.00e-04  1.42e-06
     132   3.39e-05  4.75e-03  1.37e-06
     133   3.26e-05  7.69e-04  1.31e-06
     134   3.13e-05  4.57e-03  1.26e-06
     135   3.01e-05  7.39e-04  1.21e-06
     136   2.90e-05  4.39e-03  1.17e-06
     137   2.78e-05  7.10e-04  1.12e-06
     138   2.68e-05  4.22e-03  1.08e-06
     139   2.57e-05  6.83e-04  1.04e-06
     140   2.47e-05  4.06e-03  9.96e-07
     141   2.38e-05  6.56e-04  9.58e-07
     142   2.29e-05  3.90e-03  9.21e-07
     143   2.20e-05  6.31e-04  8.85e-07
     144   2.11e-05  3.75e-03  8.51e-07
     145   2.03e-05  6.07e-04  8.18e-07
     146   1.95e-05  3.61e-03  7.86e-07
     147   1.88e-05  5.83e-04  7.56e-07
     148   1.80e-05  3.47e-03  7.26e-07
     149   1.73e-05  5.61e-04  6.98e-07
     150   1.67e-05  3.33e-03  6.71e-07
     151   1.60e-05  5.39e-04  6.45e-07
     152   1.54e-05  3.20e-03  6.20e-07
     153   1.48e-05  5.18e-04  5.96e-07
     154   1.42e-05  3.08e-03  5.73e-07
     155   1.37e-05  4.98e-04  5.51e-07
     156   1.31e-05  2.96e-03  5.30e-07
     157   1.26e-05  4.79e-04  5.09e-07
     158   1.22e-05  2.85e-03  4.89e-07
     159   1.17e-05  4.60e-04  4.70e-07
     160   1.12e-05  2.74e-03  4.52e-07
     161   1.08e-05  4.42e-04  4.35e-07
     162   1.04e-05  2.63e-03  4.18e-07
     163   9.97e-06  4.25e-04  4.02e-07
     164   9.59e-06  2.53e-03  3.86e-07
     165   9.22e-06  4.09e-04  3.71e-07
     166   8.86e-06  2.43e-03  3.57e-07
     167   8.52e-06  3.93e-04  3.43e-07
     168   8.19e-06  2.34e-03  3.30e-07
     169   7.87e-06  3.78e-04  3.17e-07
     170   7.57e-06  2.25e-03  3.05e-07
     171   7.27e-06  3.63e-04  2.93e-07
     172   6.99e-06  2.16e-03  2.82e-07
     173   6.72e-06  3.49e-04  2.71e-07
     174   6.46e-06  2.07e-03  2.60e-07
     175   6.21e-06  3.35e-04  2.50e-07
     176   5.97e-06  1.99e-03  2.40e-07
     177   5.74e-06  3.22e-04  2.31e-07
     178   5.52e-06  1.92e-03  2.22e-07
     179   5.30e-06  3.10e-04  2.14e-07
     180   5.10e-06  1.84e-03  2.05e-07
     181   4.90e-06  2.98e-04  1.97e-07
     182   4.71e-06  1.77e-03  1.90e-07
     183   4.53e-06  2.86e-04  1.82e-07
     184   4.35e-06  1.70e-03  1.75e-07
     185   4.18e-06  2.75e-04  1.69e-07
     186   4.02e-06  1.64e-03  1.62e-07
     187   3.87e-06  2.65e-04  1.56e-07
     188   3.72e-06  1.57e-03  1.50e-07
     189   3.57e-06  2.54e-04  1.44e-07
     190   3.43e-06  1.51e-03  1.38e-07
     191   3.30e-06  2.45e-04  1.33e-07
     192   3.17e-06  1.45e-03  1.28e-07
     193   3.05e-06  2.35e-04  1.23e-07
     194   2.93e-06  1.40e-03  1.18e-07
     195   2.82e-06  2.26e-04  1.14e-07
     196   2.71e-06  1.34e-03  1.09e-07
     197   2.60e-06  2.17e-04  1.05e-07
     198   2.50e-06  1.29e-03  1.01e-07
     199   2.41e-06  2.09e-04  9.70e-08
     200   2.31e-06  1.24e-03  9.32e-08
     201   2.22e-06  2.01e-04  8.96e-08
     202   2.14e-06  1.19e-03  8.61e-08
     203   2.06e-06  1.93e-04  8.28e-08
     204   1.98e-06  1.15e-03  7.96e-08
     205   1.90e-06  1.86e-04  7.65e-08
     206   1.83e-06  1.10e-03  7.35e-08
     207   1.76e-06  1.78e-04  7.07e-08
     208   1.69e-06  1.06e-03  6.80e-08
     209   1.62e-06  1.71e-04  6.53e-08
     210   1.56e-06  1.02e-03  6.28e-08
     211   1.50e-06  1.65e-04  6.04e-08
     212   1.44e-06  9.80e-04  5.80e-08
     213   1.38e-06  1.58e-04  5.58e-08
     214   1.33e-06  9.42e-04  5.36e-08
     215   1.28e-06  1.52e-04  5.15e-08
     216   1.23e-06  9.05e-04  4.95e-08
     217   1.18e-06  1.46e-04  4.76e-08
     218   1.14e-06  8.70e-04  4.58e-08
     219   1.09e-06  1.41e-04  4.40e-08
     220   1.05e-06  8.37e-04  4.23e-08
     221   1.01e-06  1.35e-04  4.07e-08
     222   9.71e-07  8.04e-04  3.91e-08
     223   9.33e-07  1.30e-04  3.76e-08
     224   8.97e-07  7.73e-04  3.61e-08
     225   8.62e-07  1.25e-04  3.47e-08
     226   8.29e-07  7.43e-04  3.34e-08
     227   7.97e-07  1.20e-04  3.21e-08
     228   7.66e-07  7.14e-04  3.08e-08
     229   7.36e-07  1.16e-04  2.97e-08
     230   7.08e-07  6.87e-04  2.85e-08
     231   6.80e-07  1.11e-04  2.74e-08
     232   6.54e-07  6.60e-04  2.63e-08
     233   6.29e-07  1.07e-04  2.53e-08
     234   6.04e-07  6.35e-04  2.43e-08
     235   5.81e-07  1.03e-04  2.34e-08
     236   5.58e-07  6.10e-04  2.25e-08
     237   5.37e-07  9.86e-05  2.16e-08
     238   5.16e-07  5.86e-04  2.08e-08
     239   4.96e-07  9.48e-05  2.00e-08
     240   4.77e-07  5.64e-04  1.92e-08
     241   4.58e-07  9.11e-05  1.85e-08
     242   4.41e-07  5.42e-04  1.77e-08
     243   4.24e-07  8.76e-05  1.71e-08
     244   4.07e-07  5.21e-04  1.64e-08
     245   3.91e-07  8.42e-05  1.58e-08
     246   3.76e-07  5.01e-04  1.52e-08
     247   3.62e-07  8.10e-05  1.46e-08
     248   3.48e-07  4.81e-04  1.40e-08
     249   3.34e-07  7.78e-05  1.35e-08
     250   3.21e-07  4.63e-04  1.29e-08
     251   3.09e-07  7.48e-05  1.24e-08
     252   2.97e-07  4.45e-04  1.20e-08
     253   2.85e-07  7.19e-05  1.15e-08
     254   2.74e-07  4.28e-04  1.11e-08
     255   2.64e-07  6.91e-05  1.06e-08
     256   2.54e-07  4.11e-04  1.02e-08
     257   2.44e-07  6.65e-05  9.82e-09
     258   2.34e-07  3.95e-04  9.44e-09
     259   2.25e-07  6.39e-05  9.07e-09
     260   2.16e-07  3.80e-04  8.72e-09
     261   2.08e-07  6.14e-05  8.38e-09
     262   2.00e-07  3.65e-04  8.06e-09
     263   1.92e-07  5.90e-05  7.75e-09
     264   1.85e-07  3.51e-04  7.45e-09
     265   1.78e-07  5.67e-05  7.16e-09
     266   1.71e-07  3.37e-04  6.88e-09
     267   1.64e-07  5.46e-05  6.61e-09
     268   1.58e-07  3.24e-04  6.36e-09
     269   1.52e-07  5.24e-05  6.11e-09
     270   1.46e-07  3.12e-04  5.87e-09
     271   1.40e-07  5.04e-05  5.65e-09
     272   1.35e-07  3.00e-04  5.43e-09
     273   1.30e-07  4.85e-05  5.22e-09
     274   1.25e-07  2.88e-04  5.02e-09
     275   1.20e-07  4.66e-05  4.82e-09
     276   1.15e-07  2.77e-04  4.64e-09
     277   1.11e-07  4.48e-05  4.46e-09
     278   1.06e-07  2.66e-04  4.28e-09
     279   1.02e-07  4.30e-05  4.12e-09
     280   9.83e-08  2.56e-04  3.96e-09
     281   9.45e-08  4.14e-05  3.80e-09
     282   9.08e-08  2.46e-04  3.66e-09
     283   8.73e-08  3.98e-05  3.52e-09
     284   8.39e-08  2.36e-04  3.38e-09
     285   8.07e-08  3.82e-05  3.25e-09
     286   7.75e-08  2.27e-04  3.12e-09
     287   7.45e-08  3.68e-05  3.00e-09
     288   7.17e-08  2.19e-04  2.89e-09
     289   6.89e-08  3.53e-05  2.77e-09
     290   6.62e-08  2.10e-04  2.67e-09
     291   6.36e-08  3.40e-05  2.56e-09
     292   6.12e-08  2.02e-04  2.46e-09
     293   5.88e-08  3.26e-05  2.37e-09
     294   5.65e-08  1.94e-04  2.28e-09
     295   5.43e-08  3.14e-05  2.19e-09
     296   5.22e-08  1.87e-04  2.10e-09
     297   5.02e-08  3.02e-05  2.02e-09
     298   4.83e-08  1.79e-04  1.94e-09
     299   4.64e-08  2.90e-05  1.87e-09
     300   4.46e-08  1.72e-04  1.80e-09
     301   4.29e-08  2.79e-05  1.73e-09
     302   4.12e-08  1.66e-04  1.66e-09
     303   3.96e-08  2.68e-05  1.60e-09
     304   3.81e-08  1.59e-04  1.53e-09
     305   3.66e-08  2.58e-05  1.47e-09
     306   3.52e-08  1.53e-04  1.42e-09
     307   3.38e-08  2.48e-05  1.36e-09
     308   3.25e-08  1.47e-04  1.31e-09
     309   3.13e-08  2.38e-05  1.26e-09
     310   3.01e-08  1.42e-04  1.21e-09
     311   2.89e-08  2.29e-05  1.16e-09
     312   2.78e-08  1.36e-04  1.12e-09
     313   2.67e-08  2.20e-05  1.08e-09
     314   2.57e-08  1.31e-04  1.03e-09
     315   2.47e-08  2.11e-05  9.94e-10
     316   2.37e-08  1.26e-04  9.55e-10
     317   2.28e-08  2.03e-05  9.18e-10
     318   2.19e-08  1.21e-04  8.83e-10
     319   2.11e-08  1.95e-05  8.49e-10
     320   2.03e-08  1.16e-04  8.16e-10
     321   1.95e-08  1.88e-05  7.84e-10
     322   1.87e-08  1.12e-04  7.54e-10
     323   1.80e-08  1.81e-05  7.25e-10
     324   1.73e-08  1.07e-04  6.97e-10
     325   1.66e-08  1.74e-05  6.70e-10
     326   1.60e-08  1.03e-04  6.44e-10
     327   1.54e-08  1.67e-05  6.19e-10
     328   1.48e-08  9.92e-05  5.95e-10
     329   1.42e-08  1.60e-05  5.72e-10
     330   1.36e-08  9.54e-05  5.50e-10
     331   1.31e-08  1.54e-05  5.28e-10
     332   1.26e-08  9.17e-05  5.08e-10
     333   1.21e-08  1.48e-05  4.88e-10
     334   1.17e-08  8.81e-05  4.69e-10
     335   1.12e-08  1.42e-05  4.51e-10
     336   1.08e-08  8.47e-05  4.34e-10
     337   1.03e-08  1.37e-05  4.17e-10
     338   9.95e-09  8.14e-05  4.01e-10
     339   9.56e-09  1.32e-05  3.85e-10
     340   9.19e-09  7.83e-05  3.70e-10
     341   8.84e-09  1.27e-05  3.56e-10
     342   8.50e-09  7.52e-05  3.42e-10
     343   8.17e-09  1.22e-05  3.29e-10
     344   7.85e-09  7.23e-05  3.16e-10
     345   7.55e-09  1.17e-05  3.04e-10
     346   7.25e-09  6.95e-05  2.92e-10
     347   6.97e-09  1.12e-05  2.81e-10
     348   6.70e-09  6.68e-05  2.70e-10
     349   6.44e-09  1.08e-05  2.60e-10
     350   6.19e-09  6.42e-05  2.49e-10
     351   5.95e-09  1.04e-05  2.40e-10
     352   5.72e-09  6.18e-05  2.31e-10
     353   5.50e-09  9.99e-06  2.22e-10
     354   5.29e-09  5.94e-05  2.13e-10
     355   5.08e-09  9.60e-06  2.05e-10
     356   4.89e-09  5.71e-05  1.97e-10
     357   4.70e-09  9.23e-06  1.89e-10
     358   4.52e-09  5.49e-05  1.82e-10
     359   4.34e-09  8.87e-06  1.75e-10
     360   4.17e-09  5.27e-05  1.68e-10
     361   4.01e-09  8.53e-06  1.62e-10
     362   3.86e-09  5.07e-05  1.55e-10
     363   3.71e-09  8.20e-06  1.49e-10
     364   3.56e-09  4.87e-05  1.44e-10
     365   3.43e-09  7.88e-06  1.38e-10
     366   3.29e-09  4.68e-05  1.33e-10
     367   3.17e-09  7.57e-06  1.28e-10
     368   3.04e-09  4.50e-05  1.23e-10
     369   2.93e-09  7.28e-06  1.18e-10
     370   2.81e-09  4.33e-05  1.13e-10
     371   2.70e-09  7.00e-06  1.09e-10
     372   2.60e-09  4.16e-05  1.05e-10
     373   2.50e-09  6.73e-06  1.01e-10
     374   2.40e-09  4.00e-05  9.67e-11
     375   2.31e-09  6.47e-06  9.30e-11
     376   2.22e-09  3.85e-05  8.94e-11
     377   2.13e-09  6.22e-06  8.59e-11
     378   2.05e-09  3.70e-05  8.26e-11
     379   1.97e-09  5.98e-06  7.94e-11
     380   1.89e-09  3.55e-05  7.63e-11
     381   1.82e-09  5.75e-06  7.34e-11
     382   1.75e-09  3.42e-05  7.05e-11
     383   1.68e-09  5.52e-06  6.78e-11
     384   1.62e-09  3.28e-05  6.52e-11
     385   1.56e-09  5.31e-06  6.26e-11
     386   1.49e-09  3.16e-05  6.02e-11
     387   1.44e-09  5.10e-06  5.79e-11
     388   1.38e-09  3.03e-05  5.56e-11
     389   1.33e-09  4.91e-06  5.35e-11
     390   1.28e-09  2.92e-05  5.14e-11
     391   1.23e-09  4.72e-06  4.94e-11
     392   1.18e-09  2.80e-05  4.75e-11
     393   1.13e-09  4.53e-06  4.57e-11
     394   1.09e-09  2.70e-05  4.39e-11
     395   1.05e-09  4.36e-06  4.22e-11
     396   1.01e-09  2.59e-05  4.06e-11
     397   9.68e-10  4.19e-06  3.90e-11
     398   9.31e-10  2.49e-05  3.75e-11
     399   8.95e-10  4.03e-06  3.60e-11
     400   8.60e-10  2.39e-05  3.46e-11
     401   8.27e-10  3.87e-06  3.33e-11
     402   7.95e-10  2.30e-05  3.20e-11
     403   7.64e-10  3.72e-06  3.08e-11
     404   7.34e-10  2.21e-05  2.96e-11
     405   7.06e-10  3.58e-06  2.84e-11
     406   6.79e-10  2.13e-05  2.73e-11
     407   6.52e-10  3.44e-06  2.63e-11
     408   6.27e-10  2.04e-05  2.53e-11
     409   6.03e-10  3.31e-06  2.43e-11
     410   5.80e-10  1.97e-05  2.33e-11
     411   5.57e-10  3.18e-06  2.24e-11
     412   5.36e-10  1.89e-05  2.16e-11
     413   5.15e-10  3.05e-06  2.07e-11
     414   4.95e-10  1.82e-05  1.99e-11
     415   4.76e-10  2.94e-06  1.92e-11
     416   4.57e-10  1.75e-05  1.84e-11
     417   4.40e-10  2.82e-06  1.77e-11
     418   4.23e-10  1.68e-05  1.70e-11
     419   4.06e-10  2.71e-06  1.64e-11
     420   3.90e-10  1.61e-05  1.57e-11
     421   3.75e-10  2.61e-06  1.51e-11
     422   3.61e-10  1.55e-05  1.45e-11
     423   3.47e-10  2.51e-06  1.40e-11
     424   3.33e-10  1.49e-05  1.34e-11
     425   3.20e-10  2.41e-06  1.29e-11
     426   3.08e-10  1.43e-05  1.24e-11
     427   2.96e-10  2.32e-06  1.19e-11
     428   2.85e-10  1.38e-05  1.15e-11
     429   2.74e-10  2.23e-06  1.10e-11
     430   2.63e-10  1.32e-05  1.06e-11
     431   2.53e-10  2.14e-06  1.02e-11
     432   2.43e-10  1.27e-05  9.79e-12
     433   2.34e-10  2.06e-06  9.41e-12
     434   2.25e-10  1.22e-05  9.05e-12
     435   2.16e-10  1.98e-06  8.70e-12
     436   2.08e-10  1.18e-05  8.36e-12
     437   2.00e-10  1.90e-06  8.04e-12
     438   1.92e-10  1.13e-05  7.73e-12
     439   1.84e-10  1.83e-06  7.43e-12
     440   1.77e-10  1.09e-05  7.14e-12
     441   1.70e-10  1.76e-06  6.86e-12
     442   1.64e-10  1.04e-05  6.60e-12
     443   1.57e-10  1.69e-06  6.34e-12
     444   1.51e-10  1.00e-05  6.10e-12
     445   1.45e-10  1.62e-06  5.86e-12
     446   1.40e-10  9.65e-06  5.63e-12
     447   1.34e-10  1.56e-06  5.42e-12
     448   1.29e-10  9.28e-06  5.21e-12
     449   1.24e-10  1.50e-06  5.00e-12
     450   1.19e-10  8.92e-06  4.81e-12
     451   1.15e-10  1.44e-06  4.62e-12
     452   1.10e-10  8.58e-06  4.44e-12
     453   1.06e-10  1.39e-06  4.27e-12
     454   1.02e-10  8.24e-06  4.11e-12
     455   9.80e-11  1.33e-06  3.95e-12
     456   9.42e-11  7.92e-06  3.80e-12
     457   9.06e-11  1.28e-06  3.65e-12
     458   8.71e-11  7.62e-06  3.51e-12
     459   8.37e-11  1.23e-06  3.37e-12
     460   8.05e-11  7.32e-06  3.24e-12
     461   7.73e-11  1.18e-06  3.12e-12
     462   7.44e-11  7.04e-06  2.99e-12
     463   7.15e-11  1.14e-06  2.88e-12
     464   6.87e-11  6.77e-06  2.77e-12
     465   6.60e-11  1.09e-06  2.66e-12
     466   6.35e-11  6.50e-06  2.56e-12
     467   6.10e-11  1.05e-06  2.46e-12
     468   5.87e-11  6.25e-06  2.36e-12
     469   5.64e-11  1.01e-06  2.27e-12
     470   5.42e-11  6.01e-06  2.18e-12
     471   5.21e-11  9.72e-07  2.10e-12
     472   5.01e-11  5.78e-06  2.02e-12
     473   4.82e-11  9.34e-07  1.94e-12
     474   4.63e-11  5.55e-06  1.86e-12
     475   4.45e-11  8.98e-07  1.79e-12
     476   4.28e-11  5.34e-06  1.72e-12
     477   4.11e-11  8.63e-07  1.66e-12
     478   3.95e-11  5.13e-06  1.59e-12
     479   3.80e-11  8.30e-07  1.53e-12
     480   3.65e-11  4.93e-06  1.47e-12
     481   3.51e-11  7.98e-07  1.41e-12
     482   3.38e-11  4.74e-06  1.36e-12
     483   3.24e-11  7.67e-07  1.31e-12
     484   3.12e-11  4.56e-06  1.26e-12
     485   3.00e-11  7.37e-07  1.21e-12
     486   2.88e-11  4.38e-06  1.16e-12
     487   2.77e-11  7.09e-07  1.12e-12
     488   2.66e-11  4.21e-06  1.07e-12
     489   2.56e-11  6.81e-07  1.03e-12
     490   2.46e-11  4.05e-06  9.91e-13
     491   2.37e-11  6.55e-07  9.53e-13
     492   2.27e-11  3.89e-06  9.16e-13
     493   2.19e-11  6.29e-07  8.81e-13
     494   2.10e-11  3.74e-06  8.46e-13
     495   2.02e-11  6.05e-07  8.14e-13
     496   1.94e-11  3.60e-06  7.82e-13
     497   1.87e-11  5.82e-07  7.52e-13
     498   1.79e-11  3.46e-06  7.23e-13
     499   1.73e-11  5.59e-07  6.95e-13
     500   1.66e-11  3.32e-06  6.68e-13
     501   1.59e-11  5.37e-07  6.42e-13
     502   1.53e-11  3.20e-06  6.17e-13
     503   1.47e-11  5.17e-07  5.93e-13
     504   1.42e-11  3.07e-06  5.70e-13
     505   1.36e-11  4.97e-07  5.48e-13
     506   1.31e-11  2.95e-06  5.27e-13
     507   1.26e-11  4.77e-07  5.07e-13
     508   1.21e-11  2.84e-06  4.87e-13
     509   1.16e-11  4.59e-07  4.68e-13
     510   1.12e-11  2.73e-06  4.50e-13
     511   1.07e-11  4.41e-07  4.33e-13
     512   1.03e-11  2.62e-06  4.16e-13
     513   9.92e-12  4.24e-07  4.00e-13
     514   9.54e-12  2.52e-06  3.84e-13
     515   9.17e-12  4.08e-07  3.69e-13
     516   8.82e-12  2.42e-06  3.55e-13
     517   8.47e-12  3.92e-07  3.41e-13
     518   8.15e-12  2.33e-06  3.28e-13
     519   7.83e-12  3.77e-07  3.15e-13
     520   7.53e-12  2.24e-06  3.03e-13
     521   7.24e-12  3.62e-07  2.91e-13
     522   6.96e-12  2.15e-06  2.80e-13
     523   6.69e-12  3.48e-07  2.69e-13
     524   6.43e-12  2.07e-06  2.59e-13
     525   6.18e-12  3.35e-07  2.49e-13
     526   5.94e-12  1.99e-06  2.39e-13
     527   5.71e-12  3.22e-07  2.30e-13
     528   5.49e-12  1.91e-06  2.21e-13
     529   5.28e-12  3.09e-07  2.13e-13
     530   5.07e-12  1.84e-06  2.04e-13
     531   4.88e-12  2.97e-07  1.96e-13
     532   4.69e-12  1.77e-06  1.89e-13
     533   4.51e-12  2.86e-07  1.81e-13
     534   4.33e-12  1.70e-06  1.74e-13
     535   4.16e-12  2.75e-07  1.68e-13
     536   4.00e-12  1.63e-06  1.61e-13
     537   3.85e-12  2.64e-07  1.55e-13
     538   3.70e-12  1.57e-06  1.49e-13
     539   3.55e-12  2.54e-07  1.43e-13
     540   3.42e-12  1.51e-06  1.38e-13
     541   3.28e-12  2.44e-07  1.32e-13
     542   3.16e-12  1.45e-06  1.27e-13
     543   3.04e-12  2.35e-07  1.22e-13
     544   2.92e-12  1.39e-06  1.18e-13
     545   2.81e-12  2.25e-07  1.13e-13
     546   2.70e-12  1.34e-06  1.09e-13
     547   2.59e-12  2.17e-07  1.04e-13
     548   2.49e-12  1.29e-06  1.00e-13
     549   2.40e-12  2.08e-07  9.65e-14
     550   2.30e-12  1.24e-06  9.27e-14
     551   2.21e-12  2.00e-07  8.91e-14
     552   2.13e-12  1.19e-06  8.57e-14
     553   2.05e-12  1.93e-07  8.24e-14
     554   1.97e-12  1.14e-06  7.92e-14
     555   1.89e-12  1.85e-07  7.61e-14
     556   1.82e-12  1.10e-06  7.32e-14
     557   1.75e-12  1.78e-07  7.03e-14
     558   1.68e-12  1.06e-06  6.76e-14
     559   1.61e-12  1.71e-07  6.50e-14
     560   1.55e-12  1.02e-06  6.25e-14
     561   1.49e-12  1.64e-07  6.01e-14
     562   1.43e-12  9.77e-07  5.77e-14
     563   1.38e-12  1.58e-07  5.55e-14
     564   1.32e-12  9.40e-07  5.34e-14
     565   1.27e-12  1.52e-07  5.13e-14
     566   1.22e-12  9.03e-07  4.93e-14
     567   1.18e-12  1.46e-07  4.74e-14
     568   1.13e-12  8.68e-07  4.56e-14
     569   1.09e-12  1.40e-07  4.38e-14
     570   1.05e-12  8.35e-07  4.21e-14
     571   1.00e-12  1.35e-07  4.05e-14
     572   9.66e-13  8.02e-07  3.89e-14
     573   9.28e-13  1.30e-07  3.74e-14
     574   8.93e-13  7.71e-07  3.59e-14
     575   8.58e-13  1.25e-07  3.46e-14
     576   8.25e-13  7.41e-07  3.32e-14
     577   7.93e-13  1.20e-07  3.19e-14
     578   7.62e-13  7.13e-07  3.07e-14
     579   7.33e-13  1.15e-07  2.95e-14
     580   7.04e-13  6.85e-07  2.84e-14
     581   6.77e-13  1.11e-07  2.73e-14
     582   6.51e-13  6.59e-07  2.62e-14
     583   6.26e-13  1.06e-07  2.52e-14
     584   6.01e-13  6.33e-07  2.42e-14
     585   5.78e-13  1.02e-07  2.33e-14
     586   5.56e-13  6.09e-07  2.24e-14
     587   5.34e-13  9.84e-08  2.15e-14
     588   5.13e-13  5.85e-07  2.07e-14
     589   4.94e-13  9.46e-08  1.99e-14
     590   4.74e-13  5.62e-07  1.91e-14
     591   4.56e-13  9.09e-08  1.84e-14
     592   4.38e-13  5.41e-07  1.77e-14
     593   4.21e-13  8.74e-08  1.70e-14
     594   4.05e-13  5.20e-07  1.63e-14
     595   3.89e-13  8.40e-08  1.57e-14
     596   3.74e-13  4.99e-07  1.51e-14
     597   3.60e-13  8.08e-08  1.45e-14
     598   3.46e-13  4.80e-07  1.39e-14
     599   3.33e-13  7.76e-08  1.34e-14
     600   3.20e-13  4.62e-07  1.29e-14
     601   3.07e-13  7.46e-08  1.24e-14
     602   2.95e-13  4.44e-07  1.19e-14
     603   2.84e-13  7.17e-08  1.14e-14
     604   2.73e-13  4.27e-07  1.10e-14
     605   2.62e-13  6.90e-08  1.06e-14
     606   2.52e-13  4.10e-07  1.02e-14
     607   2.42e-13  6.63e-08  9.77e-15
     608   2.33e-13  3.94e-07  9.39e-15
     609   2.24e-13  6.37e-08  9.03e-15
     610   2.15e-13  3.79e-07  8.68e-15
     611   2.07e-13  6.13e-08  8.34e-15
     612   1.99e-13  3.64e-07  8.02e-15
     613   1.91e-13  5.89e-08  7.71e-15
     614   1.84e-13  3.50e-07  7.41e-15
     615   1.77e-13  5.66e-08  7.12e-15
     616   1.70e-13  3.37e-07  6.85e-15
     617   1.63e-13  5.44e-08  6.58e-15
     618   1.57e-13  3.24e-07  6.33e-15
     619   1.51e-13  5.23e-08  6.08e-15
     620   1.45e-13  3.11e-07  5.85e-15
     621   1.40e-13  5.03e-08  5.62e-15
     622   1.34e-13  2.99e-07  5.40e-15
     623   1.29e-13  4.83e-08  5.19e-15
     624   1.24e-13  2.87e-07  4.99e-15
     625   1.19e-13  4.65e-08  4.80e-15
     626   1.15e-13  2.76e-07  4.61e-15
     627   1.10e-13  4.47e-08  4.43e-15
     628   1.06e-13  2.66e-07  4.26e-15
     629   1.02e-13  4.29e-08  4.10e-15
     630   9.78e-14  2.55e-07  3.94e-15
     631   9.40e-14  4.13e-08  3.79e-15
     632   9.04e-14  2.45e-07  3.64e-15
     633   8.69e-14  3.97e-08  3.50e-15
     634   8.35e-14  2.36e-07  3.36e-15
     635   8.03e-14  3.81e-08  3.23e-15
     636   7.72e-14  2.27e-07  3.11e-15
     637   7.42e-14  3.67e-08  2.99e-15
     638   7.13e-14  2.18e-07  2.87e-15
     639   6.85e-14  3.52e-08  2.76e-15
     640   6.59e-14  2.10e-07  2.65e-15
     641   6.33e-14  3.39e-08  2.55e-15
     642   6.09e-14  2.01e-07  2.45e-15
     643   5.85e-14  3.26e-08  2.36e-15
     644   5.63e-14  1.94e-07  2.27e-15
     645   5.41e-14  3.13e-08  2.18e-15
     646   5.20e-14  1.86e-07  2.09e-15
     647   5.00e-14  3.01e-08  2.01e-15
     648   4.80e-14  1.79e-07  1.93e-15
     649   4.62e-14  2.89e-08  1.86e-15
     650   4.44e-14  1.72e-07  1.79e-15
     651   4.27e-14  2.78e-08  1.72e-15
     652   4.10e-14  1.65e-07  1.65e-15
     653   3.94e-14  2.67e-08  1.59e-15
     654   3.79e-14  1.59e-07  1.53e-15
     655   3.64e-14  2.57e-08  1.47e-15
     656   3.50e-14  1.53e-07  1.41e-15
     657   3.37e-14  2.47e-08  1.36e-15
     658   3.24e-14  1.47e-07  1.30e-15
     659   3.11e-14  2.37e-08  1.25e-15
     660   2.99e-14  1.41e-07  1.20e-15
     661   2.88e-14  2.28e-08  1.16e-15
     662   2.76e-14  1.36e-07  1.11e-15
     663   2.66e-14  2.19e-08  1.07e-15
     664   2.55e-14  1.30e-07  1.03e-15
     665   2.45e-14  2.11e-08  9.89e-16
     666   2.36e-14  1.25e-07  9.51e-16
     667   2.27e-14  2.03e-08  9.14e-16
     668   2.18e-14  1.21e-07  8.78e-16
     669   2.10e-14  1.95e-08  8.44e-16
     670   2.02e-14  1.16e-07  8.12e-16
     671   1.94e-14  1.87e-08  7.80e-16
     672   1.86e-14  1.11e-07  7.50e-16
     673   1.79e-14  1.80e-08  7.21e-16
     674   1.72e-14  1.07e-07  6.93e-16
     675   1.65e-14  1.73e-08  6.66e-16
     676   1.59e-14  1.03e-07  6.40e-16
     677   1.53e-14  1.66e-08  6.16e-16
     678   1.47e-14  9.90e-08  5.92e-16
     679   1.41e-14  1.60e-08  5.69e-16
     680   1.36e-14  9.51e-08  5.47e-16
     681   1.31e-14  1.54e-08  5.26e-16
     682   1.25e-14  9.14e-08  5.05e-16
     683   1.21e-14  1.48e-08  4.86e-16
     684   1.16e-14  8.79e-08  4.67e-16
     685   1.11e-14  1.42e-08  4.49e-16
     686   1.07e-14  8.45e-08  4.31e-16
     687   1.03e-14  1.37e-08  4.15e-16
     688   9.90e-15  8.12e-08  3.99e-16
     689   9.52e-15  1.31e-08  3.83e-16
     690   9.15e-15  7.81e-08  3.68e-16
     691   8.79e-15  1.26e-08  3.54e-16
     692   8.45e-15  7.51e-08  3.40e-16
     693   8.13e-15  1.21e-08  3.27e-16
     694   7.81e-15  7.21e-08  3.15e-16
     695   7.51e-15  1.17e-08  3.02e-16
     696   7.22e-15  6.94e-08  2.91e-16
     697   6.94e-15  1.12e-08  2.79e-16
     698   6.67e-15  6.67e-08  2.69e-16
     699   6.41e-15  1.08e-08  2.58e-16
     700   6.16e-15  6.41e-08  2.48e-16
     701   5.92e-15  1.04e-08  2.39e-16
     702   5.70e-15  6.16e-08  2.29e-16
     703   5.48e-15  9.96e-09  2.21e-16
Out[34]:
([1.96241e-7,1.02785e-6],5.4750235557036084e-15,[3.62445e-9,9.96141e-9],
[3.16625 0.00682692 … 5.69554e-15 5.47502e-15; 7.8105 0.0114812 … 6.1607e-8 9.96141e-9])

In [36]:
ezcontour(-2:0.01:2, -2:0.01:2, x -> log(f(x)))
plot!(map(first,histx),map(x->x[2], histx), linewidth=2)


Out[36]:

In [ ]: