In [1]:
import matplotlib
matplotlib.use('agg')
import cPickle as pickle
import os; import sys; sys.path.append('..')
import gp
import gp.nets as nets
import time

PATCH_PATH = ('ipmlb') # image, prob, binary, largeborder


/home/d/GP/local/lib/python2.7/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters
WARNING (theano.sandbox.cuda): The cuda backend is deprecated and will be removed in the next release (v0.10).  Please switch to the gpuarray backend. You can get more information about how to switch at this URL:
 https://github.com/Theano/Theano/wiki/Converting-to-the-new-gpu-back-end%28gpuarray%29

Using gpu device 0: TITAN X (Pascal) (CNMeM is disabled, cuDNN not available)
/home/d/GP/local/lib/python2.7/site-packages/sklearn/cross_validation.py:41: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.
  "This module will be removed in 0.20.", DeprecationWarning)

In [2]:
import numpy as np
%pylab inline


Populating the interactive namespace from numpy and matplotlib

In [3]:
t0=time.time()
X_train, y_train, X_test, y_test = gp.Patch.load_rgba(PATCH_PATH)

print 'Training patches', y_train.shape[0]
print 'Test patches', y_test.shape[0]

# X_train, y_train, X_test, y_test = gp.Patch.load_rgb(PATCH_PATH)
# X_train = X_train[:,:-1,:,:]
# X_test = X_test[:,:-1,:,:]

print time.time()-t0


Loaded /home/d/patches//ipmlb/ in 0.00167012214661 seconds.
Training patches 225520
Test patches 17560
24.8278129101

In [4]:
t0 =time.time()
X_train = np.delete(X_train, [0,1] , axis=1) # delete image + prob
print time.time() - t0


4.05742502213

In [5]:
X_train.shape


Out[5]:
(225520, 2, 75, 75)

In [6]:
imshow(X_train[0][0], cmap='gray')


Out[6]:
<matplotlib.image.AxesImage at 0x7fe735302fd0>

In [7]:
imshow(X_train[0][1], cmap='gray')


Out[7]:
<matplotlib.image.AxesImage at 0x7fe7342a4810>

In [8]:
t0 =time.time()
X_test = np.delete(X_test, [0,1] , axis=1) # delete image + binary
print time.time() - t0


0.328902006149

In [9]:
cnn = nets.RGNetPlus()

cnn = cnn.fit(X_train, y_train)

test_accuracy = cnn.score(X_test, y_test)

print test_accuracy

# store CNN
sys.setrecursionlimit(1000000000)
with open(os.path.expanduser('~/Projects/gp/nets/MLB_FULL.p'), 'wb') as f:
  pickle.dump(cnn, f, -1)


CNN configuration: 
    Our CNN with image, prob, merged_array as RGB.

    This includes dropout. This also includes more layers.
    
# Neural Network with 170322 learnable parameters

## Layer information

  #  name      size
---  --------  --------
  0  input     2x75x75
  1  conv1     64x73x73
  2  pool1     64x36x36
  3  dropout1  64x36x36
  4  conv2     48x34x34
  5  pool2     48x17x17
  6  dropout2  48x17x17
  7  conv3     48x15x15
  8  pool3     48x7x7
  9  dropout3  48x7x7
 10  conv4     48x5x5
 11  pool4     48x2x2
 12  dropout4  48x2x2
 13  hidden5   512
 14  dropout5  512
 15  output    2

  epoch    trn loss    val loss    trn/val    valid acc  dur
-------  ----------  ----------  ---------  -----------  -------
      1     0.42371     0.37584    1.12737      0.84495  237.47s
      2     0.35352     0.34665    1.01980      0.85883  239.13s
      3     0.34643     0.34117    1.01542      0.86139  239.10s
      4     0.34250     0.33656    1.01764      0.86382  239.07s
      5     0.33901     0.33635    1.00790      0.86501  239.08s
      6     0.33484     0.33875    0.98845      0.86493  239.07s
      7     0.33104     0.33689    0.98262      0.86451  239.07s
      8     0.32929     0.33496    0.98307      0.86696  239.06s
      9     0.32569     0.32695    0.99616      0.87072  239.20s
     10     0.32397     0.33281    0.97343      0.86790  239.10s
     11     0.32097     0.32055    1.00132      0.87311  239.11s
     12     0.31865     0.32880    0.96911      0.86960  239.11s
     13     0.31620     0.31923    0.99053      0.87316  239.13s
     14     0.31432     0.30743    1.02242      0.87825  239.18s
     15     0.31089     0.31294    0.99345      0.87662  239.11s
     16     0.31052     0.31213    0.99484      0.87692  239.13s
     17     0.30908     0.31417    0.98377      0.87609  239.14s
     18     0.30645     0.30202    1.01468      0.87971  239.12s
     19     0.30525     0.31479    0.96969      0.87439  239.13s
     20     0.30413     0.30303    1.00363      0.87996  239.12s
     21     0.30155     0.30322    0.99447      0.87992  239.13s
     22     0.29992     0.30092    0.99669      0.88120  239.19s
     23     0.29849     0.29611    1.00803      0.88251  239.11s
     24     0.29762     0.30167    0.98659      0.88157  239.13s
     25     0.29639     0.29521    1.00397      0.88301  239.12s
     26     0.29335     0.29815    0.98391      0.88113  239.13s
     27     0.29315     0.29132    1.00631      0.88501  239.10s
     28     0.29070     0.29075    0.99983      0.88558  239.14s
     29     0.29000     0.28444    1.01955      0.88776  239.14s
     30     0.28749     0.28590    1.00556      0.88792  239.13s
     31     0.28599     0.29169    0.98044      0.88423  239.15s
     32     0.28564     0.29331    0.97385      0.88413  239.09s
     33     0.28438     0.28623    0.99356      0.88794  239.10s
     34     0.28348     0.28509    0.99437      0.88907  239.10s
     35     0.28231     0.28186    1.00158      0.88952  239.16s
     36     0.28129     0.28118    1.00041      0.89042  239.16s
     37     0.28082     0.28646    0.98033      0.88822  239.13s
     38     0.27885     0.28026    0.99498      0.88987  239.13s
     39     0.27788     0.28025    0.99154      0.89053  239.19s
     40     0.27661     0.27922    0.99063      0.89131  239.10s
     41     0.27550     0.27380    1.00620      0.89363  239.15s
     42     0.27392     0.27546    0.99440      0.89296  239.17s
     43     0.27347     0.27667    0.98841      0.89163  239.11s
     44     0.27256     0.26935    1.01190      0.89471  239.25s
     45     0.27089     0.27311    0.99187      0.89267  239.12s
     46     0.27177     0.27458    0.98977      0.89285  239.13s
     47     0.26918     0.26935    0.99935      0.89516  239.11s
     48     0.26949     0.27424    0.98267      0.89337  239.12s
     49     0.26810     0.26733    1.00288      0.89675  239.10s
     50     0.26706     0.26830    0.99540      0.89587  239.09s
     51     0.26620     0.25920    1.02700      0.89908  239.17s
     52     0.26599     0.26595    1.00015      0.89782  239.14s
     53     0.26516     0.26216    1.01144      0.89835  239.12s
     54     0.26335     0.25814    1.02017      0.89961  239.11s
     55     0.26356     0.26059    1.01140      0.89766  239.09s
     56     0.26172     0.26549    0.98580      0.89610  239.11s
     57     0.26215     0.26662    0.98322      0.89622  239.09s
     58     0.26113     0.26236    0.99532      0.89826  239.13s
     59     0.25924     0.27008    0.95989      0.89496  239.10s
     60     0.25954     0.26068    0.99564      0.89871  239.13s
     61     0.25942     0.25612    1.01285      0.90037  239.16s
     62     0.25777     0.26068    0.98882      0.89876  239.12s
     63     0.25756     0.26021    0.98982      0.89947  239.11s
     64     0.25639     0.25777    0.99464      0.89963  239.12s
     65     0.25668     0.25274    1.01558      0.90277  239.12s
     66     0.25543     0.25466    1.00301      0.90147  239.22s
     67     0.25516     0.26072    0.97865      0.89828  239.18s
     68     0.25335     0.25605    0.98946      0.89996  239.13s
     69     0.25296     0.26139    0.96772      0.89952  239.15s
     70     0.25306     0.25271    1.00140      0.90163  239.13s
     71     0.25224     0.25605    0.98513      0.90083  239.10s
     72     0.25077     0.25780    0.97273      0.90131  239.16s
     73     0.25081     0.24838    1.00978      0.90440  239.13s
     74     0.25073     0.25454    0.98504      0.90138  239.10s
     75     0.25010     0.25532    0.97958      0.90087  239.11s
     76     0.24890     0.25571    0.97335      0.90142  239.19s
     77     0.24889     0.25795    0.96488      0.90051  239.13s
     78     0.24902     0.25372    0.98147      0.90115  239.12s
     79     0.24781     0.24235    1.02253      0.90575  239.13s
     80     0.24728     0.25390    0.97392      0.90186  239.09s
     81     0.24731     0.25162    0.98286      0.90170  239.21s
     82     0.24697     0.24288    1.01684      0.90615  239.17s
     83     0.24554     0.24032    1.02174      0.90633  239.14s
     84     0.24526     0.24788    0.98944      0.90298  239.11s
     85     0.24484     0.24494    0.99956      0.90436  239.10s
     86     0.24407     0.24312    1.00389      0.90541  239.09s
     87     0.24345     0.24734    0.98428      0.90397  239.07s
     88     0.24229     0.24137    1.00380      0.90569  239.10s
     89     0.24203     0.25217    0.95976      0.90236  239.10s
     90     0.24253     0.24706    0.98166      0.90433  239.09s
     91     0.24040     0.24426    0.98416      0.90399  239.10s
     92     0.24158     0.23996    1.00675      0.90672  239.07s
     93     0.24068     0.23668    1.01691      0.90786  239.10s
     94     0.23992     0.23597    1.01675      0.90844  239.11s
     95     0.24043     0.24751    0.97141      0.90458  239.11s
     96     0.23819     0.23802    1.00069      0.90786  239.17s
     97     0.23811     0.25194    0.94510      0.90183  239.09s
     98     0.23739     0.24423    0.97198      0.90530  239.10s
     99     0.23691     0.23830    0.99417      0.90699  239.11s
    100     0.23728     0.24223    0.97956      0.90546  239.09s
    101     0.23637     0.23274    1.01562      0.90945  239.13s
    102     0.23660     0.23550    1.00468      0.90846  239.07s
    103     0.23654     0.24023    0.98464      0.90614  239.21s
    104     0.23537     0.23095    1.01913      0.90991  239.07s
    105     0.23539     0.23127    1.01785      0.90956  239.10s
    106     0.23525     0.23836    0.98696      0.90665  239.11s
    107     0.23461     0.23753    0.98773      0.90631  239.10s
    108     0.23375     0.23024    1.01521      0.90924  239.10s
    109     0.23418     0.23335    1.00358      0.90899  239.13s
    110     0.23232     0.23840    0.97450      0.90635  239.17s
    111     0.23181     0.23031    1.00653      0.91022  239.13s
    112     0.23278     0.23477    0.99152      0.90793  239.10s
    113     0.23295     0.22767    1.02316      0.91172  239.12s
    114     0.23089     0.22965    1.00541      0.91036  239.07s
    115     0.23174     0.22840    1.01463      0.90963  239.21s
    116     0.23014     0.23567    0.97653      0.90722  239.11s
    117     0.23041     0.23673    0.97333      0.90596  239.11s
    118     0.23004     0.22413    1.02639      0.91190  239.11s
    119     0.22946     0.22552    1.01750      0.91185  239.08s
    120     0.22926     0.23381    0.98052      0.90796  239.11s
    121     0.22820     0.21886    1.04265      0.91488  239.13s
    122     0.22931     0.22558    1.01652      0.91172  239.13s
    123     0.22903     0.22525    1.01678      0.91181  239.08s
    124     0.22807     0.22469    1.01505      0.91279  239.09s
    125     0.22773     0.22636    1.00608      0.91203  239.09s
    126     0.22621     0.22698    0.99660      0.91125  239.11s
    127     0.22646     0.22412    1.01047      0.91213  239.09s
    128     0.22627     0.22834    0.99093      0.91087  239.09s
    129     0.22635     0.22757    0.99464      0.90942  239.13s
    130     0.22716     0.22111    1.02735      0.91446  239.11s
    131     0.22519     0.22994    0.97934      0.90991  239.11s
    132     0.22570     0.22956    0.98322      0.90979  239.21s
    133     0.22516     0.22142    1.01689      0.91344  239.16s
    134     0.22480     0.21993    1.02213      0.91407  239.11s
    135     0.22396     0.21665    1.03375      0.91598  239.16s
    136     0.22434     0.21552    1.04096      0.91740  239.08s
    137     0.22351     0.22165    1.00839      0.91378  239.15s
    138     0.22328     0.22875    0.97609      0.91070  239.14s
    139     0.22125     0.22534    0.98187      0.91222  239.15s
    140     0.22180     0.21979    1.00917      0.91458  239.23s
    141     0.22209     0.22153    1.00251      0.91385  239.12s
    142     0.22129     0.22008    1.00550      0.91415  239.13s
    143     0.22101     0.22415    0.98601      0.91339  239.12s
    144     0.22068     0.21778    1.01335      0.91497  239.09s
    145     0.22176     0.21544    1.02937      0.91579  239.09s
    146     0.22004     0.21571    1.02008      0.91625  239.10s
    147     0.22018     0.21246    1.03636      0.91784  239.10s
    148     0.21952     0.21426    1.02455      0.91667  239.10s
    149     0.21910     0.21336    1.02689      0.91705  239.12s
    150     0.21842     0.22304    0.97929      0.91321  239.12s
    151     0.21851     0.21331    1.02439      0.91525  239.18s
    152     0.21945     0.21603    1.01580      0.91568  239.15s
    153     0.21793     0.21199    1.02802      0.91751  239.25s
    154     0.21845     0.21115    1.03457      0.91846  239.08s
    155     0.21820     0.21383    1.02047      0.91715  239.14s
    156     0.21749     0.21387    1.01691      0.91641  239.13s
    157     0.21749     0.21687    1.00284      0.91619  239.11s
    158     0.21633     0.21280    1.01657      0.91689  239.10s
    159     0.21646     0.21012    1.03016      0.91775  239.08s
    160     0.21661     0.21426    1.01095      0.91637  239.15s
    161     0.21705     0.21270    1.02044      0.91646  239.11s
    162     0.21657     0.20399    1.06167      0.92127  239.11s
    163     0.21588     0.20790    1.03837      0.91910  239.10s
    164     0.21576     0.21357    1.01026      0.91536  239.08s
    165     0.21508     0.21050    1.02177      0.91836  239.13s
    166     0.21342     0.20632    1.03443      0.91963  239.11s
    167     0.21484     0.20417    1.05226      0.92070  239.08s
    168     0.21476     0.20653    1.03986      0.91987  239.11s
    169     0.21408     0.19992    1.07082      0.92251  239.11s
    170     0.21433     0.21895    0.97889      0.91366  239.11s
    171     0.21299     0.20145    1.05727      0.92121  239.11s
    172     0.21333     0.21023    1.01471      0.91735  239.20s
    173     0.21390     0.20913    1.02277      0.91779  239.10s
    174     0.21201     0.21006    1.00930      0.91697  239.13s
    175     0.21313     0.20555    1.03686      0.91976  239.08s
    176     0.21177     0.20215    1.04759      0.92123  239.09s
    177     0.21179     0.19819    1.06859      0.92299  239.11s
    178     0.21258     0.19788    1.07427      0.92421  239.16s
    179     0.21065     0.20642    1.02047      0.91889  239.12s
    180     0.21166     0.21161    1.00024      0.91731  239.10s
    181     0.21056     0.20401    1.03214      0.92031  239.15s
    182     0.20980     0.20168    1.04029      0.92130  239.14s
    183     0.21138     0.20511    1.03058      0.91910  239.13s
    184     0.20929     0.20802    1.00609      0.91713  239.19s
    185     0.21046     0.20223    1.04071      0.92105  239.10s
    186     0.20848     0.20465    1.01873      0.91921  239.12s
    187     0.21093     0.19567    1.07798      0.92405  239.13s
    188     0.21063     0.19735    1.06730      0.92208  239.10s
    189     0.20893     0.19986    1.04540      0.92265  239.10s
    190     0.20779     0.20298    1.02372      0.92049  239.14s
    191     0.21012     0.19828    1.05973      0.92235  239.07s
    192     0.20852     0.19707    1.05814      0.92350  239.08s
    193     0.20831     0.20023    1.04034      0.92192  239.16s
    194     0.20714     0.19477    1.06351      0.92494  239.08s
    195     0.20708     0.19963    1.03730      0.92263  239.10s
    196     0.20807     0.19368    1.07430      0.92503  239.11s
    197     0.20716     0.20089    1.03124      0.92162  239.12s
    198     0.20733     0.20134    1.02978      0.92105  239.13s
    199     0.20570     0.19928    1.03220      0.92159  239.14s
    200     0.20570     0.20022    1.02734      0.92136  239.09s
    201     0.20660     0.19470    1.06111      0.92439  239.18s
    202     0.20588     0.20012    1.02881      0.92221  239.12s
    203     0.20507     0.19700    1.04095      0.92331  239.11s
    204     0.20548     0.19251    1.06739      0.92586  239.10s
    205     0.20492     0.20735    0.98828      0.91749  239.10s
    206     0.20499     0.19588    1.04647      0.92279  239.12s
    207     0.20532     0.19286    1.06461      0.92433  239.11s
    208     0.20518     0.19876    1.03227      0.92210  239.16s
    209     0.20552     0.19453    1.05646      0.92474  239.09s
    210     0.20489     0.19845    1.03245      0.92244  239.12s
    211     0.20429     0.19982    1.02234      0.92155  239.11s
    212     0.20412     0.20002    1.02052      0.92194  239.12s
    213     0.20318     0.19627    1.03525      0.92245  239.12s
    214     0.20251     0.19815    1.02199      0.92277  239.11s
    215     0.20315     0.19949    1.01837      0.92160  239.15s
    216     0.20180     0.19080    1.05766      0.92590  239.09s
    217     0.20313     0.19478    1.04285      0.92359  239.18s
    218     0.20272     0.19461    1.04168      0.92354  239.10s
    219     0.20106     0.18896    1.06401      0.92598  239.10s
    220     0.20349     0.19023    1.06968      0.92563  239.11s
    221     0.20195     0.19696    1.02535      0.92128  239.11s
    222     0.20139     0.18987    1.06067      0.92618  239.12s
    223     0.20217     0.18732    1.07928      0.92689  239.11s
    224     0.20128     0.18908    1.06454      0.92744  239.10s
    225     0.20102     0.18668    1.07684      0.92753  239.12s
    226     0.20253     0.19116    1.05953      0.92604  239.17s
    227     0.19946     0.19132    1.04256      0.92465  239.13s
    228     0.19954     0.19167    1.04104      0.92508  239.10s
    229     0.20029     0.18955    1.05663      0.92616  239.14s
    230     0.20084     0.19004    1.05685      0.92586  239.15s
    231     0.19996     0.19356    1.03308      0.92407  239.10s
    232     0.20083     0.19060    1.05366      0.92551  239.12s
    233     0.19936     0.19290    1.03347      0.92458  239.15s
    234     0.19995     0.18701    1.06916      0.92817  239.16s
    235     0.19820     0.18495    1.07164      0.92820  239.08s
    236     0.20001     0.18524    1.07975      0.92815  239.09s
    237     0.19819     0.18464    1.07341      0.92811  239.12s
    238     0.19962     0.18161    1.09916      0.92966  239.13s
    239     0.19841     0.18396    1.07854      0.92767  239.07s
    240     0.19916     0.18400    1.08236      0.92879  239.10s
    241     0.19812     0.18488    1.07159      0.92831  239.12s
    242     0.19827     0.18604    1.06575      0.92691  239.10s
    243     0.19853     0.18176    1.09227      0.92962  239.09s
    244     0.19698     0.18312    1.07567      0.92799  239.09s
    245     0.19915     0.18730    1.06329      0.92751  239.10s
    246     0.19763     0.18572    1.06415      0.92852  239.09s
    247     0.19717     0.18362    1.07378      0.92967  239.11s
    248     0.19637     0.17855    1.09979      0.93201  239.07s
    249     0.19542     0.18694    1.04539      0.92753  239.19s
    250     0.19664     0.18195    1.08076      0.92950  239.17s
    251     0.19526     0.17625    1.10787      0.93262  239.09s
    252     0.19637     0.18513    1.06068      0.92776  239.10s
    253     0.19540     0.18267    1.06966      0.92957  239.10s
    254     0.19644     0.18025    1.08983      0.93067  239.10s
    255     0.19608     0.18020    1.08815      0.93147  239.12s
    256     0.19613     0.18298    1.07186      0.93024  239.10s
    257     0.19522     0.18409    1.06046      0.92904  239.14s
    258     0.19508     0.17942    1.08726      0.93067  239.09s
    259     0.19421     0.18220    1.06589      0.92944  239.07s
    260     0.19619     0.18586    1.05562      0.92831  239.09s
    261     0.19527     0.18376    1.06264      0.92941  239.09s
    262     0.19420     0.18216    1.06613      0.92990  239.07s
    263     0.19440     0.18594    1.04550      0.92747  239.09s
    264     0.19444     0.17711    1.09783      0.93248  239.11s
    265     0.19329     0.18465    1.04677      0.92769  239.09s
    266     0.19363     0.18288    1.05879      0.92911  239.11s
    267     0.19410     0.17482    1.11024      0.93375  239.12s
    268     0.19362     0.17871    1.08345      0.93141  239.11s
    269     0.19397     0.17981    1.07875      0.93026  239.15s
    270     0.19295     0.17658    1.09271      0.93182  239.20s
    271     0.19248     0.17743    1.08483      0.93214  239.12s
    272     0.19254     0.18089    1.06438      0.93008  239.12s
    273     0.19278     0.17614    1.09451      0.93217  239.11s
    274     0.19387     0.17476    1.10931      0.93258  239.15s
    275     0.19082     0.17813    1.07126      0.93127  239.14s
    276     0.19233     0.18133    1.06068      0.92939  239.09s
    277     0.19315     0.17850    1.08211      0.93095  239.12s
    278     0.19253     0.17994    1.07001      0.93024  239.10s
    279     0.19227     0.17494    1.09912      0.93327  239.08s
    280     0.19326     0.18033    1.07171      0.93045  239.20s
    281     0.19272     0.17779    1.08398      0.93216  239.11s
    282     0.19115     0.17781    1.07507      0.93083  239.12s
    283     0.19177     0.17956    1.06795      0.93168  239.10s
    284     0.19050     0.17070    1.11601      0.93507  239.11s
    285     0.19153     0.17393    1.10117      0.93352  239.16s
    286     0.19061     0.17585    1.08397      0.93237  239.12s
    287     0.19172     0.17458    1.09818      0.93283  239.20s
    288     0.19104     0.17616    1.08441      0.93248  239.15s
    289     0.19005     0.17159    1.10754      0.93517  239.20s
    290     0.19035     0.17535    1.08555      0.93315  239.59s
    291     0.19181     0.17092    1.12220      0.93549  245.69s
    292     0.19093     0.17883    1.06767      0.93068  244.70s
    293     0.18944     0.17200    1.10139      0.93402  242.59s
    294     0.18847     0.17464    1.07918      0.93352  243.96s
    295     0.19074     0.17257    1.10528      0.93544  244.11s
    296     0.18891     0.17368    1.08769      0.93400  247.92s
    297     0.18966     0.18081    1.04896      0.93122  245.04s
    298     0.18952     0.17624    1.07530      0.93280  243.90s
    299     0.18949     0.17243    1.09895      0.93342  239.44s
    300     0.18890     0.16871    1.11968      0.93666  239.40s
    301     0.18923     0.17827    1.06152      0.93226  244.15s
    302     0.18943     0.17115    1.10684      0.93482  241.48s
    303     0.18781     0.16952    1.10789      0.93531  239.64s
    304     0.18996     0.17383    1.09276      0.93400  238.97s
    305     0.18814     0.16837    1.11746      0.93661  245.50s
    306     0.18892     0.16737    1.12872      0.93631  243.75s
    307     0.18827     0.16819    1.11938      0.93700  242.83s
    308     0.18751     0.17560    1.06779      0.93329  241.85s
    309     0.18949     0.16744    1.13172      0.93714  243.05s
    310     0.18713     0.17125    1.09267      0.93613  242.88s
    311     0.18720     0.17268    1.08409      0.93507  243.58s
    312     0.18834     0.17228    1.09322      0.93533  241.86s
    313     0.18765     0.16681    1.12491      0.93806  241.87s
    314     0.18768     0.16724    1.12224      0.93707  244.29s
    315     0.18721     0.16723    1.11953      0.93659  243.18s
    316     0.18754     0.17948    1.04491      0.93031  244.69s
    317     0.18682     0.16900    1.10548      0.93512  240.34s
    318     0.18604     0.17013    1.09348      0.93519  241.37s
    319     0.18671     0.16914    1.10385      0.93570  243.08s
    320     0.18737     0.16461    1.13827      0.93780  243.59s
    321     0.18705     0.16987    1.10113      0.93595  243.36s
    322     0.18740     0.17439    1.07460      0.93310  241.83s
    323     0.18685     0.16423    1.13773      0.93774  242.45s
    324     0.18661     0.16671    1.11938      0.93774  242.91s
    325     0.18661     0.16932    1.10213      0.93663  244.36s
    326     0.18528     0.16273    1.13853      0.93962  246.25s
    327     0.18686     0.16489    1.13327      0.93845  250.76s
    328     0.18676     0.16530    1.12981      0.93774  244.01s
    329     0.18469     0.16711    1.10516      0.93732  245.66s
    330     0.18518     0.16727    1.10706      0.93709  246.08s
    331     0.18557     0.16576    1.11951      0.93773  240.75s
    332     0.18462     0.16136    1.14418      0.93989  243.44s
    333     0.18334     0.16146    1.13548      0.93968  242.39s
    334     0.18423     0.16595    1.11020      0.93732  242.12s
    335     0.18545     0.16194    1.14515      0.93985  241.04s
    336     0.18575     0.16131    1.15152      0.94048  243.12s
    337     0.18407     0.16290    1.12999      0.93966  241.85s
    338     0.18379     0.16913    1.08672      0.93565  242.77s
    339     0.18562     0.17420    1.06551      0.93283  242.43s
    340     0.18396     0.16321    1.12718      0.93854  242.30s
    341     0.18492     0.16204    1.14117      0.93977  245.31s
    342     0.18398     0.16568    1.11044      0.93817  248.00s
    343     0.18407     0.16668    1.10436      0.93702  247.23s
    344     0.18337     0.16261    1.12767      0.93879  243.99s
    345     0.18392     0.16541    1.11187      0.93778  245.30s
    346     0.18301     0.16398    1.11603      0.93829  240.00s
    347     0.18433     0.16765    1.09951      0.93606  243.78s
    348     0.18314     0.16635    1.10096      0.93801  242.21s
    349     0.18479     0.16377    1.12833      0.93854  242.06s
    350     0.18235     0.16593    1.09895      0.93643  242.58s
    351     0.18300     0.15937    1.14821      0.94062  243.23s
    352     0.18291     0.16224    1.12740      0.93883  241.97s
    353     0.18308     0.16799    1.08982      0.93654  242.52s
    354     0.18344     0.16148    1.13596      0.94023  247.24s
    355     0.18188     0.16198    1.12282      0.93948  245.07s
    356     0.18336     0.16269    1.12704      0.93922  243.73s
    357     0.18366     0.16689    1.10052      0.93666  240.61s
    358     0.18146     0.16187    1.12097      0.93899  243.78s
    359     0.18277     0.16501    1.10760      0.93758  245.00s
    360     0.18365     0.16356    1.12283      0.93897  241.03s
    361     0.18254     0.16067    1.13611      0.94028  243.85s
    362     0.18124     0.16457    1.10127      0.93746  243.96s
    363     0.18167     0.15813    1.14888      0.94158  243.87s
    364     0.18165     0.16000    1.13534      0.94079  243.17s
    365     0.18229     0.15858    1.14953      0.94209  243.56s
    366     0.18169     0.16415    1.10683      0.93847  243.23s
    367     0.18233     0.16144    1.12936      0.94078  241.88s
    368     0.18171     0.16010    1.13494      0.94081  242.12s
    369     0.18168     0.16006    1.13508      0.94044  243.27s
    370     0.18140     0.16295    1.11326      0.93904  259.45s
    371     0.18043     0.15817    1.14074      0.94195  241.54s
    372     0.18196     0.15882    1.14571      0.94179  239.07s
    373     0.18105     0.15985    1.13264      0.94078  239.07s
    374     0.17999     0.16129    1.11594      0.93900  239.00s
    375     0.17957     0.16190    1.10919      0.94062  239.01s
    376     0.18147     0.15557    1.16650      0.94388  239.01s
    377     0.18067     0.16014    1.12820      0.94000  239.03s
    378     0.17983     0.15666    1.14791      0.94260  239.01s
    379     0.17963     0.16232    1.10664      0.93936  239.00s
    380     0.17934     0.15644    1.14640      0.94228  239.01s
    381     0.18066     0.15863    1.13884      0.94165  239.03s
    382     0.18135     0.16235    1.11705      0.93991  239.04s
    383     0.17977     0.15739    1.14220      0.94239  239.04s
    384     0.17997     0.15486    1.16212      0.94292  239.12s
    385     0.18017     0.15503    1.16219      0.94303  239.11s
    386     0.17984     0.15832    1.13590      0.94131  239.19s
    387     0.17925     0.15874    1.12921      0.94017  239.08s
    388     0.17790     0.15567    1.14281      0.94262  239.01s
    389     0.18086     0.16127    1.12152      0.93950  239.06s
    390     0.18085     0.15737    1.14924      0.94197  239.02s
    391     0.17835     0.15420    1.15663      0.94388  239.00s
    392     0.18004     0.16363    1.10028      0.93945  239.01s
    393     0.17840     0.15532    1.14855      0.94285  239.01s
    394     0.18009     0.15713    1.14611      0.94218  239.08s
    395     0.17838     0.15640    1.14054      0.94264  239.07s
    396     0.17929     0.15527    1.15475      0.94319  239.04s
    397     0.17924     0.15926    1.12542      0.94168  239.03s
    398     0.17868     0.15191    1.17623      0.94493  239.15s
    399     0.17827     0.15980    1.11564      0.94131  239.08s
    400     0.17922     0.15826    1.13245      0.94166  239.00s
    401     0.17791     0.15699    1.13325      0.94253  239.00s
    402     0.17753     0.15089    1.17656      0.94535  239.69s
    403     0.17719     0.15389    1.15143      0.94381  239.33s
    404     0.17872     0.16556    1.07950      0.93813  239.30s
    405     0.17878     0.15620    1.14455      0.94253  239.31s
    406     0.17850     0.15306    1.16618      0.94493  239.35s
    407     0.17835     0.15139    1.17808      0.94534  239.30s
    408     0.17820     0.15242    1.16914      0.94521  239.32s
    409     0.17679     0.15720    1.12463      0.94239  239.31s
    410     0.17895     0.15217    1.17596      0.94573  239.38s
    411     0.17873     0.15795    1.13157      0.94241  239.32s
    412     0.17731     0.15332    1.15647      0.94377  239.31s
    413     0.17759     0.15354    1.15663      0.94434  239.31s
    414     0.17893     0.15294    1.16991      0.94400  239.30s
    415     0.17701     0.14833    1.19334      0.94668  239.30s
    416     0.17753     0.15139    1.17265      0.94535  239.40s
    417     0.17716     0.15121    1.17162      0.94500  239.61s
    418     0.17719     0.15532    1.14076      0.94342  239.52s
    419     0.17708     0.15157    1.16830      0.94471  239.52s
    420     0.17651     0.15100    1.16890      0.94629  239.56s
    421     0.17532     0.15210    1.15269      0.94324  239.53s
    422     0.17692     0.15387    1.14974      0.94413  239.54s
    423     0.17545     0.15250    1.15044      0.94441  239.54s
    424     0.17683     0.15028    1.17666      0.94479  239.58s
    425     0.17650     0.15860    1.11289      0.94111  239.55s
    426     0.17742     0.15153    1.17090      0.94475  239.48s
    427     0.17532     0.15357    1.14162      0.94455  239.53s
    428     0.17665     0.15138    1.16692      0.94440  239.55s
    429     0.17646     0.15124    1.16674      0.94395  239.51s
    430     0.17638     0.15071    1.17032      0.94553  239.57s
    431     0.17491     0.15159    1.15382      0.94432  239.50s
    432     0.17699     0.14970    1.18227      0.94590  239.47s
    433     0.17622     0.15029    1.17255      0.94557  239.49s
    434     0.17571     0.15049    1.16759      0.94479  239.51s
    435     0.17541     0.14969    1.17180      0.94539  239.50s
    436     0.17498     0.15780    1.10889      0.94134  239.51s
    437     0.17558     0.15529    1.13068      0.94241  239.54s
    438     0.17572     0.14958    1.17479      0.94631  239.55s
    439     0.17617     0.15010    1.17371      0.94546  239.47s
    440     0.17630     0.15317    1.15100      0.94484  239.48s
    441     0.17553     0.15102    1.16234      0.94573  239.47s
    442     0.17453     0.14483    1.20512      0.94762  239.50s
    443     0.17494     0.15343    1.14025      0.94370  239.58s
    444     0.17533     0.15455    1.13445      0.94393  239.51s
    445     0.17549     0.14937    1.17489      0.94557  239.57s
    446     0.17565     0.14616    1.20172      0.94723  239.51s
    447     0.17516     0.15066    1.16263      0.94518  239.50s
    448     0.17434     0.14694    1.18642      0.94643  239.53s
    449     0.17313     0.15205    1.13861      0.94454  239.53s
    450     0.17474     0.14720    1.18708      0.94526  239.59s
    451     0.17458     0.15300    1.14107      0.94370  239.47s
    452     0.17422     0.14957    1.16478      0.94583  239.53s
    453     0.17283     0.14748    1.17191      0.94736  239.50s
    454     0.17419     0.14891    1.16974      0.94610  239.51s
    455     0.17451     0.15298    1.14070      0.94475  239.52s
    456     0.17384     0.15000    1.15892      0.94548  239.53s
    457     0.17514     0.15175    1.15412      0.94427  239.51s
    458     0.17399     0.14914    1.16665      0.94516  239.51s
    459     0.17369     0.14879    1.16740      0.94654  239.49s
    460     0.17623     0.15389    1.14514      0.94385  239.62s
    461     0.17481     0.15105    1.15733      0.94608  239.68s
    462     0.17334     0.15271    1.13511      0.94450  239.49s
    463     0.17411     0.14986    1.16179      0.94507  239.54s
    464     0.17420     0.14834    1.17429      0.94674  239.57s
    465     0.17202     0.15079    1.14078      0.94464  239.61s
    466     0.17252     0.15600    1.10592      0.94248  239.55s
    467     0.17266     0.14739    1.17150      0.94753  239.50s
    468     0.17367     0.14989    1.15865      0.94565  239.51s
    469     0.17414     0.14498    1.20113      0.94952  239.61s
    470     0.17393     0.15215    1.14319      0.94454  239.62s
    471     0.17401     0.14743    1.18033      0.94837  239.51s
    472     0.17294     0.14789    1.16940      0.94723  239.54s
    473     0.17265     0.14913    1.15774      0.94567  239.55s
    474     0.17329     0.14761    1.17395      0.94720  239.54s
    475     0.17241     0.15050    1.14558      0.94466  239.53s
    476     0.17217     0.14820    1.16175      0.94659  239.58s
    477     0.17251     0.14581    1.18308      0.94794  239.69s
    478     0.17125     0.14357    1.19276      0.94934  239.55s
    479     0.17111     0.15365    1.11365      0.94321  239.48s
    480     0.17389     0.14510    1.19844      0.94794  239.49s
    481     0.17296     0.14891    1.16146      0.94500  239.55s
    482     0.17274     0.14640    1.17993      0.94670  239.52s
    483     0.17235     0.14895    1.15712      0.94713  239.51s
    484     0.17323     0.15103    1.14697      0.94509  239.50s
    485     0.17327     0.14786    1.17181      0.94736  239.55s
    486     0.17174     0.14878    1.15432      0.94752  239.52s
    487     0.17118     0.14523    1.17865      0.94768  239.50s
    488     0.17295     0.14683    1.17789      0.94722  239.50s
    489     0.17242     0.15223    1.13260      0.94484  239.50s
    490     0.17112     0.14642    1.16868      0.94748  239.59s
    491     0.17164     0.14264    1.20327      0.95034  239.55s
    492     0.17141     0.14509    1.18138      0.94863  239.58s
    493     0.17276     0.14485    1.19269      0.94931  239.50s
    494     0.17221     0.14220    1.21108      0.95074  239.50s
    495     0.17143     0.14489    1.18318      0.94839  239.52s
    496     0.17076     0.14352    1.18985      0.94902  239.46s
    497     0.17228     0.14552    1.18383      0.94895  239.51s
    498     0.17155     0.14574    1.17710      0.94785  239.50s
    499     0.17070     0.14551    1.17310      0.94830  239.50s
    500     0.17209     0.14216    1.21056      0.94947  239.48s
    501     0.17166     0.14812    1.15891      0.94759  239.49s
    502     0.17078     0.14653    1.16548      0.94729  239.48s
    503     0.17094     0.14240    1.20038      0.94929  239.49s
    504     0.16992     0.14193    1.19721      0.95039  239.48s
    505     0.17122     0.14480    1.18249      0.94833  239.49s
    506     0.17063     0.14658    1.16405      0.94775  239.55s
    507     0.17016     0.14472    1.17574      0.94803  239.48s
    508     0.17156     0.14693    1.16766      0.94729  239.50s
    509     0.17067     0.14670    1.16341      0.94771  239.53s
    510     0.16965     0.14095    1.20366      0.95064  239.49s
    511     0.17042     0.14815    1.15033      0.94597  239.50s
    512     0.17089     0.14467    1.18123      0.94885  239.50s
    513     0.17094     0.14270    1.19786      0.95062  239.57s
    514     0.16972     0.14446    1.17487      0.94927  239.49s
    515     0.16930     0.14673    1.15381      0.94796  239.62s
    516     0.16992     0.14531    1.16935      0.94775  239.61s
    517     0.16965     0.13945    1.21655      0.95082  239.53s
    518     0.16946     0.14394    1.17726      0.94961  239.48s
    519     0.16958     0.14344    1.18218      0.94876  239.45s
    520     0.16929     0.14126    1.19850      0.94954  239.57s
    521     0.17083     0.14176    1.20509      0.94908  239.49s
    522     0.16981     0.14476    1.17303      0.94789  239.48s
    523     0.16971     0.14570    1.16480      0.94878  239.50s
    524     0.16921     0.13969    1.21138      0.95108  239.47s
    525     0.17144     0.14362    1.19370      0.94872  239.52s
    526     0.16963     0.14570    1.16427      0.94849  239.55s
    527     0.16965     0.14113    1.20211      0.95073  239.52s
    528     0.16972     0.14310    1.18603      0.95071  239.51s
    529     0.16925     0.14072    1.20278      0.95096  239.52s
    530     0.16835     0.14362    1.17217      0.94924  239.53s
    531     0.16984     0.14591    1.16402      0.94791  239.60s
    532     0.16969     0.14618    1.16086      0.94681  239.50s
    533     0.16931     0.14581    1.16117      0.94734  239.50s
    534     0.17031     0.14343    1.18740      0.94897  239.51s
    535     0.16894     0.13923    1.21335      0.95101  239.47s
    536     0.16856     0.14294    1.17923      0.94927  239.50s
    537     0.17023     0.14668    1.16053      0.94743  239.50s
0.898234624146

In [10]:
sys.setrecursionlimit(1000000000)
with open(os.path.expanduser('~/Projects/gp/nets/MLB_FULL.p'), 'wb') as f:
  pickle.dump(cnn, f, -1)

In [ ]: