In [36]:
import pandas as pd
import numpy as np
from sklearn import preprocessing
import xgboost as xgb
#load train and test
train = pd.read_csv('../data/raw/train.csv', index_col=0)
test = pd.read_csv('../data/raw/test.csv', index_col=0)
print train.shape
## XXX Parece BUG head() nao mostra a ultimas colunas: 10,20,30
## Entao eu tive que duplicar para imprimir todas as colunas
print train.iloc[:,0:10].head()
print train.iloc[:,10:20].head()
print train.iloc[:,20:30].head()
print train.iloc[:,30:33].head()
print "=========================="
labels = train.Hazard
#train.drop('Hazard', axis=1, inplace=True)
print "Harzard"
print labels.unique()
print labels.astype('category').describe()
#print labels.value_counts()
%matplotlib inline
labels.hist(bins=69)
(50999, 33)
Hazard T1_V1 T1_V2 T1_V3 T1_V4 T1_V5 T1_V6 T1_V7 T1_V8 T1_V9
Id
1 1 15 3 2 N B N B B D
2 4 16 14 5 H B N B B C
3 1 10 10 5 N K N B B E
4 1 18 18 5 N K N B B E
5 1 13 19 5 N H N B B E
T1_V10 T1_V11 T1_V12 T1_V13 T1_V14 T1_V15 T1_V16 T1_V17 T2_V1 T2_V2
Id
1 7 B B 15 1 A B N 36 11
2 12 B B 10 3 A B Y 78 10
3 12 H B 15 1 A R Y 71 21
4 3 H B 15 1 A R N 71 13
5 7 H B 10 1 A J N 75 10
T2_V3 T2_V4 T2_V5 T2_V6 T2_V7 T2_V8 T2_V9 T2_V10 T2_V11 T2_V12
Id
1 N 10 B 2 37 1 11 6 Y N
2 Y 17 C 2 22 1 18 5 Y Y
3 Y 13 C 6 37 2 14 6 Y Y
4 N 15 A 2 25 1 1 6 Y N
5 Y 11 B 1 22 1 2 7 N N
T2_V13 T2_V14 T2_V15
Id
1 E 2 2
2 E 2 1
3 E 6 1
4 C 2 6
5 E 1 1
==========================
Harzard
[ 1 4 5 7 15 14 8 16 6 11 3 13 2 18 10 17 22 9 21 20 12 19 37 23 28
27 31 38 41 26 33 29 30 25 24 36 51 42 34 46 32 69 40 35 44 39 49 52 63 64]
count 50999
unique 50
top 1
freq 18981
Name: Hazard, dtype: int64
Out[36]:
<matplotlib.axes.AxesSubplot at 0x7f4d8b755290>
Spliting data in categorical and numeric
In [37]:
## Fazendo copia dos dados
train2 = train.copy()
test2 = test.copy()
print "Printing intial train dim:"
print train2.shape
print "Considering Hazard < 21 in train data"
train2 = train2[ train2['Hazard'] < 21]
labels = labels[ labels < 21]
print "Droping columns"
train2.drop('Hazard', axis=1, inplace=True)
train2.drop('T2_V10', axis=1, inplace=True)
train2.drop('T2_V7', axis=1, inplace=True)
train2.drop('T1_V13', axis=1, inplace=True)
train2.drop('T1_V10', axis=1, inplace=True)
test2.drop('T2_V10', axis=1, inplace=True)
test2.drop('T2_V7', axis=1, inplace=True)
test2.drop('T1_V13', axis=1, inplace=True)
test2.drop('T1_V10', axis=1, inplace=True)
print "Printing train dim:"
print train2.shape
print "Printing test dim:"
print test2.shape
columns = train2.columns
test_ind = test2.index
print "Converting to numpy array"
train2 = np.array(train2)
test2 = np.array(test2)
Printing intial train dim:
(50999, 33)
Considering Hazard < 21 in train data
Droping columns
Printing train dim:
(50663, 28)
Printing test dim:
(51000, 28)
Converting to numpy array
In [39]:
lbl = preprocessing.LabelEncoder()
print "Converting string columns to numerical levels"
# label encode the categorical variables
for i in range(train2.shape[1]):
lbl = preprocessing.LabelEncoder()
lbl.fit(list(train2[:,i]) + list(test2[:,i]))
train2[:,i] = lbl.transform(train2[:,i])
test2[:,i] = lbl.transform(test2[:,i])
train2 = train2.astype(float)
test2 = test2.astype(float)
print train2.shape
Converting string columns to numerical levels
(50663, 28)
In [40]:
params = {}
params["objective"] = "count:poisson" # "reg:linear"
params["eta"] = 0.0075
params["min_child_weight"] = 5
params["subsample"] = 0.8
params["colsample_bytree"] = 0.8
params["scale_pos_weight"] = 1.0
params["silent"] = 1
params["booster"] = "gbtree"
params["max_depth"] = 13
plst = list(params.items())
print "Prameters list"
print plst
#Using 5000 rows for early stopping.
offset = 5000
num_rounds = 2000
xgtest = xgb.DMatrix(test2)
#create a train and validation dmatrices
xgtrain = xgb.DMatrix(train2[offset:,:], label=labels[offset:])
xgval = xgb.DMatrix(train2[:offset,:], label=labels[:offset])
print "number of row xgtest"
print xgtest.num_row()
print "number of row xgtrain"
print xgtrain.num_row()
Prameters list
[('colsample_bytree', 0.8), ('silent', 0), ('scale_pos_weight', 1.0), ('min_child_weight', 5), ('subsample', 0.8), ('eta', 0.01), ('objective', 'count:poisson'), ('max_depth', 10), ('booster', 'gbtree')]
number of row xgtest
51000
number of row xgtrain
45663
In [41]:
#train using early stopping and predict
watchlist = [(xgtrain, 'train'),(xgval, 'val')]
model = xgb.train(plst, xgtrain, num_rounds, watchlist, early_stopping_rounds=10)
Will train until val error hasn't decreased in 10 rounds.
[0] train-poisson-nloglik:7.256818 val-poisson-nloglik:7.313910
[1] train-poisson-nloglik:7.136083 val-poisson-nloglik:7.200873
[2] train-poisson-nloglik:7.019101 val-poisson-nloglik:7.092388
[3] train-poisson-nloglik:6.908746 val-poisson-nloglik:6.989448
[4] train-poisson-nloglik:6.801341 val-poisson-nloglik:6.887798
[5] train-poisson-nloglik:6.697664 val-poisson-nloglik:6.792465
[6] train-poisson-nloglik:6.600169 val-poisson-nloglik:6.699606
[7] train-poisson-nloglik:6.504800 val-poisson-nloglik:6.611676
[8] train-poisson-nloglik:6.413119 val-poisson-nloglik:6.526906
[9] train-poisson-nloglik:6.324776 val-poisson-nloglik:6.444369
[10] train-poisson-nloglik:6.239851 val-poisson-nloglik:6.365119
[11] train-poisson-nloglik:6.157726 val-poisson-nloglik:6.289129
[12] train-poisson-nloglik:6.078646 val-poisson-nloglik:6.214311
[13] train-poisson-nloglik:6.002112 val-poisson-nloglik:6.143757
[14] train-poisson-nloglik:5.927172 val-poisson-nloglik:6.074701
[15] train-poisson-nloglik:5.856047 val-poisson-nloglik:6.007656
[16] train-poisson-nloglik:5.786592 val-poisson-nloglik:5.943680
[17] train-poisson-nloglik:5.719761 val-poisson-nloglik:5.881030
[18] train-poisson-nloglik:5.654450 val-poisson-nloglik:5.819817
[19] train-poisson-nloglik:5.590861 val-poisson-nloglik:5.760320
[20] train-poisson-nloglik:5.529067 val-poisson-nloglik:5.702507
[21] train-poisson-nloglik:5.469220 val-poisson-nloglik:5.647433
[22] train-poisson-nloglik:5.410775 val-poisson-nloglik:5.592989
[23] train-poisson-nloglik:5.354553 val-poisson-nloglik:5.540370
[24] train-poisson-nloglik:5.299498 val-poisson-nloglik:5.488842
[25] train-poisson-nloglik:5.246778 val-poisson-nloglik:5.439034
[26] train-poisson-nloglik:5.194321 val-poisson-nloglik:5.390150
[27] train-poisson-nloglik:5.143913 val-poisson-nloglik:5.342590
[28] train-poisson-nloglik:5.094310 val-poisson-nloglik:5.296868
[29] train-poisson-nloglik:5.046082 val-poisson-nloglik:5.252025
[30] train-poisson-nloglik:4.999526 val-poisson-nloglik:5.208153
[31] train-poisson-nloglik:4.953265 val-poisson-nloglik:5.165112
[32] train-poisson-nloglik:4.908385 val-poisson-nloglik:5.123045
[33] train-poisson-nloglik:4.864910 val-poisson-nloglik:5.082106
[34] train-poisson-nloglik:4.822556 val-poisson-nloglik:5.041912
[35] train-poisson-nloglik:4.780541 val-poisson-nloglik:5.002640
[36] train-poisson-nloglik:4.740033 val-poisson-nloglik:4.964665
[37] train-poisson-nloglik:4.700779 val-poisson-nloglik:4.927208
[38] train-poisson-nloglik:4.661816 val-poisson-nloglik:4.890612
[39] train-poisson-nloglik:4.623661 val-poisson-nloglik:4.855069
[40] train-poisson-nloglik:4.587072 val-poisson-nloglik:4.820260
[41] train-poisson-nloglik:4.550554 val-poisson-nloglik:4.786240
[42] train-poisson-nloglik:4.515111 val-poisson-nloglik:4.753000
[43] train-poisson-nloglik:4.480489 val-poisson-nloglik:4.720444
[44] train-poisson-nloglik:4.446224 val-poisson-nloglik:4.688785
[45] train-poisson-nloglik:4.412722 val-poisson-nloglik:4.658177
[46] train-poisson-nloglik:4.379799 val-poisson-nloglik:4.627559
[47] train-poisson-nloglik:4.347922 val-poisson-nloglik:4.597811
[48] train-poisson-nloglik:4.316236 val-poisson-nloglik:4.568704
[49] train-poisson-nloglik:4.285480 val-poisson-nloglik:4.539952
[50] train-poisson-nloglik:4.255600 val-poisson-nloglik:4.511960
[51] train-poisson-nloglik:4.225919 val-poisson-nloglik:4.484915
[52] train-poisson-nloglik:4.197001 val-poisson-nloglik:4.458160
[53] train-poisson-nloglik:4.168402 val-poisson-nloglik:4.432047
[54] train-poisson-nloglik:4.140381 val-poisson-nloglik:4.406617
[55] train-poisson-nloglik:4.112961 val-poisson-nloglik:4.380951
[56] train-poisson-nloglik:4.085969 val-poisson-nloglik:4.356010
[57] train-poisson-nloglik:4.059675 val-poisson-nloglik:4.331986
[58] train-poisson-nloglik:4.033858 val-poisson-nloglik:4.308260
[59] train-poisson-nloglik:4.008524 val-poisson-nloglik:4.285110
[60] train-poisson-nloglik:3.984126 val-poisson-nloglik:4.262211
[61] train-poisson-nloglik:3.959946 val-poisson-nloglik:4.239861
[62] train-poisson-nloglik:3.936138 val-poisson-nloglik:4.217785
[63] train-poisson-nloglik:3.912609 val-poisson-nloglik:4.196112
[64] train-poisson-nloglik:3.889369 val-poisson-nloglik:4.174944
[65] train-poisson-nloglik:3.866704 val-poisson-nloglik:4.154151
[66] train-poisson-nloglik:3.844638 val-poisson-nloglik:4.133507
[67] train-poisson-nloglik:3.823166 val-poisson-nloglik:4.113527
[68] train-poisson-nloglik:3.802007 val-poisson-nloglik:4.093944
[69] train-poisson-nloglik:3.781143 val-poisson-nloglik:4.074702
[70] train-poisson-nloglik:3.760398 val-poisson-nloglik:4.055682
[71] train-poisson-nloglik:3.739836 val-poisson-nloglik:4.037313
[72] train-poisson-nloglik:3.719970 val-poisson-nloglik:4.018693
[73] train-poisson-nloglik:3.700257 val-poisson-nloglik:4.000569
[74] train-poisson-nloglik:3.680708 val-poisson-nloglik:3.982829
[75] train-poisson-nloglik:3.661783 val-poisson-nloglik:3.965133
[76] train-poisson-nloglik:3.643340 val-poisson-nloglik:3.947926
[77] train-poisson-nloglik:3.624852 val-poisson-nloglik:3.931049
[78] train-poisson-nloglik:3.606701 val-poisson-nloglik:3.914358
[79] train-poisson-nloglik:3.588987 val-poisson-nloglik:3.898079
[80] train-poisson-nloglik:3.571752 val-poisson-nloglik:3.881891
[81] train-poisson-nloglik:3.554657 val-poisson-nloglik:3.866239
[82] train-poisson-nloglik:3.537812 val-poisson-nloglik:3.850648
[83] train-poisson-nloglik:3.521203 val-poisson-nloglik:3.835632
[84] train-poisson-nloglik:3.504842 val-poisson-nloglik:3.820932
[85] train-poisson-nloglik:3.488739 val-poisson-nloglik:3.806201
[86] train-poisson-nloglik:3.472769 val-poisson-nloglik:3.791988
[87] train-poisson-nloglik:3.457279 val-poisson-nloglik:3.777715
[88] train-poisson-nloglik:3.441989 val-poisson-nloglik:3.763459
[89] train-poisson-nloglik:3.426948 val-poisson-nloglik:3.749933
[90] train-poisson-nloglik:3.411798 val-poisson-nloglik:3.736557
[91] train-poisson-nloglik:3.397379 val-poisson-nloglik:3.723189
[92] train-poisson-nloglik:3.382659 val-poisson-nloglik:3.710306
[93] train-poisson-nloglik:3.368545 val-poisson-nloglik:3.697142
[94] train-poisson-nloglik:3.354764 val-poisson-nloglik:3.684534
[95] train-poisson-nloglik:3.341161 val-poisson-nloglik:3.671830
[96] train-poisson-nloglik:3.327965 val-poisson-nloglik:3.659512
[97] train-poisson-nloglik:3.314462 val-poisson-nloglik:3.647517
[98] train-poisson-nloglik:3.301202 val-poisson-nloglik:3.635444
[99] train-poisson-nloglik:3.288417 val-poisson-nloglik:3.623517
[100] train-poisson-nloglik:3.275590 val-poisson-nloglik:3.612047
[101] train-poisson-nloglik:3.263096 val-poisson-nloglik:3.600855
[102] train-poisson-nloglik:3.250804 val-poisson-nloglik:3.589404
[103] train-poisson-nloglik:3.238641 val-poisson-nloglik:3.578162
[104] train-poisson-nloglik:3.226660 val-poisson-nloglik:3.567144
[105] train-poisson-nloglik:3.214808 val-poisson-nloglik:3.556314
[106] train-poisson-nloglik:3.203204 val-poisson-nloglik:3.545857
[107] train-poisson-nloglik:3.191684 val-poisson-nloglik:3.535426
[108] train-poisson-nloglik:3.180306 val-poisson-nloglik:3.525080
[109] train-poisson-nloglik:3.169044 val-poisson-nloglik:3.514868
[110] train-poisson-nloglik:3.158038 val-poisson-nloglik:3.505049
[111] train-poisson-nloglik:3.147000 val-poisson-nloglik:3.495215
[112] train-poisson-nloglik:3.136288 val-poisson-nloglik:3.485716
[113] train-poisson-nloglik:3.125533 val-poisson-nloglik:3.476105
[114] train-poisson-nloglik:3.115039 val-poisson-nloglik:3.466719
[115] train-poisson-nloglik:3.104811 val-poisson-nloglik:3.457488
[116] train-poisson-nloglik:3.094806 val-poisson-nloglik:3.448505
[117] train-poisson-nloglik:3.084919 val-poisson-nloglik:3.439574
[118] train-poisson-nloglik:3.075102 val-poisson-nloglik:3.430756
[119] train-poisson-nloglik:3.065662 val-poisson-nloglik:3.422103
[120] train-poisson-nloglik:3.056231 val-poisson-nloglik:3.413581
[121] train-poisson-nloglik:3.046667 val-poisson-nloglik:3.404835
[122] train-poisson-nloglik:3.037119 val-poisson-nloglik:3.396605
[123] train-poisson-nloglik:3.027779 val-poisson-nloglik:3.388203
[124] train-poisson-nloglik:3.018718 val-poisson-nloglik:3.380082
[125] train-poisson-nloglik:3.009620 val-poisson-nloglik:3.372144
[126] train-poisson-nloglik:3.000770 val-poisson-nloglik:3.364002
[127] train-poisson-nloglik:2.991926 val-poisson-nloglik:3.356256
[128] train-poisson-nloglik:2.983356 val-poisson-nloglik:3.348543
[129] train-poisson-nloglik:2.974865 val-poisson-nloglik:3.340957
[130] train-poisson-nloglik:2.966396 val-poisson-nloglik:3.333318
[131] train-poisson-nloglik:2.957783 val-poisson-nloglik:3.325783
[132] train-poisson-nloglik:2.949541 val-poisson-nloglik:3.318460
[133] train-poisson-nloglik:2.941698 val-poisson-nloglik:3.311383
[134] train-poisson-nloglik:2.933868 val-poisson-nloglik:3.304390
[135] train-poisson-nloglik:2.926098 val-poisson-nloglik:3.297491
[136] train-poisson-nloglik:2.918254 val-poisson-nloglik:3.290618
[137] train-poisson-nloglik:2.910538 val-poisson-nloglik:3.283942
[138] train-poisson-nloglik:2.903368 val-poisson-nloglik:3.277306
[139] train-poisson-nloglik:2.895802 val-poisson-nloglik:3.270567
[140] train-poisson-nloglik:2.888283 val-poisson-nloglik:3.263823
[141] train-poisson-nloglik:2.881100 val-poisson-nloglik:3.257428
[142] train-poisson-nloglik:2.873855 val-poisson-nloglik:3.251090
[143] train-poisson-nloglik:2.866779 val-poisson-nloglik:3.244731
[144] train-poisson-nloglik:2.859509 val-poisson-nloglik:3.238655
[145] train-poisson-nloglik:2.852688 val-poisson-nloglik:3.232475
[146] train-poisson-nloglik:2.845767 val-poisson-nloglik:3.226494
[147] train-poisson-nloglik:2.839154 val-poisson-nloglik:3.220510
[148] train-poisson-nloglik:2.832288 val-poisson-nloglik:3.214854
[149] train-poisson-nloglik:2.825486 val-poisson-nloglik:3.209041
[150] train-poisson-nloglik:2.818971 val-poisson-nloglik:3.203349
[151] train-poisson-nloglik:2.812234 val-poisson-nloglik:3.197789
[152] train-poisson-nloglik:2.805570 val-poisson-nloglik:3.192203
[153] train-poisson-nloglik:2.799456 val-poisson-nloglik:3.186731
[154] train-poisson-nloglik:2.793428 val-poisson-nloglik:3.181242
[155] train-poisson-nloglik:2.787092 val-poisson-nloglik:3.175771
[156] train-poisson-nloglik:2.781226 val-poisson-nloglik:3.170404
[157] train-poisson-nloglik:2.775399 val-poisson-nloglik:3.165079
[158] train-poisson-nloglik:2.769727 val-poisson-nloglik:3.159956
[159] train-poisson-nloglik:2.764069 val-poisson-nloglik:3.154871
[160] train-poisson-nloglik:2.758308 val-poisson-nloglik:3.149829
[161] train-poisson-nloglik:2.752763 val-poisson-nloglik:3.144928
[162] train-poisson-nloglik:2.747181 val-poisson-nloglik:3.140156
[163] train-poisson-nloglik:2.741570 val-poisson-nloglik:3.135293
[164] train-poisson-nloglik:2.736077 val-poisson-nloglik:3.130497
[165] train-poisson-nloglik:2.730727 val-poisson-nloglik:3.125741
[166] train-poisson-nloglik:2.725257 val-poisson-nloglik:3.121055
[167] train-poisson-nloglik:2.719985 val-poisson-nloglik:3.116592
[168] train-poisson-nloglik:2.714826 val-poisson-nloglik:3.112141
[169] train-poisson-nloglik:2.709699 val-poisson-nloglik:3.107666
[170] train-poisson-nloglik:2.704552 val-poisson-nloglik:3.103463
[171] train-poisson-nloglik:2.699403 val-poisson-nloglik:3.099144
[172] train-poisson-nloglik:2.694385 val-poisson-nloglik:3.094940
[173] train-poisson-nloglik:2.689625 val-poisson-nloglik:3.090741
[174] train-poisson-nloglik:2.684775 val-poisson-nloglik:3.086586
[175] train-poisson-nloglik:2.680029 val-poisson-nloglik:3.082408
[176] train-poisson-nloglik:2.675207 val-poisson-nloglik:3.078114
[177] train-poisson-nloglik:2.670412 val-poisson-nloglik:3.074080
[178] train-poisson-nloglik:2.665760 val-poisson-nloglik:3.070102
[179] train-poisson-nloglik:2.661229 val-poisson-nloglik:3.066254
[180] train-poisson-nloglik:2.656758 val-poisson-nloglik:3.062457
[181] train-poisson-nloglik:2.652167 val-poisson-nloglik:3.058586
[182] train-poisson-nloglik:2.647707 val-poisson-nloglik:3.054907
[183] train-poisson-nloglik:2.643105 val-poisson-nloglik:3.051013
[184] train-poisson-nloglik:2.638715 val-poisson-nloglik:3.047260
[185] train-poisson-nloglik:2.634382 val-poisson-nloglik:3.043577
[186] train-poisson-nloglik:2.630042 val-poisson-nloglik:3.039990
[187] train-poisson-nloglik:2.625747 val-poisson-nloglik:3.036466
[188] train-poisson-nloglik:2.621610 val-poisson-nloglik:3.032944
[189] train-poisson-nloglik:2.617553 val-poisson-nloglik:3.029523
[190] train-poisson-nloglik:2.613456 val-poisson-nloglik:3.026078
[191] train-poisson-nloglik:2.609326 val-poisson-nloglik:3.022542
[192] train-poisson-nloglik:2.605545 val-poisson-nloglik:3.019116
[193] train-poisson-nloglik:2.601665 val-poisson-nloglik:3.015760
[194] train-poisson-nloglik:2.597855 val-poisson-nloglik:3.012632
[195] train-poisson-nloglik:2.594055 val-poisson-nloglik:3.009346
[196] train-poisson-nloglik:2.590272 val-poisson-nloglik:3.006075
[197] train-poisson-nloglik:2.586587 val-poisson-nloglik:3.003043
[198] train-poisson-nloglik:2.582820 val-poisson-nloglik:2.999733
[199] train-poisson-nloglik:2.579007 val-poisson-nloglik:2.996680
[200] train-poisson-nloglik:2.575325 val-poisson-nloglik:2.993563
[201] train-poisson-nloglik:2.571857 val-poisson-nloglik:2.990488
[202] train-poisson-nloglik:2.568248 val-poisson-nloglik:2.987481
[203] train-poisson-nloglik:2.564879 val-poisson-nloglik:2.984537
[204] train-poisson-nloglik:2.561488 val-poisson-nloglik:2.981611
[205] train-poisson-nloglik:2.558102 val-poisson-nloglik:2.978631
[206] train-poisson-nloglik:2.554650 val-poisson-nloglik:2.975803
[207] train-poisson-nloglik:2.551386 val-poisson-nloglik:2.972980
[208] train-poisson-nloglik:2.548133 val-poisson-nloglik:2.970185
[209] train-poisson-nloglik:2.544748 val-poisson-nloglik:2.967486
[210] train-poisson-nloglik:2.541662 val-poisson-nloglik:2.964908
[211] train-poisson-nloglik:2.538395 val-poisson-nloglik:2.962273
[212] train-poisson-nloglik:2.535229 val-poisson-nloglik:2.959659
[213] train-poisson-nloglik:2.532045 val-poisson-nloglik:2.957039
[214] train-poisson-nloglik:2.528886 val-poisson-nloglik:2.954453
[215] train-poisson-nloglik:2.525785 val-poisson-nloglik:2.951882
[216] train-poisson-nloglik:2.522849 val-poisson-nloglik:2.949290
[217] train-poisson-nloglik:2.519904 val-poisson-nloglik:2.946810
[218] train-poisson-nloglik:2.516803 val-poisson-nloglik:2.944338
[219] train-poisson-nloglik:2.513608 val-poisson-nloglik:2.941915
[220] train-poisson-nloglik:2.510615 val-poisson-nloglik:2.939498
[221] train-poisson-nloglik:2.507772 val-poisson-nloglik:2.937120
[222] train-poisson-nloglik:2.504889 val-poisson-nloglik:2.934759
[223] train-poisson-nloglik:2.502089 val-poisson-nloglik:2.932381
[224] train-poisson-nloglik:2.499389 val-poisson-nloglik:2.930071
[225] train-poisson-nloglik:2.496586 val-poisson-nloglik:2.927890
[226] train-poisson-nloglik:2.493906 val-poisson-nloglik:2.925604
[227] train-poisson-nloglik:2.491379 val-poisson-nloglik:2.923337
[228] train-poisson-nloglik:2.488745 val-poisson-nloglik:2.921089
[229] train-poisson-nloglik:2.486120 val-poisson-nloglik:2.918929
[230] train-poisson-nloglik:2.483497 val-poisson-nloglik:2.916795
[231] train-poisson-nloglik:2.480573 val-poisson-nloglik:2.914503
[232] train-poisson-nloglik:2.478086 val-poisson-nloglik:2.912416
[233] train-poisson-nloglik:2.475468 val-poisson-nloglik:2.910482
[234] train-poisson-nloglik:2.472940 val-poisson-nloglik:2.908481
[235] train-poisson-nloglik:2.470409 val-poisson-nloglik:2.906526
[236] train-poisson-nloglik:2.468038 val-poisson-nloglik:2.904535
[237] train-poisson-nloglik:2.465462 val-poisson-nloglik:2.902628
[238] train-poisson-nloglik:2.462960 val-poisson-nloglik:2.900532
[239] train-poisson-nloglik:2.460565 val-poisson-nloglik:2.898567
[240] train-poisson-nloglik:2.458081 val-poisson-nloglik:2.896660
[241] train-poisson-nloglik:2.455683 val-poisson-nloglik:2.894729
[242] train-poisson-nloglik:2.453317 val-poisson-nloglik:2.892791
[243] train-poisson-nloglik:2.451023 val-poisson-nloglik:2.891006
[244] train-poisson-nloglik:2.448671 val-poisson-nloglik:2.889079
[245] train-poisson-nloglik:2.446290 val-poisson-nloglik:2.887317
[246] train-poisson-nloglik:2.444113 val-poisson-nloglik:2.885494
[247] train-poisson-nloglik:2.441868 val-poisson-nloglik:2.883744
[248] train-poisson-nloglik:2.439669 val-poisson-nloglik:2.882052
[249] train-poisson-nloglik:2.437363 val-poisson-nloglik:2.880352
[250] train-poisson-nloglik:2.435061 val-poisson-nloglik:2.878572
[251] train-poisson-nloglik:2.433113 val-poisson-nloglik:2.876845
[252] train-poisson-nloglik:2.431031 val-poisson-nloglik:2.875167
[253] train-poisson-nloglik:2.429008 val-poisson-nloglik:2.873497
[254] train-poisson-nloglik:2.426933 val-poisson-nloglik:2.871924
[255] train-poisson-nloglik:2.424905 val-poisson-nloglik:2.870374
[256] train-poisson-nloglik:2.422801 val-poisson-nloglik:2.868796
[257] train-poisson-nloglik:2.420811 val-poisson-nloglik:2.867136
[258] train-poisson-nloglik:2.418699 val-poisson-nloglik:2.865551
[259] train-poisson-nloglik:2.416715 val-poisson-nloglik:2.863956
[260] train-poisson-nloglik:2.414718 val-poisson-nloglik:2.862334
[261] train-poisson-nloglik:2.412643 val-poisson-nloglik:2.860806
[262] train-poisson-nloglik:2.410738 val-poisson-nloglik:2.859356
[263] train-poisson-nloglik:2.408843 val-poisson-nloglik:2.857893
[264] train-poisson-nloglik:2.406843 val-poisson-nloglik:2.856513
[265] train-poisson-nloglik:2.405127 val-poisson-nloglik:2.855034
[266] train-poisson-nloglik:2.403220 val-poisson-nloglik:2.853764
[267] train-poisson-nloglik:2.401154 val-poisson-nloglik:2.852371
[268] train-poisson-nloglik:2.399426 val-poisson-nloglik:2.850945
[269] train-poisson-nloglik:2.397497 val-poisson-nloglik:2.849615
[270] train-poisson-nloglik:2.395693 val-poisson-nloglik:2.848356
[271] train-poisson-nloglik:2.393767 val-poisson-nloglik:2.846851
[272] train-poisson-nloglik:2.391928 val-poisson-nloglik:2.845455
[273] train-poisson-nloglik:2.390101 val-poisson-nloglik:2.844120
[274] train-poisson-nloglik:2.388406 val-poisson-nloglik:2.842836
[275] train-poisson-nloglik:2.386580 val-poisson-nloglik:2.841583
[276] train-poisson-nloglik:2.385013 val-poisson-nloglik:2.840331
[277] train-poisson-nloglik:2.383161 val-poisson-nloglik:2.839127
[278] train-poisson-nloglik:2.381570 val-poisson-nloglik:2.837935
[279] train-poisson-nloglik:2.379933 val-poisson-nloglik:2.836662
[280] train-poisson-nloglik:2.378360 val-poisson-nloglik:2.835439
[281] train-poisson-nloglik:2.376865 val-poisson-nloglik:2.834249
[282] train-poisson-nloglik:2.375223 val-poisson-nloglik:2.833148
[283] train-poisson-nloglik:2.373610 val-poisson-nloglik:2.831922
[284] train-poisson-nloglik:2.372002 val-poisson-nloglik:2.830776
[285] train-poisson-nloglik:2.370354 val-poisson-nloglik:2.829611
[286] train-poisson-nloglik:2.368639 val-poisson-nloglik:2.828507
[287] train-poisson-nloglik:2.367094 val-poisson-nloglik:2.827303
[288] train-poisson-nloglik:2.365584 val-poisson-nloglik:2.826209
[289] train-poisson-nloglik:2.363932 val-poisson-nloglik:2.825167
[290] train-poisson-nloglik:2.362499 val-poisson-nloglik:2.824075
[291] train-poisson-nloglik:2.360992 val-poisson-nloglik:2.822958
[292] train-poisson-nloglik:2.359403 val-poisson-nloglik:2.821843
[293] train-poisson-nloglik:2.357898 val-poisson-nloglik:2.820817
[294] train-poisson-nloglik:2.356363 val-poisson-nloglik:2.819715
[295] train-poisson-nloglik:2.354958 val-poisson-nloglik:2.818747
[296] train-poisson-nloglik:2.353374 val-poisson-nloglik:2.817569
[297] train-poisson-nloglik:2.351961 val-poisson-nloglik:2.816540
[298] train-poisson-nloglik:2.350370 val-poisson-nloglik:2.815650
[299] train-poisson-nloglik:2.348964 val-poisson-nloglik:2.814605
[300] train-poisson-nloglik:2.347476 val-poisson-nloglik:2.813674
[301] train-poisson-nloglik:2.346126 val-poisson-nloglik:2.812746
[302] train-poisson-nloglik:2.344542 val-poisson-nloglik:2.811741
[303] train-poisson-nloglik:2.343176 val-poisson-nloglik:2.810826
[304] train-poisson-nloglik:2.341712 val-poisson-nloglik:2.809877
[305] train-poisson-nloglik:2.340428 val-poisson-nloglik:2.808881
[306] train-poisson-nloglik:2.338981 val-poisson-nloglik:2.808000
[307] train-poisson-nloglik:2.337400 val-poisson-nloglik:2.807092
[308] train-poisson-nloglik:2.336104 val-poisson-nloglik:2.806204
[309] train-poisson-nloglik:2.334891 val-poisson-nloglik:2.805244
[310] train-poisson-nloglik:2.333536 val-poisson-nloglik:2.804358
[311] train-poisson-nloglik:2.332345 val-poisson-nloglik:2.803424
[312] train-poisson-nloglik:2.331059 val-poisson-nloglik:2.802589
[313] train-poisson-nloglik:2.329828 val-poisson-nloglik:2.801678
[314] train-poisson-nloglik:2.328395 val-poisson-nloglik:2.800900
[315] train-poisson-nloglik:2.327058 val-poisson-nloglik:2.800060
[316] train-poisson-nloglik:2.325796 val-poisson-nloglik:2.799261
[317] train-poisson-nloglik:2.324540 val-poisson-nloglik:2.798421
[318] train-poisson-nloglik:2.323248 val-poisson-nloglik:2.797525
[319] train-poisson-nloglik:2.321996 val-poisson-nloglik:2.796773
[320] train-poisson-nloglik:2.320897 val-poisson-nloglik:2.796001
[321] train-poisson-nloglik:2.319654 val-poisson-nloglik:2.795219
[322] train-poisson-nloglik:2.318496 val-poisson-nloglik:2.794422
[323] train-poisson-nloglik:2.317335 val-poisson-nloglik:2.793684
[324] train-poisson-nloglik:2.316177 val-poisson-nloglik:2.792904
[325] train-poisson-nloglik:2.314919 val-poisson-nloglik:2.792114
[326] train-poisson-nloglik:2.313727 val-poisson-nloglik:2.791440
[327] train-poisson-nloglik:2.312652 val-poisson-nloglik:2.790704
[328] train-poisson-nloglik:2.311595 val-poisson-nloglik:2.789999
[329] train-poisson-nloglik:2.310390 val-poisson-nloglik:2.789222
[330] train-poisson-nloglik:2.309436 val-poisson-nloglik:2.788549
[331] train-poisson-nloglik:2.308150 val-poisson-nloglik:2.787798
[332] train-poisson-nloglik:2.307014 val-poisson-nloglik:2.787088
[333] train-poisson-nloglik:2.305624 val-poisson-nloglik:2.786195
[334] train-poisson-nloglik:2.304593 val-poisson-nloglik:2.785555
[335] train-poisson-nloglik:2.303565 val-poisson-nloglik:2.784968
[336] train-poisson-nloglik:2.302448 val-poisson-nloglik:2.784206
[337] train-poisson-nloglik:2.301475 val-poisson-nloglik:2.783585
[338] train-poisson-nloglik:2.300390 val-poisson-nloglik:2.782962
[339] train-poisson-nloglik:2.299429 val-poisson-nloglik:2.782233
[340] train-poisson-nloglik:2.298382 val-poisson-nloglik:2.781602
[341] train-poisson-nloglik:2.297340 val-poisson-nloglik:2.780981
[342] train-poisson-nloglik:2.296321 val-poisson-nloglik:2.780367
[343] train-poisson-nloglik:2.295321 val-poisson-nloglik:2.779684
[344] train-poisson-nloglik:2.294197 val-poisson-nloglik:2.779132
[345] train-poisson-nloglik:2.293415 val-poisson-nloglik:2.778501
[346] train-poisson-nloglik:2.292371 val-poisson-nloglik:2.777944
[347] train-poisson-nloglik:2.291451 val-poisson-nloglik:2.777368
[348] train-poisson-nloglik:2.290304 val-poisson-nloglik:2.776761
[349] train-poisson-nloglik:2.289343 val-poisson-nloglik:2.776223
[350] train-poisson-nloglik:2.288301 val-poisson-nloglik:2.775651
[351] train-poisson-nloglik:2.287492 val-poisson-nloglik:2.775012
[352] train-poisson-nloglik:2.286721 val-poisson-nloglik:2.774460
[353] train-poisson-nloglik:2.285785 val-poisson-nloglik:2.773968
[354] train-poisson-nloglik:2.284646 val-poisson-nloglik:2.773351
[355] train-poisson-nloglik:2.283851 val-poisson-nloglik:2.772752
[356] train-poisson-nloglik:2.282725 val-poisson-nloglik:2.772155
[357] train-poisson-nloglik:2.281863 val-poisson-nloglik:2.771547
[358] train-poisson-nloglik:2.280919 val-poisson-nloglik:2.770983
[359] train-poisson-nloglik:2.280168 val-poisson-nloglik:2.770446
[360] train-poisson-nloglik:2.279282 val-poisson-nloglik:2.769886
[361] train-poisson-nloglik:2.278236 val-poisson-nloglik:2.769277
[362] train-poisson-nloglik:2.277205 val-poisson-nloglik:2.768850
[363] train-poisson-nloglik:2.276312 val-poisson-nloglik:2.768257
[364] train-poisson-nloglik:2.275377 val-poisson-nloglik:2.767683
[365] train-poisson-nloglik:2.274378 val-poisson-nloglik:2.767182
[366] train-poisson-nloglik:2.273565 val-poisson-nloglik:2.766672
[367] train-poisson-nloglik:2.272720 val-poisson-nloglik:2.766199
[368] train-poisson-nloglik:2.271896 val-poisson-nloglik:2.765693
[369] train-poisson-nloglik:2.271130 val-poisson-nloglik:2.765225
[370] train-poisson-nloglik:2.270448 val-poisson-nloglik:2.764773
[371] train-poisson-nloglik:2.269488 val-poisson-nloglik:2.764294
[372] train-poisson-nloglik:2.268744 val-poisson-nloglik:2.763857
[373] train-poisson-nloglik:2.267888 val-poisson-nloglik:2.763364
[374] train-poisson-nloglik:2.267076 val-poisson-nloglik:2.762927
[375] train-poisson-nloglik:2.266423 val-poisson-nloglik:2.762490
[376] train-poisson-nloglik:2.265491 val-poisson-nloglik:2.762006
[377] train-poisson-nloglik:2.264517 val-poisson-nloglik:2.761566
[378] train-poisson-nloglik:2.263689 val-poisson-nloglik:2.761131
[379] train-poisson-nloglik:2.262872 val-poisson-nloglik:2.760661
[380] train-poisson-nloglik:2.262147 val-poisson-nloglik:2.760230
[381] train-poisson-nloglik:2.261367 val-poisson-nloglik:2.759740
[382] train-poisson-nloglik:2.260667 val-poisson-nloglik:2.759315
[383] train-poisson-nloglik:2.259903 val-poisson-nloglik:2.758943
[384] train-poisson-nloglik:2.259046 val-poisson-nloglik:2.758558
[385] train-poisson-nloglik:2.258317 val-poisson-nloglik:2.758064
[386] train-poisson-nloglik:2.257696 val-poisson-nloglik:2.757640
[387] train-poisson-nloglik:2.256890 val-poisson-nloglik:2.757187
[388] train-poisson-nloglik:2.256192 val-poisson-nloglik:2.756754
[389] train-poisson-nloglik:2.255667 val-poisson-nloglik:2.756372
[390] train-poisson-nloglik:2.254835 val-poisson-nloglik:2.755988
[391] train-poisson-nloglik:2.254073 val-poisson-nloglik:2.755624
[392] train-poisson-nloglik:2.253272 val-poisson-nloglik:2.755222
[393] train-poisson-nloglik:2.252560 val-poisson-nloglik:2.754802
[394] train-poisson-nloglik:2.252035 val-poisson-nloglik:2.754434
[395] train-poisson-nloglik:2.251431 val-poisson-nloglik:2.754024
[396] train-poisson-nloglik:2.250746 val-poisson-nloglik:2.753628
[397] train-poisson-nloglik:2.249887 val-poisson-nloglik:2.753325
[398] train-poisson-nloglik:2.249152 val-poisson-nloglik:2.752928
[399] train-poisson-nloglik:2.248474 val-poisson-nloglik:2.752624
[400] train-poisson-nloglik:2.247722 val-poisson-nloglik:2.752260
[401] train-poisson-nloglik:2.246972 val-poisson-nloglik:2.751926
[402] train-poisson-nloglik:2.246415 val-poisson-nloglik:2.751658
[403] train-poisson-nloglik:2.245675 val-poisson-nloglik:2.751280
[404] train-poisson-nloglik:2.244822 val-poisson-nloglik:2.750935
[405] train-poisson-nloglik:2.244212 val-poisson-nloglik:2.750628
[406] train-poisson-nloglik:2.243444 val-poisson-nloglik:2.750368
[407] train-poisson-nloglik:2.242648 val-poisson-nloglik:2.749977
[408] train-poisson-nloglik:2.242014 val-poisson-nloglik:2.749644
[409] train-poisson-nloglik:2.241331 val-poisson-nloglik:2.749312
[410] train-poisson-nloglik:2.240654 val-poisson-nloglik:2.749024
[411] train-poisson-nloglik:2.239757 val-poisson-nloglik:2.748689
[412] train-poisson-nloglik:2.239108 val-poisson-nloglik:2.748384
[413] train-poisson-nloglik:2.238492 val-poisson-nloglik:2.748078
[414] train-poisson-nloglik:2.237988 val-poisson-nloglik:2.747715
[415] train-poisson-nloglik:2.237298 val-poisson-nloglik:2.747453
[416] train-poisson-nloglik:2.236646 val-poisson-nloglik:2.747171
[417] train-poisson-nloglik:2.236041 val-poisson-nloglik:2.746840
[418] train-poisson-nloglik:2.235306 val-poisson-nloglik:2.746572
[419] train-poisson-nloglik:2.234665 val-poisson-nloglik:2.746242
[420] train-poisson-nloglik:2.234154 val-poisson-nloglik:2.745987
[421] train-poisson-nloglik:2.233516 val-poisson-nloglik:2.745711
[422] train-poisson-nloglik:2.232831 val-poisson-nloglik:2.745458
[423] train-poisson-nloglik:2.232299 val-poisson-nloglik:2.745173
[424] train-poisson-nloglik:2.231791 val-poisson-nloglik:2.744886
[425] train-poisson-nloglik:2.231266 val-poisson-nloglik:2.744620
[426] train-poisson-nloglik:2.230484 val-poisson-nloglik:2.744323
[427] train-poisson-nloglik:2.229743 val-poisson-nloglik:2.744093
[428] train-poisson-nloglik:2.229150 val-poisson-nloglik:2.743754
[429] train-poisson-nloglik:2.228522 val-poisson-nloglik:2.743555
[430] train-poisson-nloglik:2.227894 val-poisson-nloglik:2.743288
[431] train-poisson-nloglik:2.227114 val-poisson-nloglik:2.743047
[432] train-poisson-nloglik:2.226506 val-poisson-nloglik:2.742796
[433] train-poisson-nloglik:2.225960 val-poisson-nloglik:2.742540
[434] train-poisson-nloglik:2.225512 val-poisson-nloglik:2.742250
[435] train-poisson-nloglik:2.224823 val-poisson-nloglik:2.741943
[436] train-poisson-nloglik:2.224281 val-poisson-nloglik:2.741694
[437] train-poisson-nloglik:2.223696 val-poisson-nloglik:2.741432
[438] train-poisson-nloglik:2.223057 val-poisson-nloglik:2.741220
[439] train-poisson-nloglik:2.222622 val-poisson-nloglik:2.740979
[440] train-poisson-nloglik:2.222045 val-poisson-nloglik:2.740773
[441] train-poisson-nloglik:2.221324 val-poisson-nloglik:2.740553
[442] train-poisson-nloglik:2.220590 val-poisson-nloglik:2.740263
[443] train-poisson-nloglik:2.219965 val-poisson-nloglik:2.739988
[444] train-poisson-nloglik:2.219563 val-poisson-nloglik:2.739747
[445] train-poisson-nloglik:2.218982 val-poisson-nloglik:2.739457
[446] train-poisson-nloglik:2.218501 val-poisson-nloglik:2.739226
[447] train-poisson-nloglik:2.217916 val-poisson-nloglik:2.738983
[448] train-poisson-nloglik:2.217475 val-poisson-nloglik:2.738727
[449] train-poisson-nloglik:2.216971 val-poisson-nloglik:2.738547
[450] train-poisson-nloglik:2.216555 val-poisson-nloglik:2.738362
[451] train-poisson-nloglik:2.215966 val-poisson-nloglik:2.738137
[452] train-poisson-nloglik:2.215492 val-poisson-nloglik:2.737889
[453] train-poisson-nloglik:2.214911 val-poisson-nloglik:2.737688
[454] train-poisson-nloglik:2.214208 val-poisson-nloglik:2.737536
[455] train-poisson-nloglik:2.213659 val-poisson-nloglik:2.737329
[456] train-poisson-nloglik:2.213190 val-poisson-nloglik:2.737117
[457] train-poisson-nloglik:2.212647 val-poisson-nloglik:2.736872
[458] train-poisson-nloglik:2.212283 val-poisson-nloglik:2.736645
[459] train-poisson-nloglik:2.211726 val-poisson-nloglik:2.736468
[460] train-poisson-nloglik:2.211356 val-poisson-nloglik:2.736281
[461] train-poisson-nloglik:2.210831 val-poisson-nloglik:2.736082
[462] train-poisson-nloglik:2.210368 val-poisson-nloglik:2.735868
[463] train-poisson-nloglik:2.209812 val-poisson-nloglik:2.735687
[464] train-poisson-nloglik:2.209374 val-poisson-nloglik:2.735507
[465] train-poisson-nloglik:2.209066 val-poisson-nloglik:2.735347
[466] train-poisson-nloglik:2.208577 val-poisson-nloglik:2.735135
[467] train-poisson-nloglik:2.207940 val-poisson-nloglik:2.734992
[468] train-poisson-nloglik:2.207490 val-poisson-nloglik:2.734781
[469] train-poisson-nloglik:2.206988 val-poisson-nloglik:2.734607
[470] train-poisson-nloglik:2.206505 val-poisson-nloglik:2.734413
[471] train-poisson-nloglik:2.205892 val-poisson-nloglik:2.734265
[472] train-poisson-nloglik:2.205485 val-poisson-nloglik:2.734098
[473] train-poisson-nloglik:2.204871 val-poisson-nloglik:2.734002
[474] train-poisson-nloglik:2.204256 val-poisson-nloglik:2.733899
[475] train-poisson-nloglik:2.203814 val-poisson-nloglik:2.733744
[476] train-poisson-nloglik:2.203295 val-poisson-nloglik:2.733608
[477] train-poisson-nloglik:2.202826 val-poisson-nloglik:2.733426
[478] train-poisson-nloglik:2.202174 val-poisson-nloglik:2.733258
[479] train-poisson-nloglik:2.201757 val-poisson-nloglik:2.733082
[480] train-poisson-nloglik:2.201276 val-poisson-nloglik:2.732863
[481] train-poisson-nloglik:2.200670 val-poisson-nloglik:2.732730
[482] train-poisson-nloglik:2.200366 val-poisson-nloglik:2.732534
[483] train-poisson-nloglik:2.199840 val-poisson-nloglik:2.732400
[484] train-poisson-nloglik:2.199532 val-poisson-nloglik:2.732223
[485] train-poisson-nloglik:2.199240 val-poisson-nloglik:2.732077
[486] train-poisson-nloglik:2.198659 val-poisson-nloglik:2.731944
[487] train-poisson-nloglik:2.198215 val-poisson-nloglik:2.731804
[488] train-poisson-nloglik:2.197846 val-poisson-nloglik:2.731714
[489] train-poisson-nloglik:2.197460 val-poisson-nloglik:2.731529
[490] train-poisson-nloglik:2.197028 val-poisson-nloglik:2.731390
[491] train-poisson-nloglik:2.196497 val-poisson-nloglik:2.731217
[492] train-poisson-nloglik:2.196049 val-poisson-nloglik:2.731049
[493] train-poisson-nloglik:2.195653 val-poisson-nloglik:2.730876
[494] train-poisson-nloglik:2.195188 val-poisson-nloglik:2.730744
[495] train-poisson-nloglik:2.194846 val-poisson-nloglik:2.730660
[496] train-poisson-nloglik:2.194568 val-poisson-nloglik:2.730520
[497] train-poisson-nloglik:2.194153 val-poisson-nloglik:2.730426
[498] train-poisson-nloglik:2.193634 val-poisson-nloglik:2.730308
[499] train-poisson-nloglik:2.193073 val-poisson-nloglik:2.730143
[500] train-poisson-nloglik:2.192617 val-poisson-nloglik:2.730027
[501] train-poisson-nloglik:2.192122 val-poisson-nloglik:2.729924
[502] train-poisson-nloglik:2.191604 val-poisson-nloglik:2.729785
[503] train-poisson-nloglik:2.191242 val-poisson-nloglik:2.729676
[504] train-poisson-nloglik:2.190753 val-poisson-nloglik:2.729555
[505] train-poisson-nloglik:2.190354 val-poisson-nloglik:2.729448
[506] train-poisson-nloglik:2.189934 val-poisson-nloglik:2.729388
[507] train-poisson-nloglik:2.189561 val-poisson-nloglik:2.729293
[508] train-poisson-nloglik:2.189108 val-poisson-nloglik:2.729169
[509] train-poisson-nloglik:2.188783 val-poisson-nloglik:2.729075
[510] train-poisson-nloglik:2.188345 val-poisson-nloglik:2.728917
[511] train-poisson-nloglik:2.188018 val-poisson-nloglik:2.728781
[512] train-poisson-nloglik:2.187505 val-poisson-nloglik:2.728715
[513] train-poisson-nloglik:2.186972 val-poisson-nloglik:2.728606
[514] train-poisson-nloglik:2.186745 val-poisson-nloglik:2.728483
[515] train-poisson-nloglik:2.186431 val-poisson-nloglik:2.728413
[516] train-poisson-nloglik:2.185948 val-poisson-nloglik:2.728267
[517] train-poisson-nloglik:2.185501 val-poisson-nloglik:2.728172
[518] train-poisson-nloglik:2.185048 val-poisson-nloglik:2.728078
[519] train-poisson-nloglik:2.184648 val-poisson-nloglik:2.727947
[520] train-poisson-nloglik:2.184198 val-poisson-nloglik:2.727849
[521] train-poisson-nloglik:2.183780 val-poisson-nloglik:2.727700
[522] train-poisson-nloglik:2.183352 val-poisson-nloglik:2.727543
[523] train-poisson-nloglik:2.182997 val-poisson-nloglik:2.727455
[524] train-poisson-nloglik:2.182285 val-poisson-nloglik:2.727389
[525] train-poisson-nloglik:2.181824 val-poisson-nloglik:2.727359
[526] train-poisson-nloglik:2.181410 val-poisson-nloglik:2.727295
[527] train-poisson-nloglik:2.181064 val-poisson-nloglik:2.727180
[528] train-poisson-nloglik:2.180729 val-poisson-nloglik:2.727086
[529] train-poisson-nloglik:2.180230 val-poisson-nloglik:2.726956
[530] train-poisson-nloglik:2.179789 val-poisson-nloglik:2.726812
[531] train-poisson-nloglik:2.179378 val-poisson-nloglik:2.726732
[532] train-poisson-nloglik:2.179037 val-poisson-nloglik:2.726668
[533] train-poisson-nloglik:2.178686 val-poisson-nloglik:2.726593
[534] train-poisson-nloglik:2.178219 val-poisson-nloglik:2.726505
[535] train-poisson-nloglik:2.177665 val-poisson-nloglik:2.726389
[536] train-poisson-nloglik:2.177197 val-poisson-nloglik:2.726294
[537] train-poisson-nloglik:2.176821 val-poisson-nloglik:2.726187
[538] train-poisson-nloglik:2.176595 val-poisson-nloglik:2.726115
[539] train-poisson-nloglik:2.176255 val-poisson-nloglik:2.726011
[540] train-poisson-nloglik:2.175930 val-poisson-nloglik:2.725927
[541] train-poisson-nloglik:2.175532 val-poisson-nloglik:2.725815
[542] train-poisson-nloglik:2.175195 val-poisson-nloglik:2.725716
[543] train-poisson-nloglik:2.174791 val-poisson-nloglik:2.725685
[544] train-poisson-nloglik:2.174319 val-poisson-nloglik:2.725595
[545] train-poisson-nloglik:2.173922 val-poisson-nloglik:2.725471
[546] train-poisson-nloglik:2.173453 val-poisson-nloglik:2.725396
[547] train-poisson-nloglik:2.173254 val-poisson-nloglik:2.725296
[548] train-poisson-nloglik:2.172728 val-poisson-nloglik:2.725232
[549] train-poisson-nloglik:2.172352 val-poisson-nloglik:2.725152
[550] train-poisson-nloglik:2.171871 val-poisson-nloglik:2.725049
[551] train-poisson-nloglik:2.171502 val-poisson-nloglik:2.724982
[552] train-poisson-nloglik:2.171046 val-poisson-nloglik:2.724805
[553] train-poisson-nloglik:2.170704 val-poisson-nloglik:2.724674
[554] train-poisson-nloglik:2.170489 val-poisson-nloglik:2.724553
[555] train-poisson-nloglik:2.169890 val-poisson-nloglik:2.724500
[556] train-poisson-nloglik:2.169623 val-poisson-nloglik:2.724459
[557] train-poisson-nloglik:2.169171 val-poisson-nloglik:2.724421
[558] train-poisson-nloglik:2.168758 val-poisson-nloglik:2.724307
[559] train-poisson-nloglik:2.168429 val-poisson-nloglik:2.724243
[560] train-poisson-nloglik:2.168015 val-poisson-nloglik:2.724148
[561] train-poisson-nloglik:2.167634 val-poisson-nloglik:2.724044
[562] train-poisson-nloglik:2.167215 val-poisson-nloglik:2.723995
[563] train-poisson-nloglik:2.166865 val-poisson-nloglik:2.723977
[564] train-poisson-nloglik:2.166422 val-poisson-nloglik:2.723916
[565] train-poisson-nloglik:2.166130 val-poisson-nloglik:2.723820
[566] train-poisson-nloglik:2.165937 val-poisson-nloglik:2.723747
[567] train-poisson-nloglik:2.165613 val-poisson-nloglik:2.723634
[568] train-poisson-nloglik:2.165250 val-poisson-nloglik:2.723536
[569] train-poisson-nloglik:2.164939 val-poisson-nloglik:2.723424
[570] train-poisson-nloglik:2.164574 val-poisson-nloglik:2.723411
[571] train-poisson-nloglik:2.164135 val-poisson-nloglik:2.723335
[572] train-poisson-nloglik:2.163715 val-poisson-nloglik:2.723294
[573] train-poisson-nloglik:2.163481 val-poisson-nloglik:2.723238
[574] train-poisson-nloglik:2.163112 val-poisson-nloglik:2.723195
[575] train-poisson-nloglik:2.162729 val-poisson-nloglik:2.723137
[576] train-poisson-nloglik:2.162215 val-poisson-nloglik:2.722999
[577] train-poisson-nloglik:2.161919 val-poisson-nloglik:2.722954
[578] train-poisson-nloglik:2.161419 val-poisson-nloglik:2.722853
[579] train-poisson-nloglik:2.161040 val-poisson-nloglik:2.722774
[580] train-poisson-nloglik:2.160662 val-poisson-nloglik:2.722715
[581] train-poisson-nloglik:2.160297 val-poisson-nloglik:2.722649
[582] train-poisson-nloglik:2.160070 val-poisson-nloglik:2.722541
[583] train-poisson-nloglik:2.159701 val-poisson-nloglik:2.722498
[584] train-poisson-nloglik:2.159446 val-poisson-nloglik:2.722435
[585] train-poisson-nloglik:2.159089 val-poisson-nloglik:2.722427
[586] train-poisson-nloglik:2.158897 val-poisson-nloglik:2.722388
[587] train-poisson-nloglik:2.158674 val-poisson-nloglik:2.722306
[588] train-poisson-nloglik:2.158385 val-poisson-nloglik:2.722228
[589] train-poisson-nloglik:2.158022 val-poisson-nloglik:2.722160
[590] train-poisson-nloglik:2.157681 val-poisson-nloglik:2.722155
[591] train-poisson-nloglik:2.157268 val-poisson-nloglik:2.722031
[592] train-poisson-nloglik:2.156996 val-poisson-nloglik:2.721978
[593] train-poisson-nloglik:2.156551 val-poisson-nloglik:2.722035
[594] train-poisson-nloglik:2.156223 val-poisson-nloglik:2.721963
[595] train-poisson-nloglik:2.155852 val-poisson-nloglik:2.721910
[596] train-poisson-nloglik:2.155453 val-poisson-nloglik:2.721842
[597] train-poisson-nloglik:2.155100 val-poisson-nloglik:2.721749
[598] train-poisson-nloglik:2.154614 val-poisson-nloglik:2.721800
[599] train-poisson-nloglik:2.154237 val-poisson-nloglik:2.721704
[600] train-poisson-nloglik:2.153861 val-poisson-nloglik:2.721645
[601] train-poisson-nloglik:2.153303 val-poisson-nloglik:2.721637
[602] train-poisson-nloglik:2.152972 val-poisson-nloglik:2.721593
[603] train-poisson-nloglik:2.152704 val-poisson-nloglik:2.721526
[604] train-poisson-nloglik:2.152195 val-poisson-nloglik:2.721510
[605] train-poisson-nloglik:2.151804 val-poisson-nloglik:2.721440
[606] train-poisson-nloglik:2.151513 val-poisson-nloglik:2.721408
[607] train-poisson-nloglik:2.151218 val-poisson-nloglik:2.721333
[608] train-poisson-nloglik:2.150896 val-poisson-nloglik:2.721301
[609] train-poisson-nloglik:2.150691 val-poisson-nloglik:2.721249
[610] train-poisson-nloglik:2.150425 val-poisson-nloglik:2.721220
[611] train-poisson-nloglik:2.150085 val-poisson-nloglik:2.721116
[612] train-poisson-nloglik:2.149760 val-poisson-nloglik:2.721071
[613] train-poisson-nloglik:2.149310 val-poisson-nloglik:2.721048
[614] train-poisson-nloglik:2.148804 val-poisson-nloglik:2.720903
[615] train-poisson-nloglik:2.148433 val-poisson-nloglik:2.720912
[616] train-poisson-nloglik:2.148032 val-poisson-nloglik:2.720893
[617] train-poisson-nloglik:2.147807 val-poisson-nloglik:2.720866
[618] train-poisson-nloglik:2.147408 val-poisson-nloglik:2.720819
[619] train-poisson-nloglik:2.147121 val-poisson-nloglik:2.720757
[620] train-poisson-nloglik:2.146849 val-poisson-nloglik:2.720624
[621] train-poisson-nloglik:2.146432 val-poisson-nloglik:2.720590
[622] train-poisson-nloglik:2.146096 val-poisson-nloglik:2.720570
[623] train-poisson-nloglik:2.145682 val-poisson-nloglik:2.720532
[624] train-poisson-nloglik:2.145432 val-poisson-nloglik:2.720448
[625] train-poisson-nloglik:2.145070 val-poisson-nloglik:2.720415
[626] train-poisson-nloglik:2.144716 val-poisson-nloglik:2.720444
[627] train-poisson-nloglik:2.144469 val-poisson-nloglik:2.720419
[628] train-poisson-nloglik:2.144166 val-poisson-nloglik:2.720408
[629] train-poisson-nloglik:2.143898 val-poisson-nloglik:2.720392
[630] train-poisson-nloglik:2.143649 val-poisson-nloglik:2.720344
[631] train-poisson-nloglik:2.143329 val-poisson-nloglik:2.720345
[632] train-poisson-nloglik:2.142987 val-poisson-nloglik:2.720278
[633] train-poisson-nloglik:2.142611 val-poisson-nloglik:2.720249
[634] train-poisson-nloglik:2.142326 val-poisson-nloglik:2.720201
[635] train-poisson-nloglik:2.142079 val-poisson-nloglik:2.720162
[636] train-poisson-nloglik:2.141638 val-poisson-nloglik:2.720037
[637] train-poisson-nloglik:2.141404 val-poisson-nloglik:2.719989
[638] train-poisson-nloglik:2.141107 val-poisson-nloglik:2.719952
[639] train-poisson-nloglik:2.140694 val-poisson-nloglik:2.719934
[640] train-poisson-nloglik:2.140453 val-poisson-nloglik:2.719890
[641] train-poisson-nloglik:2.140130 val-poisson-nloglik:2.719874
[642] train-poisson-nloglik:2.139728 val-poisson-nloglik:2.719839
[643] train-poisson-nloglik:2.139426 val-poisson-nloglik:2.719768
[644] train-poisson-nloglik:2.139071 val-poisson-nloglik:2.719662
[645] train-poisson-nloglik:2.138702 val-poisson-nloglik:2.719651
[646] train-poisson-nloglik:2.138240 val-poisson-nloglik:2.719608
[647] train-poisson-nloglik:2.138033 val-poisson-nloglik:2.719577
[648] train-poisson-nloglik:2.137920 val-poisson-nloglik:2.719532
[649] train-poisson-nloglik:2.137581 val-poisson-nloglik:2.719477
[650] train-poisson-nloglik:2.137250 val-poisson-nloglik:2.719513
[651] train-poisson-nloglik:2.137021 val-poisson-nloglik:2.719460
[652] train-poisson-nloglik:2.136621 val-poisson-nloglik:2.719467
[653] train-poisson-nloglik:2.136273 val-poisson-nloglik:2.719464
[654] train-poisson-nloglik:2.135944 val-poisson-nloglik:2.719445
[655] train-poisson-nloglik:2.135559 val-poisson-nloglik:2.719419
[656] train-poisson-nloglik:2.135205 val-poisson-nloglik:2.719391
[657] train-poisson-nloglik:2.134924 val-poisson-nloglik:2.719423
[658] train-poisson-nloglik:2.134522 val-poisson-nloglik:2.719353
[659] train-poisson-nloglik:2.134077 val-poisson-nloglik:2.719292
[660] train-poisson-nloglik:2.133894 val-poisson-nloglik:2.719218
[661] train-poisson-nloglik:2.133472 val-poisson-nloglik:2.719156
[662] train-poisson-nloglik:2.133193 val-poisson-nloglik:2.719128
[663] train-poisson-nloglik:2.132820 val-poisson-nloglik:2.719076
[664] train-poisson-nloglik:2.132453 val-poisson-nloglik:2.719070
[665] train-poisson-nloglik:2.132143 val-poisson-nloglik:2.719043
[666] train-poisson-nloglik:2.131683 val-poisson-nloglik:2.719012
[667] train-poisson-nloglik:2.131542 val-poisson-nloglik:2.719012
[668] train-poisson-nloglik:2.131211 val-poisson-nloglik:2.719002
[669] train-poisson-nloglik:2.130907 val-poisson-nloglik:2.718978
[670] train-poisson-nloglik:2.130475 val-poisson-nloglik:2.718850
[671] train-poisson-nloglik:2.130142 val-poisson-nloglik:2.718745
[672] train-poisson-nloglik:2.129890 val-poisson-nloglik:2.718683
[673] train-poisson-nloglik:2.129584 val-poisson-nloglik:2.718672
[674] train-poisson-nloglik:2.129297 val-poisson-nloglik:2.718591
[675] train-poisson-nloglik:2.129092 val-poisson-nloglik:2.718593
[676] train-poisson-nloglik:2.128620 val-poisson-nloglik:2.718486
[677] train-poisson-nloglik:2.128256 val-poisson-nloglik:2.718482
[678] train-poisson-nloglik:2.127958 val-poisson-nloglik:2.718400
[679] train-poisson-nloglik:2.127664 val-poisson-nloglik:2.718372
[680] train-poisson-nloglik:2.127187 val-poisson-nloglik:2.718260
[681] train-poisson-nloglik:2.126752 val-poisson-nloglik:2.718206
[682] train-poisson-nloglik:2.126460 val-poisson-nloglik:2.718265
[683] train-poisson-nloglik:2.126173 val-poisson-nloglik:2.718237
[684] train-poisson-nloglik:2.125834 val-poisson-nloglik:2.718229
[685] train-poisson-nloglik:2.125541 val-poisson-nloglik:2.718289
[686] train-poisson-nloglik:2.125186 val-poisson-nloglik:2.718251
[687] train-poisson-nloglik:2.124820 val-poisson-nloglik:2.718212
[688] train-poisson-nloglik:2.124476 val-poisson-nloglik:2.718201
[689] train-poisson-nloglik:2.124112 val-poisson-nloglik:2.718213
[690] train-poisson-nloglik:2.123944 val-poisson-nloglik:2.718150
[691] train-poisson-nloglik:2.123581 val-poisson-nloglik:2.718121
[692] train-poisson-nloglik:2.123226 val-poisson-nloglik:2.718096
[693] train-poisson-nloglik:2.122984 val-poisson-nloglik:2.718054
[694] train-poisson-nloglik:2.122615 val-poisson-nloglik:2.718098
[695] train-poisson-nloglik:2.122338 val-poisson-nloglik:2.718102
[696] train-poisson-nloglik:2.121937 val-poisson-nloglik:2.718134
[697] train-poisson-nloglik:2.121584 val-poisson-nloglik:2.718107
[698] train-poisson-nloglik:2.121163 val-poisson-nloglik:2.718102
[699] train-poisson-nloglik:2.120872 val-poisson-nloglik:2.718066
[700] train-poisson-nloglik:2.120672 val-poisson-nloglik:2.718081
[701] train-poisson-nloglik:2.120339 val-poisson-nloglik:2.718076
[702] train-poisson-nloglik:2.120034 val-poisson-nloglik:2.718084
[703] train-poisson-nloglik:2.119805 val-poisson-nloglik:2.718091
Stopping. Best iteration:
[693] train-poisson-nloglik:2.122984 val-poisson-nloglik:2.718054
In [31]:
## importance: f15,
xgb.plot_importance(model)
Out[31]:
<matplotlib.axes.AxesSubplot at 0x7fa28ad44e10>
In [42]:
preds1 = model.predict(xgtest)
print preds1
# generate solution file
preds = pd.DataFrame({"Id": test_ind, "Hazard": preds1})
preds = preds.set_index('Id')
preds.to_csv('xgboost_dev20150823.csv')
%pwd
[ 2.33659577 5.56313705 6.89171028 ..., 3.97045898 3.60377049
3.12126994]
Out[42]:
u'/home/leandroohf/Documents/kaggle/Liberty_Mutual_Group_Property_Inspection_Prediction/dev'
Content source: leandroohf/Public_Liberty_Mutual_Group_Property_Inspection_Prediction
Similar notebooks: