Testing work with categorical columns

Considerei apenas algumas Hazard < 21 E mantive demais parametros.

kaglle score: 0.384972 nlogik: 2.718054 Meu melhor kaglle score: 0.3850


In [36]:
import pandas as pd
import numpy as np 
from sklearn import preprocessing
import xgboost as xgb

#load train and test 
train  = pd.read_csv('../data/raw/train.csv', index_col=0)
test   = pd.read_csv('../data/raw/test.csv', index_col=0)

print train.shape
## XXX Parece BUG head() nao mostra a ultimas colunas: 10,20,30
## Entao eu tive que duplicar para imprimir todas as colunas
print train.iloc[:,0:10].head()
print train.iloc[:,10:20].head()
print train.iloc[:,20:30].head()
print train.iloc[:,30:33].head()
print "=========================="

labels = train.Hazard
#train.drop('Hazard', axis=1, inplace=True)
print "Harzard"
print labels.unique()
print labels.astype('category').describe()
#print labels.value_counts()
%matplotlib inline
labels.hist(bins=69)


(50999, 33)
    Hazard  T1_V1  T1_V2  T1_V3 T1_V4 T1_V5 T1_V6 T1_V7 T1_V8 T1_V9
Id                                                                 
1        1     15      3      2     N     B     N     B     B     D
2        4     16     14      5     H     B     N     B     B     C
3        1     10     10      5     N     K     N     B     B     E
4        1     18     18      5     N     K     N     B     B     E
5        1     13     19      5     N     H     N     B     B     E
    T1_V10 T1_V11 T1_V12  T1_V13  T1_V14 T1_V15 T1_V16 T1_V17  T2_V1  T2_V2
Id                                                                         
1        7      B      B      15       1      A      B      N     36     11
2       12      B      B      10       3      A      B      Y     78     10
3       12      H      B      15       1      A      R      Y     71     21
4        3      H      B      15       1      A      R      N     71     13
5        7      H      B      10       1      A      J      N     75     10
   T2_V3  T2_V4 T2_V5  T2_V6  T2_V7  T2_V8  T2_V9  T2_V10 T2_V11 T2_V12
Id                                                                     
1      N     10     B      2     37      1     11       6      Y      N
2      Y     17     C      2     22      1     18       5      Y      Y
3      Y     13     C      6     37      2     14       6      Y      Y
4      N     15     A      2     25      1      1       6      Y      N
5      Y     11     B      1     22      1      2       7      N      N
   T2_V13  T2_V14  T2_V15
Id                       
1       E       2       2
2       E       2       1
3       E       6       1
4       C       2       6
5       E       1       1
==========================
Harzard
[ 1  4  5  7 15 14  8 16  6 11  3 13  2 18 10 17 22  9 21 20 12 19 37 23 28
 27 31 38 41 26 33 29 30 25 24 36 51 42 34 46 32 69 40 35 44 39 49 52 63 64]
count     50999
unique       50
top           1
freq      18981
Name: Hazard, dtype: int64
Out[36]:
<matplotlib.axes.AxesSubplot at 0x7f4d8b755290>

Spliting data in categorical and numeric

Prepaing training data


In [37]:
## Fazendo copia dos dados
train2 = train.copy()
test2 = test.copy()

print "Printing intial train dim:"
print train2.shape
print "Considering Hazard < 21 in train data"

train2 = train2[ train2['Hazard'] < 21]
labels = labels[ labels < 21]

print "Droping columns"

train2.drop('Hazard', axis=1, inplace=True)
train2.drop('T2_V10', axis=1, inplace=True)
train2.drop('T2_V7', axis=1, inplace=True)
train2.drop('T1_V13', axis=1, inplace=True)
train2.drop('T1_V10', axis=1, inplace=True)

test2.drop('T2_V10', axis=1, inplace=True)
test2.drop('T2_V7', axis=1, inplace=True)
test2.drop('T1_V13', axis=1, inplace=True)
test2.drop('T1_V10', axis=1, inplace=True)

print "Printing train dim:"
print train2.shape
print "Printing test dim:"
print test2.shape


columns = train2.columns
test_ind = test2.index

print "Converting to numpy array"

train2 = np.array(train2)
test2 = np.array(test2)


Printing intial train dim:
(50999, 33)
Considering Hazard < 21 in train data
Droping columns
Printing train dim:
(50663, 28)
Printing test dim:
(51000, 28)
Converting to numpy array

Seting model parameters


In [39]:
lbl = preprocessing.LabelEncoder()

print "Converting string columns to numerical levels"
# label encode the categorical variables
for i in range(train2.shape[1]):
    lbl = preprocessing.LabelEncoder()
    lbl.fit(list(train2[:,i]) + list(test2[:,i]))
    train2[:,i] = lbl.transform(train2[:,i])
    test2[:,i] = lbl.transform(test2[:,i])

train2 = train2.astype(float)
test2 = test2.astype(float)

print train2.shape


Converting string columns to numerical levels
(50663, 28)

In [40]:
params = {}
params["objective"] = "count:poisson" # "reg:linear" 
params["eta"] = 0.0075
params["min_child_weight"] = 5
params["subsample"] = 0.8
params["colsample_bytree"] = 0.8
params["scale_pos_weight"] = 1.0
params["silent"] = 1
params["booster"] = "gbtree"
params["max_depth"] = 13

plst = list(params.items())
print "Prameters list"
print plst

#Using 5000 rows for early stopping. 
offset = 5000

num_rounds = 2000
xgtest = xgb.DMatrix(test2)

#create a train and validation dmatrices 
xgtrain = xgb.DMatrix(train2[offset:,:], label=labels[offset:])
xgval = xgb.DMatrix(train2[:offset,:], label=labels[:offset])

print "number of row xgtest"
print xgtest.num_row()

print "number of row xgtrain"
print xgtrain.num_row()


Prameters list
[('colsample_bytree', 0.8), ('silent', 0), ('scale_pos_weight', 1.0), ('min_child_weight', 5), ('subsample', 0.8), ('eta', 0.01), ('objective', 'count:poisson'), ('max_depth', 10), ('booster', 'gbtree')]
number of row xgtest
51000
number of row xgtrain
45663

Training XGBoost


In [41]:
#train using early stopping and predict
watchlist = [(xgtrain, 'train'),(xgval, 'val')]
model = xgb.train(plst, xgtrain, num_rounds, watchlist, early_stopping_rounds=10)


Will train until val error hasn't decreased in 10 rounds.
[0]	train-poisson-nloglik:7.256818	val-poisson-nloglik:7.313910
[1]	train-poisson-nloglik:7.136083	val-poisson-nloglik:7.200873
[2]	train-poisson-nloglik:7.019101	val-poisson-nloglik:7.092388
[3]	train-poisson-nloglik:6.908746	val-poisson-nloglik:6.989448
[4]	train-poisson-nloglik:6.801341	val-poisson-nloglik:6.887798
[5]	train-poisson-nloglik:6.697664	val-poisson-nloglik:6.792465
[6]	train-poisson-nloglik:6.600169	val-poisson-nloglik:6.699606
[7]	train-poisson-nloglik:6.504800	val-poisson-nloglik:6.611676
[8]	train-poisson-nloglik:6.413119	val-poisson-nloglik:6.526906
[9]	train-poisson-nloglik:6.324776	val-poisson-nloglik:6.444369
[10]	train-poisson-nloglik:6.239851	val-poisson-nloglik:6.365119
[11]	train-poisson-nloglik:6.157726	val-poisson-nloglik:6.289129
[12]	train-poisson-nloglik:6.078646	val-poisson-nloglik:6.214311
[13]	train-poisson-nloglik:6.002112	val-poisson-nloglik:6.143757
[14]	train-poisson-nloglik:5.927172	val-poisson-nloglik:6.074701
[15]	train-poisson-nloglik:5.856047	val-poisson-nloglik:6.007656
[16]	train-poisson-nloglik:5.786592	val-poisson-nloglik:5.943680
[17]	train-poisson-nloglik:5.719761	val-poisson-nloglik:5.881030
[18]	train-poisson-nloglik:5.654450	val-poisson-nloglik:5.819817
[19]	train-poisson-nloglik:5.590861	val-poisson-nloglik:5.760320
[20]	train-poisson-nloglik:5.529067	val-poisson-nloglik:5.702507
[21]	train-poisson-nloglik:5.469220	val-poisson-nloglik:5.647433
[22]	train-poisson-nloglik:5.410775	val-poisson-nloglik:5.592989
[23]	train-poisson-nloglik:5.354553	val-poisson-nloglik:5.540370
[24]	train-poisson-nloglik:5.299498	val-poisson-nloglik:5.488842
[25]	train-poisson-nloglik:5.246778	val-poisson-nloglik:5.439034
[26]	train-poisson-nloglik:5.194321	val-poisson-nloglik:5.390150
[27]	train-poisson-nloglik:5.143913	val-poisson-nloglik:5.342590
[28]	train-poisson-nloglik:5.094310	val-poisson-nloglik:5.296868
[29]	train-poisson-nloglik:5.046082	val-poisson-nloglik:5.252025
[30]	train-poisson-nloglik:4.999526	val-poisson-nloglik:5.208153
[31]	train-poisson-nloglik:4.953265	val-poisson-nloglik:5.165112
[32]	train-poisson-nloglik:4.908385	val-poisson-nloglik:5.123045
[33]	train-poisson-nloglik:4.864910	val-poisson-nloglik:5.082106
[34]	train-poisson-nloglik:4.822556	val-poisson-nloglik:5.041912
[35]	train-poisson-nloglik:4.780541	val-poisson-nloglik:5.002640
[36]	train-poisson-nloglik:4.740033	val-poisson-nloglik:4.964665
[37]	train-poisson-nloglik:4.700779	val-poisson-nloglik:4.927208
[38]	train-poisson-nloglik:4.661816	val-poisson-nloglik:4.890612
[39]	train-poisson-nloglik:4.623661	val-poisson-nloglik:4.855069
[40]	train-poisson-nloglik:4.587072	val-poisson-nloglik:4.820260
[41]	train-poisson-nloglik:4.550554	val-poisson-nloglik:4.786240
[42]	train-poisson-nloglik:4.515111	val-poisson-nloglik:4.753000
[43]	train-poisson-nloglik:4.480489	val-poisson-nloglik:4.720444
[44]	train-poisson-nloglik:4.446224	val-poisson-nloglik:4.688785
[45]	train-poisson-nloglik:4.412722	val-poisson-nloglik:4.658177
[46]	train-poisson-nloglik:4.379799	val-poisson-nloglik:4.627559
[47]	train-poisson-nloglik:4.347922	val-poisson-nloglik:4.597811
[48]	train-poisson-nloglik:4.316236	val-poisson-nloglik:4.568704
[49]	train-poisson-nloglik:4.285480	val-poisson-nloglik:4.539952
[50]	train-poisson-nloglik:4.255600	val-poisson-nloglik:4.511960
[51]	train-poisson-nloglik:4.225919	val-poisson-nloglik:4.484915
[52]	train-poisson-nloglik:4.197001	val-poisson-nloglik:4.458160
[53]	train-poisson-nloglik:4.168402	val-poisson-nloglik:4.432047
[54]	train-poisson-nloglik:4.140381	val-poisson-nloglik:4.406617
[55]	train-poisson-nloglik:4.112961	val-poisson-nloglik:4.380951
[56]	train-poisson-nloglik:4.085969	val-poisson-nloglik:4.356010
[57]	train-poisson-nloglik:4.059675	val-poisson-nloglik:4.331986
[58]	train-poisson-nloglik:4.033858	val-poisson-nloglik:4.308260
[59]	train-poisson-nloglik:4.008524	val-poisson-nloglik:4.285110
[60]	train-poisson-nloglik:3.984126	val-poisson-nloglik:4.262211
[61]	train-poisson-nloglik:3.959946	val-poisson-nloglik:4.239861
[62]	train-poisson-nloglik:3.936138	val-poisson-nloglik:4.217785
[63]	train-poisson-nloglik:3.912609	val-poisson-nloglik:4.196112
[64]	train-poisson-nloglik:3.889369	val-poisson-nloglik:4.174944
[65]	train-poisson-nloglik:3.866704	val-poisson-nloglik:4.154151
[66]	train-poisson-nloglik:3.844638	val-poisson-nloglik:4.133507
[67]	train-poisson-nloglik:3.823166	val-poisson-nloglik:4.113527
[68]	train-poisson-nloglik:3.802007	val-poisson-nloglik:4.093944
[69]	train-poisson-nloglik:3.781143	val-poisson-nloglik:4.074702
[70]	train-poisson-nloglik:3.760398	val-poisson-nloglik:4.055682
[71]	train-poisson-nloglik:3.739836	val-poisson-nloglik:4.037313
[72]	train-poisson-nloglik:3.719970	val-poisson-nloglik:4.018693
[73]	train-poisson-nloglik:3.700257	val-poisson-nloglik:4.000569
[74]	train-poisson-nloglik:3.680708	val-poisson-nloglik:3.982829
[75]	train-poisson-nloglik:3.661783	val-poisson-nloglik:3.965133
[76]	train-poisson-nloglik:3.643340	val-poisson-nloglik:3.947926
[77]	train-poisson-nloglik:3.624852	val-poisson-nloglik:3.931049
[78]	train-poisson-nloglik:3.606701	val-poisson-nloglik:3.914358
[79]	train-poisson-nloglik:3.588987	val-poisson-nloglik:3.898079
[80]	train-poisson-nloglik:3.571752	val-poisson-nloglik:3.881891
[81]	train-poisson-nloglik:3.554657	val-poisson-nloglik:3.866239
[82]	train-poisson-nloglik:3.537812	val-poisson-nloglik:3.850648
[83]	train-poisson-nloglik:3.521203	val-poisson-nloglik:3.835632
[84]	train-poisson-nloglik:3.504842	val-poisson-nloglik:3.820932
[85]	train-poisson-nloglik:3.488739	val-poisson-nloglik:3.806201
[86]	train-poisson-nloglik:3.472769	val-poisson-nloglik:3.791988
[87]	train-poisson-nloglik:3.457279	val-poisson-nloglik:3.777715
[88]	train-poisson-nloglik:3.441989	val-poisson-nloglik:3.763459
[89]	train-poisson-nloglik:3.426948	val-poisson-nloglik:3.749933
[90]	train-poisson-nloglik:3.411798	val-poisson-nloglik:3.736557
[91]	train-poisson-nloglik:3.397379	val-poisson-nloglik:3.723189
[92]	train-poisson-nloglik:3.382659	val-poisson-nloglik:3.710306
[93]	train-poisson-nloglik:3.368545	val-poisson-nloglik:3.697142
[94]	train-poisson-nloglik:3.354764	val-poisson-nloglik:3.684534
[95]	train-poisson-nloglik:3.341161	val-poisson-nloglik:3.671830
[96]	train-poisson-nloglik:3.327965	val-poisson-nloglik:3.659512
[97]	train-poisson-nloglik:3.314462	val-poisson-nloglik:3.647517
[98]	train-poisson-nloglik:3.301202	val-poisson-nloglik:3.635444
[99]	train-poisson-nloglik:3.288417	val-poisson-nloglik:3.623517
[100]	train-poisson-nloglik:3.275590	val-poisson-nloglik:3.612047
[101]	train-poisson-nloglik:3.263096	val-poisson-nloglik:3.600855
[102]	train-poisson-nloglik:3.250804	val-poisson-nloglik:3.589404
[103]	train-poisson-nloglik:3.238641	val-poisson-nloglik:3.578162
[104]	train-poisson-nloglik:3.226660	val-poisson-nloglik:3.567144
[105]	train-poisson-nloglik:3.214808	val-poisson-nloglik:3.556314
[106]	train-poisson-nloglik:3.203204	val-poisson-nloglik:3.545857
[107]	train-poisson-nloglik:3.191684	val-poisson-nloglik:3.535426
[108]	train-poisson-nloglik:3.180306	val-poisson-nloglik:3.525080
[109]	train-poisson-nloglik:3.169044	val-poisson-nloglik:3.514868
[110]	train-poisson-nloglik:3.158038	val-poisson-nloglik:3.505049
[111]	train-poisson-nloglik:3.147000	val-poisson-nloglik:3.495215
[112]	train-poisson-nloglik:3.136288	val-poisson-nloglik:3.485716
[113]	train-poisson-nloglik:3.125533	val-poisson-nloglik:3.476105
[114]	train-poisson-nloglik:3.115039	val-poisson-nloglik:3.466719
[115]	train-poisson-nloglik:3.104811	val-poisson-nloglik:3.457488
[116]	train-poisson-nloglik:3.094806	val-poisson-nloglik:3.448505
[117]	train-poisson-nloglik:3.084919	val-poisson-nloglik:3.439574
[118]	train-poisson-nloglik:3.075102	val-poisson-nloglik:3.430756
[119]	train-poisson-nloglik:3.065662	val-poisson-nloglik:3.422103
[120]	train-poisson-nloglik:3.056231	val-poisson-nloglik:3.413581
[121]	train-poisson-nloglik:3.046667	val-poisson-nloglik:3.404835
[122]	train-poisson-nloglik:3.037119	val-poisson-nloglik:3.396605
[123]	train-poisson-nloglik:3.027779	val-poisson-nloglik:3.388203
[124]	train-poisson-nloglik:3.018718	val-poisson-nloglik:3.380082
[125]	train-poisson-nloglik:3.009620	val-poisson-nloglik:3.372144
[126]	train-poisson-nloglik:3.000770	val-poisson-nloglik:3.364002
[127]	train-poisson-nloglik:2.991926	val-poisson-nloglik:3.356256
[128]	train-poisson-nloglik:2.983356	val-poisson-nloglik:3.348543
[129]	train-poisson-nloglik:2.974865	val-poisson-nloglik:3.340957
[130]	train-poisson-nloglik:2.966396	val-poisson-nloglik:3.333318
[131]	train-poisson-nloglik:2.957783	val-poisson-nloglik:3.325783
[132]	train-poisson-nloglik:2.949541	val-poisson-nloglik:3.318460
[133]	train-poisson-nloglik:2.941698	val-poisson-nloglik:3.311383
[134]	train-poisson-nloglik:2.933868	val-poisson-nloglik:3.304390
[135]	train-poisson-nloglik:2.926098	val-poisson-nloglik:3.297491
[136]	train-poisson-nloglik:2.918254	val-poisson-nloglik:3.290618
[137]	train-poisson-nloglik:2.910538	val-poisson-nloglik:3.283942
[138]	train-poisson-nloglik:2.903368	val-poisson-nloglik:3.277306
[139]	train-poisson-nloglik:2.895802	val-poisson-nloglik:3.270567
[140]	train-poisson-nloglik:2.888283	val-poisson-nloglik:3.263823
[141]	train-poisson-nloglik:2.881100	val-poisson-nloglik:3.257428
[142]	train-poisson-nloglik:2.873855	val-poisson-nloglik:3.251090
[143]	train-poisson-nloglik:2.866779	val-poisson-nloglik:3.244731
[144]	train-poisson-nloglik:2.859509	val-poisson-nloglik:3.238655
[145]	train-poisson-nloglik:2.852688	val-poisson-nloglik:3.232475
[146]	train-poisson-nloglik:2.845767	val-poisson-nloglik:3.226494
[147]	train-poisson-nloglik:2.839154	val-poisson-nloglik:3.220510
[148]	train-poisson-nloglik:2.832288	val-poisson-nloglik:3.214854
[149]	train-poisson-nloglik:2.825486	val-poisson-nloglik:3.209041
[150]	train-poisson-nloglik:2.818971	val-poisson-nloglik:3.203349
[151]	train-poisson-nloglik:2.812234	val-poisson-nloglik:3.197789
[152]	train-poisson-nloglik:2.805570	val-poisson-nloglik:3.192203
[153]	train-poisson-nloglik:2.799456	val-poisson-nloglik:3.186731
[154]	train-poisson-nloglik:2.793428	val-poisson-nloglik:3.181242
[155]	train-poisson-nloglik:2.787092	val-poisson-nloglik:3.175771
[156]	train-poisson-nloglik:2.781226	val-poisson-nloglik:3.170404
[157]	train-poisson-nloglik:2.775399	val-poisson-nloglik:3.165079
[158]	train-poisson-nloglik:2.769727	val-poisson-nloglik:3.159956
[159]	train-poisson-nloglik:2.764069	val-poisson-nloglik:3.154871
[160]	train-poisson-nloglik:2.758308	val-poisson-nloglik:3.149829
[161]	train-poisson-nloglik:2.752763	val-poisson-nloglik:3.144928
[162]	train-poisson-nloglik:2.747181	val-poisson-nloglik:3.140156
[163]	train-poisson-nloglik:2.741570	val-poisson-nloglik:3.135293
[164]	train-poisson-nloglik:2.736077	val-poisson-nloglik:3.130497
[165]	train-poisson-nloglik:2.730727	val-poisson-nloglik:3.125741
[166]	train-poisson-nloglik:2.725257	val-poisson-nloglik:3.121055
[167]	train-poisson-nloglik:2.719985	val-poisson-nloglik:3.116592
[168]	train-poisson-nloglik:2.714826	val-poisson-nloglik:3.112141
[169]	train-poisson-nloglik:2.709699	val-poisson-nloglik:3.107666
[170]	train-poisson-nloglik:2.704552	val-poisson-nloglik:3.103463
[171]	train-poisson-nloglik:2.699403	val-poisson-nloglik:3.099144
[172]	train-poisson-nloglik:2.694385	val-poisson-nloglik:3.094940
[173]	train-poisson-nloglik:2.689625	val-poisson-nloglik:3.090741
[174]	train-poisson-nloglik:2.684775	val-poisson-nloglik:3.086586
[175]	train-poisson-nloglik:2.680029	val-poisson-nloglik:3.082408
[176]	train-poisson-nloglik:2.675207	val-poisson-nloglik:3.078114
[177]	train-poisson-nloglik:2.670412	val-poisson-nloglik:3.074080
[178]	train-poisson-nloglik:2.665760	val-poisson-nloglik:3.070102
[179]	train-poisson-nloglik:2.661229	val-poisson-nloglik:3.066254
[180]	train-poisson-nloglik:2.656758	val-poisson-nloglik:3.062457
[181]	train-poisson-nloglik:2.652167	val-poisson-nloglik:3.058586
[182]	train-poisson-nloglik:2.647707	val-poisson-nloglik:3.054907
[183]	train-poisson-nloglik:2.643105	val-poisson-nloglik:3.051013
[184]	train-poisson-nloglik:2.638715	val-poisson-nloglik:3.047260
[185]	train-poisson-nloglik:2.634382	val-poisson-nloglik:3.043577
[186]	train-poisson-nloglik:2.630042	val-poisson-nloglik:3.039990
[187]	train-poisson-nloglik:2.625747	val-poisson-nloglik:3.036466
[188]	train-poisson-nloglik:2.621610	val-poisson-nloglik:3.032944
[189]	train-poisson-nloglik:2.617553	val-poisson-nloglik:3.029523
[190]	train-poisson-nloglik:2.613456	val-poisson-nloglik:3.026078
[191]	train-poisson-nloglik:2.609326	val-poisson-nloglik:3.022542
[192]	train-poisson-nloglik:2.605545	val-poisson-nloglik:3.019116
[193]	train-poisson-nloglik:2.601665	val-poisson-nloglik:3.015760
[194]	train-poisson-nloglik:2.597855	val-poisson-nloglik:3.012632
[195]	train-poisson-nloglik:2.594055	val-poisson-nloglik:3.009346
[196]	train-poisson-nloglik:2.590272	val-poisson-nloglik:3.006075
[197]	train-poisson-nloglik:2.586587	val-poisson-nloglik:3.003043
[198]	train-poisson-nloglik:2.582820	val-poisson-nloglik:2.999733
[199]	train-poisson-nloglik:2.579007	val-poisson-nloglik:2.996680
[200]	train-poisson-nloglik:2.575325	val-poisson-nloglik:2.993563
[201]	train-poisson-nloglik:2.571857	val-poisson-nloglik:2.990488
[202]	train-poisson-nloglik:2.568248	val-poisson-nloglik:2.987481
[203]	train-poisson-nloglik:2.564879	val-poisson-nloglik:2.984537
[204]	train-poisson-nloglik:2.561488	val-poisson-nloglik:2.981611
[205]	train-poisson-nloglik:2.558102	val-poisson-nloglik:2.978631
[206]	train-poisson-nloglik:2.554650	val-poisson-nloglik:2.975803
[207]	train-poisson-nloglik:2.551386	val-poisson-nloglik:2.972980
[208]	train-poisson-nloglik:2.548133	val-poisson-nloglik:2.970185
[209]	train-poisson-nloglik:2.544748	val-poisson-nloglik:2.967486
[210]	train-poisson-nloglik:2.541662	val-poisson-nloglik:2.964908
[211]	train-poisson-nloglik:2.538395	val-poisson-nloglik:2.962273
[212]	train-poisson-nloglik:2.535229	val-poisson-nloglik:2.959659
[213]	train-poisson-nloglik:2.532045	val-poisson-nloglik:2.957039
[214]	train-poisson-nloglik:2.528886	val-poisson-nloglik:2.954453
[215]	train-poisson-nloglik:2.525785	val-poisson-nloglik:2.951882
[216]	train-poisson-nloglik:2.522849	val-poisson-nloglik:2.949290
[217]	train-poisson-nloglik:2.519904	val-poisson-nloglik:2.946810
[218]	train-poisson-nloglik:2.516803	val-poisson-nloglik:2.944338
[219]	train-poisson-nloglik:2.513608	val-poisson-nloglik:2.941915
[220]	train-poisson-nloglik:2.510615	val-poisson-nloglik:2.939498
[221]	train-poisson-nloglik:2.507772	val-poisson-nloglik:2.937120
[222]	train-poisson-nloglik:2.504889	val-poisson-nloglik:2.934759
[223]	train-poisson-nloglik:2.502089	val-poisson-nloglik:2.932381
[224]	train-poisson-nloglik:2.499389	val-poisson-nloglik:2.930071
[225]	train-poisson-nloglik:2.496586	val-poisson-nloglik:2.927890
[226]	train-poisson-nloglik:2.493906	val-poisson-nloglik:2.925604
[227]	train-poisson-nloglik:2.491379	val-poisson-nloglik:2.923337
[228]	train-poisson-nloglik:2.488745	val-poisson-nloglik:2.921089
[229]	train-poisson-nloglik:2.486120	val-poisson-nloglik:2.918929
[230]	train-poisson-nloglik:2.483497	val-poisson-nloglik:2.916795
[231]	train-poisson-nloglik:2.480573	val-poisson-nloglik:2.914503
[232]	train-poisson-nloglik:2.478086	val-poisson-nloglik:2.912416
[233]	train-poisson-nloglik:2.475468	val-poisson-nloglik:2.910482
[234]	train-poisson-nloglik:2.472940	val-poisson-nloglik:2.908481
[235]	train-poisson-nloglik:2.470409	val-poisson-nloglik:2.906526
[236]	train-poisson-nloglik:2.468038	val-poisson-nloglik:2.904535
[237]	train-poisson-nloglik:2.465462	val-poisson-nloglik:2.902628
[238]	train-poisson-nloglik:2.462960	val-poisson-nloglik:2.900532
[239]	train-poisson-nloglik:2.460565	val-poisson-nloglik:2.898567
[240]	train-poisson-nloglik:2.458081	val-poisson-nloglik:2.896660
[241]	train-poisson-nloglik:2.455683	val-poisson-nloglik:2.894729
[242]	train-poisson-nloglik:2.453317	val-poisson-nloglik:2.892791
[243]	train-poisson-nloglik:2.451023	val-poisson-nloglik:2.891006
[244]	train-poisson-nloglik:2.448671	val-poisson-nloglik:2.889079
[245]	train-poisson-nloglik:2.446290	val-poisson-nloglik:2.887317
[246]	train-poisson-nloglik:2.444113	val-poisson-nloglik:2.885494
[247]	train-poisson-nloglik:2.441868	val-poisson-nloglik:2.883744
[248]	train-poisson-nloglik:2.439669	val-poisson-nloglik:2.882052
[249]	train-poisson-nloglik:2.437363	val-poisson-nloglik:2.880352
[250]	train-poisson-nloglik:2.435061	val-poisson-nloglik:2.878572
[251]	train-poisson-nloglik:2.433113	val-poisson-nloglik:2.876845
[252]	train-poisson-nloglik:2.431031	val-poisson-nloglik:2.875167
[253]	train-poisson-nloglik:2.429008	val-poisson-nloglik:2.873497
[254]	train-poisson-nloglik:2.426933	val-poisson-nloglik:2.871924
[255]	train-poisson-nloglik:2.424905	val-poisson-nloglik:2.870374
[256]	train-poisson-nloglik:2.422801	val-poisson-nloglik:2.868796
[257]	train-poisson-nloglik:2.420811	val-poisson-nloglik:2.867136
[258]	train-poisson-nloglik:2.418699	val-poisson-nloglik:2.865551
[259]	train-poisson-nloglik:2.416715	val-poisson-nloglik:2.863956
[260]	train-poisson-nloglik:2.414718	val-poisson-nloglik:2.862334
[261]	train-poisson-nloglik:2.412643	val-poisson-nloglik:2.860806
[262]	train-poisson-nloglik:2.410738	val-poisson-nloglik:2.859356
[263]	train-poisson-nloglik:2.408843	val-poisson-nloglik:2.857893
[264]	train-poisson-nloglik:2.406843	val-poisson-nloglik:2.856513
[265]	train-poisson-nloglik:2.405127	val-poisson-nloglik:2.855034
[266]	train-poisson-nloglik:2.403220	val-poisson-nloglik:2.853764
[267]	train-poisson-nloglik:2.401154	val-poisson-nloglik:2.852371
[268]	train-poisson-nloglik:2.399426	val-poisson-nloglik:2.850945
[269]	train-poisson-nloglik:2.397497	val-poisson-nloglik:2.849615
[270]	train-poisson-nloglik:2.395693	val-poisson-nloglik:2.848356
[271]	train-poisson-nloglik:2.393767	val-poisson-nloglik:2.846851
[272]	train-poisson-nloglik:2.391928	val-poisson-nloglik:2.845455
[273]	train-poisson-nloglik:2.390101	val-poisson-nloglik:2.844120
[274]	train-poisson-nloglik:2.388406	val-poisson-nloglik:2.842836
[275]	train-poisson-nloglik:2.386580	val-poisson-nloglik:2.841583
[276]	train-poisson-nloglik:2.385013	val-poisson-nloglik:2.840331
[277]	train-poisson-nloglik:2.383161	val-poisson-nloglik:2.839127
[278]	train-poisson-nloglik:2.381570	val-poisson-nloglik:2.837935
[279]	train-poisson-nloglik:2.379933	val-poisson-nloglik:2.836662
[280]	train-poisson-nloglik:2.378360	val-poisson-nloglik:2.835439
[281]	train-poisson-nloglik:2.376865	val-poisson-nloglik:2.834249
[282]	train-poisson-nloglik:2.375223	val-poisson-nloglik:2.833148
[283]	train-poisson-nloglik:2.373610	val-poisson-nloglik:2.831922
[284]	train-poisson-nloglik:2.372002	val-poisson-nloglik:2.830776
[285]	train-poisson-nloglik:2.370354	val-poisson-nloglik:2.829611
[286]	train-poisson-nloglik:2.368639	val-poisson-nloglik:2.828507
[287]	train-poisson-nloglik:2.367094	val-poisson-nloglik:2.827303
[288]	train-poisson-nloglik:2.365584	val-poisson-nloglik:2.826209
[289]	train-poisson-nloglik:2.363932	val-poisson-nloglik:2.825167
[290]	train-poisson-nloglik:2.362499	val-poisson-nloglik:2.824075
[291]	train-poisson-nloglik:2.360992	val-poisson-nloglik:2.822958
[292]	train-poisson-nloglik:2.359403	val-poisson-nloglik:2.821843
[293]	train-poisson-nloglik:2.357898	val-poisson-nloglik:2.820817
[294]	train-poisson-nloglik:2.356363	val-poisson-nloglik:2.819715
[295]	train-poisson-nloglik:2.354958	val-poisson-nloglik:2.818747
[296]	train-poisson-nloglik:2.353374	val-poisson-nloglik:2.817569
[297]	train-poisson-nloglik:2.351961	val-poisson-nloglik:2.816540
[298]	train-poisson-nloglik:2.350370	val-poisson-nloglik:2.815650
[299]	train-poisson-nloglik:2.348964	val-poisson-nloglik:2.814605
[300]	train-poisson-nloglik:2.347476	val-poisson-nloglik:2.813674
[301]	train-poisson-nloglik:2.346126	val-poisson-nloglik:2.812746
[302]	train-poisson-nloglik:2.344542	val-poisson-nloglik:2.811741
[303]	train-poisson-nloglik:2.343176	val-poisson-nloglik:2.810826
[304]	train-poisson-nloglik:2.341712	val-poisson-nloglik:2.809877
[305]	train-poisson-nloglik:2.340428	val-poisson-nloglik:2.808881
[306]	train-poisson-nloglik:2.338981	val-poisson-nloglik:2.808000
[307]	train-poisson-nloglik:2.337400	val-poisson-nloglik:2.807092
[308]	train-poisson-nloglik:2.336104	val-poisson-nloglik:2.806204
[309]	train-poisson-nloglik:2.334891	val-poisson-nloglik:2.805244
[310]	train-poisson-nloglik:2.333536	val-poisson-nloglik:2.804358
[311]	train-poisson-nloglik:2.332345	val-poisson-nloglik:2.803424
[312]	train-poisson-nloglik:2.331059	val-poisson-nloglik:2.802589
[313]	train-poisson-nloglik:2.329828	val-poisson-nloglik:2.801678
[314]	train-poisson-nloglik:2.328395	val-poisson-nloglik:2.800900
[315]	train-poisson-nloglik:2.327058	val-poisson-nloglik:2.800060
[316]	train-poisson-nloglik:2.325796	val-poisson-nloglik:2.799261
[317]	train-poisson-nloglik:2.324540	val-poisson-nloglik:2.798421
[318]	train-poisson-nloglik:2.323248	val-poisson-nloglik:2.797525
[319]	train-poisson-nloglik:2.321996	val-poisson-nloglik:2.796773
[320]	train-poisson-nloglik:2.320897	val-poisson-nloglik:2.796001
[321]	train-poisson-nloglik:2.319654	val-poisson-nloglik:2.795219
[322]	train-poisson-nloglik:2.318496	val-poisson-nloglik:2.794422
[323]	train-poisson-nloglik:2.317335	val-poisson-nloglik:2.793684
[324]	train-poisson-nloglik:2.316177	val-poisson-nloglik:2.792904
[325]	train-poisson-nloglik:2.314919	val-poisson-nloglik:2.792114
[326]	train-poisson-nloglik:2.313727	val-poisson-nloglik:2.791440
[327]	train-poisson-nloglik:2.312652	val-poisson-nloglik:2.790704
[328]	train-poisson-nloglik:2.311595	val-poisson-nloglik:2.789999
[329]	train-poisson-nloglik:2.310390	val-poisson-nloglik:2.789222
[330]	train-poisson-nloglik:2.309436	val-poisson-nloglik:2.788549
[331]	train-poisson-nloglik:2.308150	val-poisson-nloglik:2.787798
[332]	train-poisson-nloglik:2.307014	val-poisson-nloglik:2.787088
[333]	train-poisson-nloglik:2.305624	val-poisson-nloglik:2.786195
[334]	train-poisson-nloglik:2.304593	val-poisson-nloglik:2.785555
[335]	train-poisson-nloglik:2.303565	val-poisson-nloglik:2.784968
[336]	train-poisson-nloglik:2.302448	val-poisson-nloglik:2.784206
[337]	train-poisson-nloglik:2.301475	val-poisson-nloglik:2.783585
[338]	train-poisson-nloglik:2.300390	val-poisson-nloglik:2.782962
[339]	train-poisson-nloglik:2.299429	val-poisson-nloglik:2.782233
[340]	train-poisson-nloglik:2.298382	val-poisson-nloglik:2.781602
[341]	train-poisson-nloglik:2.297340	val-poisson-nloglik:2.780981
[342]	train-poisson-nloglik:2.296321	val-poisson-nloglik:2.780367
[343]	train-poisson-nloglik:2.295321	val-poisson-nloglik:2.779684
[344]	train-poisson-nloglik:2.294197	val-poisson-nloglik:2.779132
[345]	train-poisson-nloglik:2.293415	val-poisson-nloglik:2.778501
[346]	train-poisson-nloglik:2.292371	val-poisson-nloglik:2.777944
[347]	train-poisson-nloglik:2.291451	val-poisson-nloglik:2.777368
[348]	train-poisson-nloglik:2.290304	val-poisson-nloglik:2.776761
[349]	train-poisson-nloglik:2.289343	val-poisson-nloglik:2.776223
[350]	train-poisson-nloglik:2.288301	val-poisson-nloglik:2.775651
[351]	train-poisson-nloglik:2.287492	val-poisson-nloglik:2.775012
[352]	train-poisson-nloglik:2.286721	val-poisson-nloglik:2.774460
[353]	train-poisson-nloglik:2.285785	val-poisson-nloglik:2.773968
[354]	train-poisson-nloglik:2.284646	val-poisson-nloglik:2.773351
[355]	train-poisson-nloglik:2.283851	val-poisson-nloglik:2.772752
[356]	train-poisson-nloglik:2.282725	val-poisson-nloglik:2.772155
[357]	train-poisson-nloglik:2.281863	val-poisson-nloglik:2.771547
[358]	train-poisson-nloglik:2.280919	val-poisson-nloglik:2.770983
[359]	train-poisson-nloglik:2.280168	val-poisson-nloglik:2.770446
[360]	train-poisson-nloglik:2.279282	val-poisson-nloglik:2.769886
[361]	train-poisson-nloglik:2.278236	val-poisson-nloglik:2.769277
[362]	train-poisson-nloglik:2.277205	val-poisson-nloglik:2.768850
[363]	train-poisson-nloglik:2.276312	val-poisson-nloglik:2.768257
[364]	train-poisson-nloglik:2.275377	val-poisson-nloglik:2.767683
[365]	train-poisson-nloglik:2.274378	val-poisson-nloglik:2.767182
[366]	train-poisson-nloglik:2.273565	val-poisson-nloglik:2.766672
[367]	train-poisson-nloglik:2.272720	val-poisson-nloglik:2.766199
[368]	train-poisson-nloglik:2.271896	val-poisson-nloglik:2.765693
[369]	train-poisson-nloglik:2.271130	val-poisson-nloglik:2.765225
[370]	train-poisson-nloglik:2.270448	val-poisson-nloglik:2.764773
[371]	train-poisson-nloglik:2.269488	val-poisson-nloglik:2.764294
[372]	train-poisson-nloglik:2.268744	val-poisson-nloglik:2.763857
[373]	train-poisson-nloglik:2.267888	val-poisson-nloglik:2.763364
[374]	train-poisson-nloglik:2.267076	val-poisson-nloglik:2.762927
[375]	train-poisson-nloglik:2.266423	val-poisson-nloglik:2.762490
[376]	train-poisson-nloglik:2.265491	val-poisson-nloglik:2.762006
[377]	train-poisson-nloglik:2.264517	val-poisson-nloglik:2.761566
[378]	train-poisson-nloglik:2.263689	val-poisson-nloglik:2.761131
[379]	train-poisson-nloglik:2.262872	val-poisson-nloglik:2.760661
[380]	train-poisson-nloglik:2.262147	val-poisson-nloglik:2.760230
[381]	train-poisson-nloglik:2.261367	val-poisson-nloglik:2.759740
[382]	train-poisson-nloglik:2.260667	val-poisson-nloglik:2.759315
[383]	train-poisson-nloglik:2.259903	val-poisson-nloglik:2.758943
[384]	train-poisson-nloglik:2.259046	val-poisson-nloglik:2.758558
[385]	train-poisson-nloglik:2.258317	val-poisson-nloglik:2.758064
[386]	train-poisson-nloglik:2.257696	val-poisson-nloglik:2.757640
[387]	train-poisson-nloglik:2.256890	val-poisson-nloglik:2.757187
[388]	train-poisson-nloglik:2.256192	val-poisson-nloglik:2.756754
[389]	train-poisson-nloglik:2.255667	val-poisson-nloglik:2.756372
[390]	train-poisson-nloglik:2.254835	val-poisson-nloglik:2.755988
[391]	train-poisson-nloglik:2.254073	val-poisson-nloglik:2.755624
[392]	train-poisson-nloglik:2.253272	val-poisson-nloglik:2.755222
[393]	train-poisson-nloglik:2.252560	val-poisson-nloglik:2.754802
[394]	train-poisson-nloglik:2.252035	val-poisson-nloglik:2.754434
[395]	train-poisson-nloglik:2.251431	val-poisson-nloglik:2.754024
[396]	train-poisson-nloglik:2.250746	val-poisson-nloglik:2.753628
[397]	train-poisson-nloglik:2.249887	val-poisson-nloglik:2.753325
[398]	train-poisson-nloglik:2.249152	val-poisson-nloglik:2.752928
[399]	train-poisson-nloglik:2.248474	val-poisson-nloglik:2.752624
[400]	train-poisson-nloglik:2.247722	val-poisson-nloglik:2.752260
[401]	train-poisson-nloglik:2.246972	val-poisson-nloglik:2.751926
[402]	train-poisson-nloglik:2.246415	val-poisson-nloglik:2.751658
[403]	train-poisson-nloglik:2.245675	val-poisson-nloglik:2.751280
[404]	train-poisson-nloglik:2.244822	val-poisson-nloglik:2.750935
[405]	train-poisson-nloglik:2.244212	val-poisson-nloglik:2.750628
[406]	train-poisson-nloglik:2.243444	val-poisson-nloglik:2.750368
[407]	train-poisson-nloglik:2.242648	val-poisson-nloglik:2.749977
[408]	train-poisson-nloglik:2.242014	val-poisson-nloglik:2.749644
[409]	train-poisson-nloglik:2.241331	val-poisson-nloglik:2.749312
[410]	train-poisson-nloglik:2.240654	val-poisson-nloglik:2.749024
[411]	train-poisson-nloglik:2.239757	val-poisson-nloglik:2.748689
[412]	train-poisson-nloglik:2.239108	val-poisson-nloglik:2.748384
[413]	train-poisson-nloglik:2.238492	val-poisson-nloglik:2.748078
[414]	train-poisson-nloglik:2.237988	val-poisson-nloglik:2.747715
[415]	train-poisson-nloglik:2.237298	val-poisson-nloglik:2.747453
[416]	train-poisson-nloglik:2.236646	val-poisson-nloglik:2.747171
[417]	train-poisson-nloglik:2.236041	val-poisson-nloglik:2.746840
[418]	train-poisson-nloglik:2.235306	val-poisson-nloglik:2.746572
[419]	train-poisson-nloglik:2.234665	val-poisson-nloglik:2.746242
[420]	train-poisson-nloglik:2.234154	val-poisson-nloglik:2.745987
[421]	train-poisson-nloglik:2.233516	val-poisson-nloglik:2.745711
[422]	train-poisson-nloglik:2.232831	val-poisson-nloglik:2.745458
[423]	train-poisson-nloglik:2.232299	val-poisson-nloglik:2.745173
[424]	train-poisson-nloglik:2.231791	val-poisson-nloglik:2.744886
[425]	train-poisson-nloglik:2.231266	val-poisson-nloglik:2.744620
[426]	train-poisson-nloglik:2.230484	val-poisson-nloglik:2.744323
[427]	train-poisson-nloglik:2.229743	val-poisson-nloglik:2.744093
[428]	train-poisson-nloglik:2.229150	val-poisson-nloglik:2.743754
[429]	train-poisson-nloglik:2.228522	val-poisson-nloglik:2.743555
[430]	train-poisson-nloglik:2.227894	val-poisson-nloglik:2.743288
[431]	train-poisson-nloglik:2.227114	val-poisson-nloglik:2.743047
[432]	train-poisson-nloglik:2.226506	val-poisson-nloglik:2.742796
[433]	train-poisson-nloglik:2.225960	val-poisson-nloglik:2.742540
[434]	train-poisson-nloglik:2.225512	val-poisson-nloglik:2.742250
[435]	train-poisson-nloglik:2.224823	val-poisson-nloglik:2.741943
[436]	train-poisson-nloglik:2.224281	val-poisson-nloglik:2.741694
[437]	train-poisson-nloglik:2.223696	val-poisson-nloglik:2.741432
[438]	train-poisson-nloglik:2.223057	val-poisson-nloglik:2.741220
[439]	train-poisson-nloglik:2.222622	val-poisson-nloglik:2.740979
[440]	train-poisson-nloglik:2.222045	val-poisson-nloglik:2.740773
[441]	train-poisson-nloglik:2.221324	val-poisson-nloglik:2.740553
[442]	train-poisson-nloglik:2.220590	val-poisson-nloglik:2.740263
[443]	train-poisson-nloglik:2.219965	val-poisson-nloglik:2.739988
[444]	train-poisson-nloglik:2.219563	val-poisson-nloglik:2.739747
[445]	train-poisson-nloglik:2.218982	val-poisson-nloglik:2.739457
[446]	train-poisson-nloglik:2.218501	val-poisson-nloglik:2.739226
[447]	train-poisson-nloglik:2.217916	val-poisson-nloglik:2.738983
[448]	train-poisson-nloglik:2.217475	val-poisson-nloglik:2.738727
[449]	train-poisson-nloglik:2.216971	val-poisson-nloglik:2.738547
[450]	train-poisson-nloglik:2.216555	val-poisson-nloglik:2.738362
[451]	train-poisson-nloglik:2.215966	val-poisson-nloglik:2.738137
[452]	train-poisson-nloglik:2.215492	val-poisson-nloglik:2.737889
[453]	train-poisson-nloglik:2.214911	val-poisson-nloglik:2.737688
[454]	train-poisson-nloglik:2.214208	val-poisson-nloglik:2.737536
[455]	train-poisson-nloglik:2.213659	val-poisson-nloglik:2.737329
[456]	train-poisson-nloglik:2.213190	val-poisson-nloglik:2.737117
[457]	train-poisson-nloglik:2.212647	val-poisson-nloglik:2.736872
[458]	train-poisson-nloglik:2.212283	val-poisson-nloglik:2.736645
[459]	train-poisson-nloglik:2.211726	val-poisson-nloglik:2.736468
[460]	train-poisson-nloglik:2.211356	val-poisson-nloglik:2.736281
[461]	train-poisson-nloglik:2.210831	val-poisson-nloglik:2.736082
[462]	train-poisson-nloglik:2.210368	val-poisson-nloglik:2.735868
[463]	train-poisson-nloglik:2.209812	val-poisson-nloglik:2.735687
[464]	train-poisson-nloglik:2.209374	val-poisson-nloglik:2.735507
[465]	train-poisson-nloglik:2.209066	val-poisson-nloglik:2.735347
[466]	train-poisson-nloglik:2.208577	val-poisson-nloglik:2.735135
[467]	train-poisson-nloglik:2.207940	val-poisson-nloglik:2.734992
[468]	train-poisson-nloglik:2.207490	val-poisson-nloglik:2.734781
[469]	train-poisson-nloglik:2.206988	val-poisson-nloglik:2.734607
[470]	train-poisson-nloglik:2.206505	val-poisson-nloglik:2.734413
[471]	train-poisson-nloglik:2.205892	val-poisson-nloglik:2.734265
[472]	train-poisson-nloglik:2.205485	val-poisson-nloglik:2.734098
[473]	train-poisson-nloglik:2.204871	val-poisson-nloglik:2.734002
[474]	train-poisson-nloglik:2.204256	val-poisson-nloglik:2.733899
[475]	train-poisson-nloglik:2.203814	val-poisson-nloglik:2.733744
[476]	train-poisson-nloglik:2.203295	val-poisson-nloglik:2.733608
[477]	train-poisson-nloglik:2.202826	val-poisson-nloglik:2.733426
[478]	train-poisson-nloglik:2.202174	val-poisson-nloglik:2.733258
[479]	train-poisson-nloglik:2.201757	val-poisson-nloglik:2.733082
[480]	train-poisson-nloglik:2.201276	val-poisson-nloglik:2.732863
[481]	train-poisson-nloglik:2.200670	val-poisson-nloglik:2.732730
[482]	train-poisson-nloglik:2.200366	val-poisson-nloglik:2.732534
[483]	train-poisson-nloglik:2.199840	val-poisson-nloglik:2.732400
[484]	train-poisson-nloglik:2.199532	val-poisson-nloglik:2.732223
[485]	train-poisson-nloglik:2.199240	val-poisson-nloglik:2.732077
[486]	train-poisson-nloglik:2.198659	val-poisson-nloglik:2.731944
[487]	train-poisson-nloglik:2.198215	val-poisson-nloglik:2.731804
[488]	train-poisson-nloglik:2.197846	val-poisson-nloglik:2.731714
[489]	train-poisson-nloglik:2.197460	val-poisson-nloglik:2.731529
[490]	train-poisson-nloglik:2.197028	val-poisson-nloglik:2.731390
[491]	train-poisson-nloglik:2.196497	val-poisson-nloglik:2.731217
[492]	train-poisson-nloglik:2.196049	val-poisson-nloglik:2.731049
[493]	train-poisson-nloglik:2.195653	val-poisson-nloglik:2.730876
[494]	train-poisson-nloglik:2.195188	val-poisson-nloglik:2.730744
[495]	train-poisson-nloglik:2.194846	val-poisson-nloglik:2.730660
[496]	train-poisson-nloglik:2.194568	val-poisson-nloglik:2.730520
[497]	train-poisson-nloglik:2.194153	val-poisson-nloglik:2.730426
[498]	train-poisson-nloglik:2.193634	val-poisson-nloglik:2.730308
[499]	train-poisson-nloglik:2.193073	val-poisson-nloglik:2.730143
[500]	train-poisson-nloglik:2.192617	val-poisson-nloglik:2.730027
[501]	train-poisson-nloglik:2.192122	val-poisson-nloglik:2.729924
[502]	train-poisson-nloglik:2.191604	val-poisson-nloglik:2.729785
[503]	train-poisson-nloglik:2.191242	val-poisson-nloglik:2.729676
[504]	train-poisson-nloglik:2.190753	val-poisson-nloglik:2.729555
[505]	train-poisson-nloglik:2.190354	val-poisson-nloglik:2.729448
[506]	train-poisson-nloglik:2.189934	val-poisson-nloglik:2.729388
[507]	train-poisson-nloglik:2.189561	val-poisson-nloglik:2.729293
[508]	train-poisson-nloglik:2.189108	val-poisson-nloglik:2.729169
[509]	train-poisson-nloglik:2.188783	val-poisson-nloglik:2.729075
[510]	train-poisson-nloglik:2.188345	val-poisson-nloglik:2.728917
[511]	train-poisson-nloglik:2.188018	val-poisson-nloglik:2.728781
[512]	train-poisson-nloglik:2.187505	val-poisson-nloglik:2.728715
[513]	train-poisson-nloglik:2.186972	val-poisson-nloglik:2.728606
[514]	train-poisson-nloglik:2.186745	val-poisson-nloglik:2.728483
[515]	train-poisson-nloglik:2.186431	val-poisson-nloglik:2.728413
[516]	train-poisson-nloglik:2.185948	val-poisson-nloglik:2.728267
[517]	train-poisson-nloglik:2.185501	val-poisson-nloglik:2.728172
[518]	train-poisson-nloglik:2.185048	val-poisson-nloglik:2.728078
[519]	train-poisson-nloglik:2.184648	val-poisson-nloglik:2.727947
[520]	train-poisson-nloglik:2.184198	val-poisson-nloglik:2.727849
[521]	train-poisson-nloglik:2.183780	val-poisson-nloglik:2.727700
[522]	train-poisson-nloglik:2.183352	val-poisson-nloglik:2.727543
[523]	train-poisson-nloglik:2.182997	val-poisson-nloglik:2.727455
[524]	train-poisson-nloglik:2.182285	val-poisson-nloglik:2.727389
[525]	train-poisson-nloglik:2.181824	val-poisson-nloglik:2.727359
[526]	train-poisson-nloglik:2.181410	val-poisson-nloglik:2.727295
[527]	train-poisson-nloglik:2.181064	val-poisson-nloglik:2.727180
[528]	train-poisson-nloglik:2.180729	val-poisson-nloglik:2.727086
[529]	train-poisson-nloglik:2.180230	val-poisson-nloglik:2.726956
[530]	train-poisson-nloglik:2.179789	val-poisson-nloglik:2.726812
[531]	train-poisson-nloglik:2.179378	val-poisson-nloglik:2.726732
[532]	train-poisson-nloglik:2.179037	val-poisson-nloglik:2.726668
[533]	train-poisson-nloglik:2.178686	val-poisson-nloglik:2.726593
[534]	train-poisson-nloglik:2.178219	val-poisson-nloglik:2.726505
[535]	train-poisson-nloglik:2.177665	val-poisson-nloglik:2.726389
[536]	train-poisson-nloglik:2.177197	val-poisson-nloglik:2.726294
[537]	train-poisson-nloglik:2.176821	val-poisson-nloglik:2.726187
[538]	train-poisson-nloglik:2.176595	val-poisson-nloglik:2.726115
[539]	train-poisson-nloglik:2.176255	val-poisson-nloglik:2.726011
[540]	train-poisson-nloglik:2.175930	val-poisson-nloglik:2.725927
[541]	train-poisson-nloglik:2.175532	val-poisson-nloglik:2.725815
[542]	train-poisson-nloglik:2.175195	val-poisson-nloglik:2.725716
[543]	train-poisson-nloglik:2.174791	val-poisson-nloglik:2.725685
[544]	train-poisson-nloglik:2.174319	val-poisson-nloglik:2.725595
[545]	train-poisson-nloglik:2.173922	val-poisson-nloglik:2.725471
[546]	train-poisson-nloglik:2.173453	val-poisson-nloglik:2.725396
[547]	train-poisson-nloglik:2.173254	val-poisson-nloglik:2.725296
[548]	train-poisson-nloglik:2.172728	val-poisson-nloglik:2.725232
[549]	train-poisson-nloglik:2.172352	val-poisson-nloglik:2.725152
[550]	train-poisson-nloglik:2.171871	val-poisson-nloglik:2.725049
[551]	train-poisson-nloglik:2.171502	val-poisson-nloglik:2.724982
[552]	train-poisson-nloglik:2.171046	val-poisson-nloglik:2.724805
[553]	train-poisson-nloglik:2.170704	val-poisson-nloglik:2.724674
[554]	train-poisson-nloglik:2.170489	val-poisson-nloglik:2.724553
[555]	train-poisson-nloglik:2.169890	val-poisson-nloglik:2.724500
[556]	train-poisson-nloglik:2.169623	val-poisson-nloglik:2.724459
[557]	train-poisson-nloglik:2.169171	val-poisson-nloglik:2.724421
[558]	train-poisson-nloglik:2.168758	val-poisson-nloglik:2.724307
[559]	train-poisson-nloglik:2.168429	val-poisson-nloglik:2.724243
[560]	train-poisson-nloglik:2.168015	val-poisson-nloglik:2.724148
[561]	train-poisson-nloglik:2.167634	val-poisson-nloglik:2.724044
[562]	train-poisson-nloglik:2.167215	val-poisson-nloglik:2.723995
[563]	train-poisson-nloglik:2.166865	val-poisson-nloglik:2.723977
[564]	train-poisson-nloglik:2.166422	val-poisson-nloglik:2.723916
[565]	train-poisson-nloglik:2.166130	val-poisson-nloglik:2.723820
[566]	train-poisson-nloglik:2.165937	val-poisson-nloglik:2.723747
[567]	train-poisson-nloglik:2.165613	val-poisson-nloglik:2.723634
[568]	train-poisson-nloglik:2.165250	val-poisson-nloglik:2.723536
[569]	train-poisson-nloglik:2.164939	val-poisson-nloglik:2.723424
[570]	train-poisson-nloglik:2.164574	val-poisson-nloglik:2.723411
[571]	train-poisson-nloglik:2.164135	val-poisson-nloglik:2.723335
[572]	train-poisson-nloglik:2.163715	val-poisson-nloglik:2.723294
[573]	train-poisson-nloglik:2.163481	val-poisson-nloglik:2.723238
[574]	train-poisson-nloglik:2.163112	val-poisson-nloglik:2.723195
[575]	train-poisson-nloglik:2.162729	val-poisson-nloglik:2.723137
[576]	train-poisson-nloglik:2.162215	val-poisson-nloglik:2.722999
[577]	train-poisson-nloglik:2.161919	val-poisson-nloglik:2.722954
[578]	train-poisson-nloglik:2.161419	val-poisson-nloglik:2.722853
[579]	train-poisson-nloglik:2.161040	val-poisson-nloglik:2.722774
[580]	train-poisson-nloglik:2.160662	val-poisson-nloglik:2.722715
[581]	train-poisson-nloglik:2.160297	val-poisson-nloglik:2.722649
[582]	train-poisson-nloglik:2.160070	val-poisson-nloglik:2.722541
[583]	train-poisson-nloglik:2.159701	val-poisson-nloglik:2.722498
[584]	train-poisson-nloglik:2.159446	val-poisson-nloglik:2.722435
[585]	train-poisson-nloglik:2.159089	val-poisson-nloglik:2.722427
[586]	train-poisson-nloglik:2.158897	val-poisson-nloglik:2.722388
[587]	train-poisson-nloglik:2.158674	val-poisson-nloglik:2.722306
[588]	train-poisson-nloglik:2.158385	val-poisson-nloglik:2.722228
[589]	train-poisson-nloglik:2.158022	val-poisson-nloglik:2.722160
[590]	train-poisson-nloglik:2.157681	val-poisson-nloglik:2.722155
[591]	train-poisson-nloglik:2.157268	val-poisson-nloglik:2.722031
[592]	train-poisson-nloglik:2.156996	val-poisson-nloglik:2.721978
[593]	train-poisson-nloglik:2.156551	val-poisson-nloglik:2.722035
[594]	train-poisson-nloglik:2.156223	val-poisson-nloglik:2.721963
[595]	train-poisson-nloglik:2.155852	val-poisson-nloglik:2.721910
[596]	train-poisson-nloglik:2.155453	val-poisson-nloglik:2.721842
[597]	train-poisson-nloglik:2.155100	val-poisson-nloglik:2.721749
[598]	train-poisson-nloglik:2.154614	val-poisson-nloglik:2.721800
[599]	train-poisson-nloglik:2.154237	val-poisson-nloglik:2.721704
[600]	train-poisson-nloglik:2.153861	val-poisson-nloglik:2.721645
[601]	train-poisson-nloglik:2.153303	val-poisson-nloglik:2.721637
[602]	train-poisson-nloglik:2.152972	val-poisson-nloglik:2.721593
[603]	train-poisson-nloglik:2.152704	val-poisson-nloglik:2.721526
[604]	train-poisson-nloglik:2.152195	val-poisson-nloglik:2.721510
[605]	train-poisson-nloglik:2.151804	val-poisson-nloglik:2.721440
[606]	train-poisson-nloglik:2.151513	val-poisson-nloglik:2.721408
[607]	train-poisson-nloglik:2.151218	val-poisson-nloglik:2.721333
[608]	train-poisson-nloglik:2.150896	val-poisson-nloglik:2.721301
[609]	train-poisson-nloglik:2.150691	val-poisson-nloglik:2.721249
[610]	train-poisson-nloglik:2.150425	val-poisson-nloglik:2.721220
[611]	train-poisson-nloglik:2.150085	val-poisson-nloglik:2.721116
[612]	train-poisson-nloglik:2.149760	val-poisson-nloglik:2.721071
[613]	train-poisson-nloglik:2.149310	val-poisson-nloglik:2.721048
[614]	train-poisson-nloglik:2.148804	val-poisson-nloglik:2.720903
[615]	train-poisson-nloglik:2.148433	val-poisson-nloglik:2.720912
[616]	train-poisson-nloglik:2.148032	val-poisson-nloglik:2.720893
[617]	train-poisson-nloglik:2.147807	val-poisson-nloglik:2.720866
[618]	train-poisson-nloglik:2.147408	val-poisson-nloglik:2.720819
[619]	train-poisson-nloglik:2.147121	val-poisson-nloglik:2.720757
[620]	train-poisson-nloglik:2.146849	val-poisson-nloglik:2.720624
[621]	train-poisson-nloglik:2.146432	val-poisson-nloglik:2.720590
[622]	train-poisson-nloglik:2.146096	val-poisson-nloglik:2.720570
[623]	train-poisson-nloglik:2.145682	val-poisson-nloglik:2.720532
[624]	train-poisson-nloglik:2.145432	val-poisson-nloglik:2.720448
[625]	train-poisson-nloglik:2.145070	val-poisson-nloglik:2.720415
[626]	train-poisson-nloglik:2.144716	val-poisson-nloglik:2.720444
[627]	train-poisson-nloglik:2.144469	val-poisson-nloglik:2.720419
[628]	train-poisson-nloglik:2.144166	val-poisson-nloglik:2.720408
[629]	train-poisson-nloglik:2.143898	val-poisson-nloglik:2.720392
[630]	train-poisson-nloglik:2.143649	val-poisson-nloglik:2.720344
[631]	train-poisson-nloglik:2.143329	val-poisson-nloglik:2.720345
[632]	train-poisson-nloglik:2.142987	val-poisson-nloglik:2.720278
[633]	train-poisson-nloglik:2.142611	val-poisson-nloglik:2.720249
[634]	train-poisson-nloglik:2.142326	val-poisson-nloglik:2.720201
[635]	train-poisson-nloglik:2.142079	val-poisson-nloglik:2.720162
[636]	train-poisson-nloglik:2.141638	val-poisson-nloglik:2.720037
[637]	train-poisson-nloglik:2.141404	val-poisson-nloglik:2.719989
[638]	train-poisson-nloglik:2.141107	val-poisson-nloglik:2.719952
[639]	train-poisson-nloglik:2.140694	val-poisson-nloglik:2.719934
[640]	train-poisson-nloglik:2.140453	val-poisson-nloglik:2.719890
[641]	train-poisson-nloglik:2.140130	val-poisson-nloglik:2.719874
[642]	train-poisson-nloglik:2.139728	val-poisson-nloglik:2.719839
[643]	train-poisson-nloglik:2.139426	val-poisson-nloglik:2.719768
[644]	train-poisson-nloglik:2.139071	val-poisson-nloglik:2.719662
[645]	train-poisson-nloglik:2.138702	val-poisson-nloglik:2.719651
[646]	train-poisson-nloglik:2.138240	val-poisson-nloglik:2.719608
[647]	train-poisson-nloglik:2.138033	val-poisson-nloglik:2.719577
[648]	train-poisson-nloglik:2.137920	val-poisson-nloglik:2.719532
[649]	train-poisson-nloglik:2.137581	val-poisson-nloglik:2.719477
[650]	train-poisson-nloglik:2.137250	val-poisson-nloglik:2.719513
[651]	train-poisson-nloglik:2.137021	val-poisson-nloglik:2.719460
[652]	train-poisson-nloglik:2.136621	val-poisson-nloglik:2.719467
[653]	train-poisson-nloglik:2.136273	val-poisson-nloglik:2.719464
[654]	train-poisson-nloglik:2.135944	val-poisson-nloglik:2.719445
[655]	train-poisson-nloglik:2.135559	val-poisson-nloglik:2.719419
[656]	train-poisson-nloglik:2.135205	val-poisson-nloglik:2.719391
[657]	train-poisson-nloglik:2.134924	val-poisson-nloglik:2.719423
[658]	train-poisson-nloglik:2.134522	val-poisson-nloglik:2.719353
[659]	train-poisson-nloglik:2.134077	val-poisson-nloglik:2.719292
[660]	train-poisson-nloglik:2.133894	val-poisson-nloglik:2.719218
[661]	train-poisson-nloglik:2.133472	val-poisson-nloglik:2.719156
[662]	train-poisson-nloglik:2.133193	val-poisson-nloglik:2.719128
[663]	train-poisson-nloglik:2.132820	val-poisson-nloglik:2.719076
[664]	train-poisson-nloglik:2.132453	val-poisson-nloglik:2.719070
[665]	train-poisson-nloglik:2.132143	val-poisson-nloglik:2.719043
[666]	train-poisson-nloglik:2.131683	val-poisson-nloglik:2.719012
[667]	train-poisson-nloglik:2.131542	val-poisson-nloglik:2.719012
[668]	train-poisson-nloglik:2.131211	val-poisson-nloglik:2.719002
[669]	train-poisson-nloglik:2.130907	val-poisson-nloglik:2.718978
[670]	train-poisson-nloglik:2.130475	val-poisson-nloglik:2.718850
[671]	train-poisson-nloglik:2.130142	val-poisson-nloglik:2.718745
[672]	train-poisson-nloglik:2.129890	val-poisson-nloglik:2.718683
[673]	train-poisson-nloglik:2.129584	val-poisson-nloglik:2.718672
[674]	train-poisson-nloglik:2.129297	val-poisson-nloglik:2.718591
[675]	train-poisson-nloglik:2.129092	val-poisson-nloglik:2.718593
[676]	train-poisson-nloglik:2.128620	val-poisson-nloglik:2.718486
[677]	train-poisson-nloglik:2.128256	val-poisson-nloglik:2.718482
[678]	train-poisson-nloglik:2.127958	val-poisson-nloglik:2.718400
[679]	train-poisson-nloglik:2.127664	val-poisson-nloglik:2.718372
[680]	train-poisson-nloglik:2.127187	val-poisson-nloglik:2.718260
[681]	train-poisson-nloglik:2.126752	val-poisson-nloglik:2.718206
[682]	train-poisson-nloglik:2.126460	val-poisson-nloglik:2.718265
[683]	train-poisson-nloglik:2.126173	val-poisson-nloglik:2.718237
[684]	train-poisson-nloglik:2.125834	val-poisson-nloglik:2.718229
[685]	train-poisson-nloglik:2.125541	val-poisson-nloglik:2.718289
[686]	train-poisson-nloglik:2.125186	val-poisson-nloglik:2.718251
[687]	train-poisson-nloglik:2.124820	val-poisson-nloglik:2.718212
[688]	train-poisson-nloglik:2.124476	val-poisson-nloglik:2.718201
[689]	train-poisson-nloglik:2.124112	val-poisson-nloglik:2.718213
[690]	train-poisson-nloglik:2.123944	val-poisson-nloglik:2.718150
[691]	train-poisson-nloglik:2.123581	val-poisson-nloglik:2.718121
[692]	train-poisson-nloglik:2.123226	val-poisson-nloglik:2.718096
[693]	train-poisson-nloglik:2.122984	val-poisson-nloglik:2.718054
[694]	train-poisson-nloglik:2.122615	val-poisson-nloglik:2.718098
[695]	train-poisson-nloglik:2.122338	val-poisson-nloglik:2.718102
[696]	train-poisson-nloglik:2.121937	val-poisson-nloglik:2.718134
[697]	train-poisson-nloglik:2.121584	val-poisson-nloglik:2.718107
[698]	train-poisson-nloglik:2.121163	val-poisson-nloglik:2.718102
[699]	train-poisson-nloglik:2.120872	val-poisson-nloglik:2.718066
[700]	train-poisson-nloglik:2.120672	val-poisson-nloglik:2.718081
[701]	train-poisson-nloglik:2.120339	val-poisson-nloglik:2.718076
[702]	train-poisson-nloglik:2.120034	val-poisson-nloglik:2.718084
[703]	train-poisson-nloglik:2.119805	val-poisson-nloglik:2.718091
Stopping. Best iteration:
[693]	train-poisson-nloglik:2.122984	val-poisson-nloglik:2.718054


In [31]:
## importance: f15,
xgb.plot_importance(model)


Out[31]:
<matplotlib.axes.AxesSubplot at 0x7fa28ad44e10>

In [42]:
preds1 = model.predict(xgtest)
print preds1

# generate solution file
preds = pd.DataFrame({"Id": test_ind, "Hazard": preds1})
preds = preds.set_index('Id')
preds.to_csv('xgboost_dev20150823.csv')
%pwd


[ 2.33659577  5.56313705  6.89171028 ...,  3.97045898  3.60377049
  3.12126994]
Out[42]:
u'/home/leandroohf/Documents/kaggle/Liberty_Mutual_Group_Property_Inspection_Prediction/dev'