Testing work with categorical columns

Separei variaveis em categoricas e numericas e fiz uma analise descritivas nestas variaveis e salvei nas planilhas excel.

Criei modelo com apenas variaveis numericas e removi as colunas T1_V10, T1_V13, T2_V10 e T2_V7

Mas o resultado foi muito abaixo quando eu considero as variavei categoricas convertendo-as como numericas e assumindo ordem entre elas. Ex: A = 1, B = 2, .... (Do exemplo da internet)


In [4]:
import pandas as pd
import numpy as np 
from sklearn import preprocessing
import xgboost as xgb

#load train and test 
train  = pd.read_csv('../data/raw/train.csv', index_col=0)
test   = pd.read_csv('../data/raw/test.csv', index_col=0)

print train.shape
## XXX Parece BUG head() nao mostra a ultimas colunas: 10,20,30
## Entao eu tive que duplicar para imprimir todas as colunas
print train.iloc[:,0:10].head()
print train.iloc[:,10:20].head()
print train.iloc[:,20:30].head()
print train.iloc[:,30:33].head()
print "=========================="
print test.head()

labels = train.Hazard
#train.drop('Hazard', axis=1, inplace=True)
print "Harzard"
print labels.unique()
print labels.astype('category').describe()
print labels.value_counts()
%matplotlib inline
labels.hist(bins=69)


(50999, 33)
    Hazard  T1_V1  T1_V2  T1_V3 T1_V4 T1_V5 T1_V6 T1_V7 T1_V8 T1_V9
Id                                                                 
1        1     15      3      2     N     B     N     B     B     D
2        4     16     14      5     H     B     N     B     B     C
3        1     10     10      5     N     K     N     B     B     E
4        1     18     18      5     N     K     N     B     B     E
5        1     13     19      5     N     H     N     B     B     E
    T1_V10 T1_V11 T1_V12  T1_V13  T1_V14 T1_V15 T1_V16 T1_V17  T2_V1  T2_V2
Id                                                                         
1        7      B      B      15       1      A      B      N     36     11
2       12      B      B      10       3      A      B      Y     78     10
3       12      H      B      15       1      A      R      Y     71     21
4        3      H      B      15       1      A      R      N     71     13
5        7      H      B      10       1      A      J      N     75     10
   T2_V3  T2_V4 T2_V5  T2_V6  T2_V7  T2_V8  T2_V9  T2_V10 T2_V11 T2_V12
Id                                                                     
1      N     10     B      2     37      1     11       6      Y      N
2      Y     17     C      2     22      1     18       5      Y      Y
3      Y     13     C      6     37      2     14       6      Y      Y
4      N     15     A      2     25      1      1       6      Y      N
5      Y     11     B      1     22      1      2       7      N      N
   T2_V13  T2_V14  T2_V15
Id                       
1       E       2       2
2       E       2       1
3       E       6       1
4       C       2       6
5       E       1       1
==========================
    T1_V1  T1_V2  T1_V3 T1_V4 T1_V5 T1_V6 T1_V7 T1_V8 T1_V9  T1_V10  ...    \
Id                                                                   ...     
6       2     13      4     C     A     Y     B     B     D      12  ...     
7      10     10      7     N     C     Y     B     B     D       8  ...     
8       9     20      4     N     H     Y     B     B     E       8  ...     
9      11     18      2     N     H     Y     B     B     D      12  ...     
10      4      5      4     H     K     Y     B     B     E       8  ...     

   T2_V6 T2_V7  T2_V8  T2_V9 T2_V10 T2_V11 T2_V12  T2_V13  T2_V14 T2_V15  
Id                                                                        
6      2    28      1     22      6      Y      N       E       2      7  
7      3    28      1      4      3      Y      N       E       5      8  
8      2    22      1      1      7      N      N       C       6      1  
9      4    40      1     20      6      Y      N       E       5      5  
10     2    34      1     11      7      Y      Y       E       2      1  

[5 rows x 32 columns]
Harzard
[ 1  4  5  7 15 14  8 16  6 11  3 13  2 18 10 17 22  9 21 20 12 19 37 23 28
 27 31 38 41 26 33 29 30 25 24 36 51 42 34 46 32 69 40 35 44 39 49 52 63 64]
count     50999
unique       50
top           1
freq      18981
Name: Hazard, dtype: int64
1     18981
4      8273
2      6145
5      3645
7      3284
3      2025
8      1783
6      1407
10     1311
11      800
9       739
13      560
14      389
12      379
16      235
17      194
15      174
19      138
18      103
20       98
22       71
25       44
23       42
28       32
21       31
26       25
24       14
29       14
30        9
31        8
34        8
32        6
27        5
42        4
40        2
37        2
35        2
36        2
46        2
38        2
41        2
44        1
69        1
39        1
49        1
51        1
52        1
33        1
64        1
63        1
dtype: int64
Out[4]:
<matplotlib.axes.AxesSubplot at 0x7fb1381c53d0>

Spliting data in categorical and numeric


In [5]:
num_names = ['T1_V1','T1_V2','T1_V3','T1_V10','T1_V13','T1_V14',
             'T2_V1','T2_V2','T2_V4','T2_V6','T2_V7','T2_V8','T2_V9','T2_V10',
             'T2_V14','T2_V15']

train_num = train[num_names]
train_num['Hazard'] = train['Hazard']

train_cat = train.drop(train_num.columns,axis=1)

d = train_num.groupby('Hazard').describe()
d.to_excel('train_num_describe.xlsx')

for c in train_cat.columns:
    print "cols: " + c 
    train_cat[c] = train_cat[c].astype('category')
    
train_cat['Hazard'] =  train['Hazard']

d = train_cat.groupby('Hazard').describe()
d.to_excel('train_cat_describe.xlsx')

print train_num.columns
print train_cat.columns
print len(train_cat.columns)


cols: T1_V4
cols: T1_V5
cols: T1_V6
cols: T1_V7
cols: T1_V8
cols: T1_V9
cols: T1_V11
cols: T1_V12
cols: T1_V15
cols: T1_V16
cols: T1_V17
cols: T2_V3
cols: T2_V5
cols: T2_V11
cols: T2_V12
cols: T2_V13
Index([u'T1_V1', u'T1_V2', u'T1_V3', u'T1_V10', u'T1_V13', u'T1_V14', u'T2_V1',
       u'T2_V2', u'T2_V4', u'T2_V6', u'T2_V7', u'T2_V8', u'T2_V9', u'T2_V10',
       u'T2_V14', u'T2_V15', u'Hazard'],
      dtype='object')
Index([u'T1_V4', u'T1_V5', u'T1_V6', u'T1_V7', u'T1_V8', u'T1_V9', u'T1_V11',
       u'T1_V12', u'T1_V15', u'T1_V16', u'T1_V17', u'T2_V3', u'T2_V5',
       u'T2_V11', u'T2_V12', u'T2_V13', u'Hazard'],
      dtype='object')
17

Vou treinar apenas com valores numericos e submeter

Prepaing training data


In [6]:
train2 = train_num
test2 = test[ num_names ]

train2.drop('Hazard', axis=1, inplace=True)
train2.drop('T2_V10', axis=1, inplace=True)
train2.drop('T2_V7', axis=1, inplace=True)
train2.drop('T1_V13', axis=1, inplace=True)
train2.drop('T1_V10', axis=1, inplace=True)

test2.drop('T2_V10', axis=1, inplace=True)
test2.drop('T2_V7', axis=1, inplace=True)
test2.drop('T1_V13', axis=1, inplace=True)
test2.drop('T1_V10', axis=1, inplace=True)

columns = train2.columns
test_ind = test2.index

train2 = np.array(train2)
test2 = np.array(test2)

train2 = train2.astype(float)
test2 = test2.astype(float)

Seting model parameters


In [7]:
params = {}
params["objective"] = "count:poisson" # "reg:linear" 
params["eta"] = 0.01
params["min_child_weight"] = 5
params["subsample"] = 0.8
params["colsample_bytree"] = 0.8
params["scale_pos_weight"] = 1.0
params["silent"] = 1
params["max_depth"] = 7

plst = list(params.items())
print "Prameters list"
print plst

#Using 5000 rows for early stopping. 
offset = 5000

num_rounds = 2000
xgtest = xgb.DMatrix(test2)

#create a train and validation dmatrices 
xgtrain = xgb.DMatrix(train2[offset:,:], label=labels[offset:])
xgval = xgb.DMatrix(train2[:offset,:], label=labels[:offset])

print "number of row xgtest"
print xgtest.num_row()

print "number of row xgtrain"
print xgtrain.num_row()

print "number of row xgval"
print xgval.num_row()


Prameters list
[('colsample_bytree', 0.8), ('silent', 1), ('scale_pos_weight', 1.0), ('min_child_weight', 5), ('subsample', 0.8), ('eta', 0.01), ('objective', 'count:poisson'), ('max_depth', 7)]
number of row xgtest
51000
number of row xgtrain
45999
number of row xgval
5000

Training XGBoost


In [110]:
#train using early stopping and predict
watchlist = [(xgtrain, 'train'),(xgval, 'val')]
model = xgb.train(plst, xgtrain, num_rounds, watchlist, early_stopping_rounds=4)


Will train until val error hasn't decreased in 4 rounds.
[0]	train-poisson-nloglik:7.748582	val-poisson-nloglik:7.743787
[1]	train-poisson-nloglik:7.624473	val-poisson-nloglik:7.622368
[2]	train-poisson-nloglik:7.504927	val-poisson-nloglik:7.505981
[3]	train-poisson-nloglik:7.390171	val-poisson-nloglik:7.393491
[4]	train-poisson-nloglik:7.280508	val-poisson-nloglik:7.286644
[5]	train-poisson-nloglik:7.177418	val-poisson-nloglik:7.185169
[6]	train-poisson-nloglik:7.076573	val-poisson-nloglik:7.086986
[7]	train-poisson-nloglik:6.979118	val-poisson-nloglik:6.991869
[8]	train-poisson-nloglik:6.885623	val-poisson-nloglik:6.901284
[9]	train-poisson-nloglik:6.795157	val-poisson-nloglik:6.813022
[10]	train-poisson-nloglik:6.708952	val-poisson-nloglik:6.728809
[11]	train-poisson-nloglik:6.625021	val-poisson-nloglik:6.647200
[12]	train-poisson-nloglik:6.544561	val-poisson-nloglik:6.568554
[13]	train-poisson-nloglik:6.466162	val-poisson-nloglik:6.492344
[14]	train-poisson-nloglik:6.390069	val-poisson-nloglik:6.418249
[15]	train-poisson-nloglik:6.317288	val-poisson-nloglik:6.347350
[16]	train-poisson-nloglik:6.246408	val-poisson-nloglik:6.278274
[17]	train-poisson-nloglik:6.177884	val-poisson-nloglik:6.211160
[18]	train-poisson-nloglik:6.111647	val-poisson-nloglik:6.146354
[19]	train-poisson-nloglik:6.047804	val-poisson-nloglik:6.083735
[20]	train-poisson-nloglik:5.984536	val-poisson-nloglik:6.022174
[21]	train-poisson-nloglik:5.924023	val-poisson-nloglik:5.962290
[22]	train-poisson-nloglik:5.864278	val-poisson-nloglik:5.904445
[23]	train-poisson-nloglik:5.806727	val-poisson-nloglik:5.848485
[24]	train-poisson-nloglik:5.750432	val-poisson-nloglik:5.794058
[25]	train-poisson-nloglik:5.695853	val-poisson-nloglik:5.740719
[26]	train-poisson-nloglik:5.643101	val-poisson-nloglik:5.689823
[27]	train-poisson-nloglik:5.591344	val-poisson-nloglik:5.639505
[28]	train-poisson-nloglik:5.540826	val-poisson-nloglik:5.590307
[29]	train-poisson-nloglik:5.492143	val-poisson-nloglik:5.542480
[30]	train-poisson-nloglik:5.444589	val-poisson-nloglik:5.495812
[31]	train-poisson-nloglik:5.397835	val-poisson-nloglik:5.450407
[32]	train-poisson-nloglik:5.352682	val-poisson-nloglik:5.406466
[33]	train-poisson-nloglik:5.308351	val-poisson-nloglik:5.363405
[34]	train-poisson-nloglik:5.265243	val-poisson-nloglik:5.321167
[35]	train-poisson-nloglik:5.223210	val-poisson-nloglik:5.280075
[36]	train-poisson-nloglik:5.181664	val-poisson-nloglik:5.239721
[37]	train-poisson-nloglik:5.141671	val-poisson-nloglik:5.200907
[38]	train-poisson-nloglik:5.102286	val-poisson-nloglik:5.162707
[39]	train-poisson-nloglik:5.064028	val-poisson-nloglik:5.125388
[40]	train-poisson-nloglik:5.026709	val-poisson-nloglik:5.089050
[41]	train-poisson-nloglik:4.990119	val-poisson-nloglik:5.053581
[42]	train-poisson-nloglik:4.954069	val-poisson-nloglik:5.018576
[43]	train-poisson-nloglik:4.918878	val-poisson-nloglik:4.984447
[44]	train-poisson-nloglik:4.884509	val-poisson-nloglik:4.950992
[45]	train-poisson-nloglik:4.850843	val-poisson-nloglik:4.917923
[46]	train-poisson-nloglik:4.817857	val-poisson-nloglik:4.886109
[47]	train-poisson-nloglik:4.785390	val-poisson-nloglik:4.854666
[48]	train-poisson-nloglik:4.753643	val-poisson-nloglik:4.823704
[49]	train-poisson-nloglik:4.722900	val-poisson-nloglik:4.793792
[50]	train-poisson-nloglik:4.692877	val-poisson-nloglik:4.764444
[51]	train-poisson-nloglik:4.662897	val-poisson-nloglik:4.735417
[52]	train-poisson-nloglik:4.633677	val-poisson-nloglik:4.707117
[53]	train-poisson-nloglik:4.604986	val-poisson-nloglik:4.679176
[54]	train-poisson-nloglik:4.577396	val-poisson-nloglik:4.652136
[55]	train-poisson-nloglik:4.549970	val-poisson-nloglik:4.625410
[56]	train-poisson-nloglik:4.523170	val-poisson-nloglik:4.599455
[57]	train-poisson-nloglik:4.496933	val-poisson-nloglik:4.573846
[58]	train-poisson-nloglik:4.471139	val-poisson-nloglik:4.548903
[59]	train-poisson-nloglik:4.445807	val-poisson-nloglik:4.524494
[60]	train-poisson-nloglik:4.420653	val-poisson-nloglik:4.500214
[61]	train-poisson-nloglik:4.396166	val-poisson-nloglik:4.476326
[62]	train-poisson-nloglik:4.372195	val-poisson-nloglik:4.453091
[63]	train-poisson-nloglik:4.348705	val-poisson-nloglik:4.430307
[64]	train-poisson-nloglik:4.325690	val-poisson-nloglik:4.407899
[65]	train-poisson-nloglik:4.303099	val-poisson-nloglik:4.386086
[66]	train-poisson-nloglik:4.281031	val-poisson-nloglik:4.364708
[67]	train-poisson-nloglik:4.259382	val-poisson-nloglik:4.343484
[68]	train-poisson-nloglik:4.237911	val-poisson-nloglik:4.322690
[69]	train-poisson-nloglik:4.217003	val-poisson-nloglik:4.302267
[70]	train-poisson-nloglik:4.196318	val-poisson-nloglik:4.282187
[71]	train-poisson-nloglik:4.176159	val-poisson-nloglik:4.262567
[72]	train-poisson-nloglik:4.156265	val-poisson-nloglik:4.243352
[73]	train-poisson-nloglik:4.136834	val-poisson-nloglik:4.224456
[74]	train-poisson-nloglik:4.117445	val-poisson-nloglik:4.205855
[75]	train-poisson-nloglik:4.098564	val-poisson-nloglik:4.187404
[76]	train-poisson-nloglik:4.079936	val-poisson-nloglik:4.169417
[77]	train-poisson-nloglik:4.061627	val-poisson-nloglik:4.151745
[78]	train-poisson-nloglik:4.043573	val-poisson-nloglik:4.134243
[79]	train-poisson-nloglik:4.025922	val-poisson-nloglik:4.117244
[80]	train-poisson-nloglik:4.008535	val-poisson-nloglik:4.100218
[81]	train-poisson-nloglik:3.991428	val-poisson-nloglik:4.083898
[82]	train-poisson-nloglik:3.974485	val-poisson-nloglik:4.067518
[83]	train-poisson-nloglik:3.957860	val-poisson-nloglik:4.051494
[84]	train-poisson-nloglik:3.941436	val-poisson-nloglik:4.035779
[85]	train-poisson-nloglik:3.925530	val-poisson-nloglik:4.020368
[86]	train-poisson-nloglik:3.909906	val-poisson-nloglik:4.005250
[87]	train-poisson-nloglik:3.894303	val-poisson-nloglik:3.990025
[88]	train-poisson-nloglik:3.879105	val-poisson-nloglik:3.975485
[89]	train-poisson-nloglik:3.864308	val-poisson-nloglik:3.960955
[90]	train-poisson-nloglik:3.849469	val-poisson-nloglik:3.946609
[91]	train-poisson-nloglik:3.835097	val-poisson-nloglik:3.932626
[92]	train-poisson-nloglik:3.820929	val-poisson-nloglik:3.918971
[93]	train-poisson-nloglik:3.807007	val-poisson-nloglik:3.905391
[94]	train-poisson-nloglik:3.793214	val-poisson-nloglik:3.892191
[95]	train-poisson-nloglik:3.779751	val-poisson-nloglik:3.879014
[96]	train-poisson-nloglik:3.766437	val-poisson-nloglik:3.866066
[97]	train-poisson-nloglik:3.753440	val-poisson-nloglik:3.853486
[98]	train-poisson-nloglik:3.740590	val-poisson-nloglik:3.841169
[99]	train-poisson-nloglik:3.727886	val-poisson-nloglik:3.828962
[100]	train-poisson-nloglik:3.715042	val-poisson-nloglik:3.816799
[101]	train-poisson-nloglik:3.702752	val-poisson-nloglik:3.804975
[102]	train-poisson-nloglik:3.690598	val-poisson-nloglik:3.793108
[103]	train-poisson-nloglik:3.678738	val-poisson-nloglik:3.781528
[104]	train-poisson-nloglik:3.666955	val-poisson-nloglik:3.770085
[105]	train-poisson-nloglik:3.655371	val-poisson-nloglik:3.758935
[106]	train-poisson-nloglik:3.644007	val-poisson-nloglik:3.747984
[107]	train-poisson-nloglik:3.632701	val-poisson-nloglik:3.737111
[108]	train-poisson-nloglik:3.621666	val-poisson-nloglik:3.726442
[109]	train-poisson-nloglik:3.610835	val-poisson-nloglik:3.715940
[110]	train-poisson-nloglik:3.600078	val-poisson-nloglik:3.705575
[111]	train-poisson-nloglik:3.589460	val-poisson-nloglik:3.695232
[112]	train-poisson-nloglik:3.578998	val-poisson-nloglik:3.685130
[113]	train-poisson-nloglik:3.568746	val-poisson-nloglik:3.675347
[114]	train-poisson-nloglik:3.558510	val-poisson-nloglik:3.665519
[115]	train-poisson-nloglik:3.548536	val-poisson-nloglik:3.655909
[116]	train-poisson-nloglik:3.538630	val-poisson-nloglik:3.646341
[117]	train-poisson-nloglik:3.528644	val-poisson-nloglik:3.636652
[118]	train-poisson-nloglik:3.519120	val-poisson-nloglik:3.627373
[119]	train-poisson-nloglik:3.509720	val-poisson-nloglik:3.618279
[120]	train-poisson-nloglik:3.500370	val-poisson-nloglik:3.609299
[121]	train-poisson-nloglik:3.491148	val-poisson-nloglik:3.600288
[122]	train-poisson-nloglik:3.482078	val-poisson-nloglik:3.591616
[123]	train-poisson-nloglik:3.473092	val-poisson-nloglik:3.583032
[124]	train-poisson-nloglik:3.464261	val-poisson-nloglik:3.574653
[125]	train-poisson-nloglik:3.455538	val-poisson-nloglik:3.566168
[126]	train-poisson-nloglik:3.446941	val-poisson-nloglik:3.558023
[127]	train-poisson-nloglik:3.438401	val-poisson-nloglik:3.549859
[128]	train-poisson-nloglik:3.429928	val-poisson-nloglik:3.541782
[129]	train-poisson-nloglik:3.421690	val-poisson-nloglik:3.533973
[130]	train-poisson-nloglik:3.413441	val-poisson-nloglik:3.526103
[131]	train-poisson-nloglik:3.405476	val-poisson-nloglik:3.518405
[132]	train-poisson-nloglik:3.397605	val-poisson-nloglik:3.510803
[133]	train-poisson-nloglik:3.389781	val-poisson-nloglik:3.503413
[134]	train-poisson-nloglik:3.382026	val-poisson-nloglik:3.496026
[135]	train-poisson-nloglik:3.374340	val-poisson-nloglik:3.488720
[136]	train-poisson-nloglik:3.366790	val-poisson-nloglik:3.481520
[137]	train-poisson-nloglik:3.359407	val-poisson-nloglik:3.474371
[138]	train-poisson-nloglik:3.352254	val-poisson-nloglik:3.467404
[139]	train-poisson-nloglik:3.345145	val-poisson-nloglik:3.460454
[140]	train-poisson-nloglik:3.338048	val-poisson-nloglik:3.453676
[141]	train-poisson-nloglik:3.331007	val-poisson-nloglik:3.446941
[142]	train-poisson-nloglik:3.324008	val-poisson-nloglik:3.440430
[143]	train-poisson-nloglik:3.317229	val-poisson-nloglik:3.433820
[144]	train-poisson-nloglik:3.310483	val-poisson-nloglik:3.427338
[145]	train-poisson-nloglik:3.303708	val-poisson-nloglik:3.420887
[146]	train-poisson-nloglik:3.297062	val-poisson-nloglik:3.414629
[147]	train-poisson-nloglik:3.290514	val-poisson-nloglik:3.408346
[148]	train-poisson-nloglik:3.284220	val-poisson-nloglik:3.402398
[149]	train-poisson-nloglik:3.277925	val-poisson-nloglik:3.396326
[150]	train-poisson-nloglik:3.271644	val-poisson-nloglik:3.390429
[151]	train-poisson-nloglik:3.265508	val-poisson-nloglik:3.384619
[152]	train-poisson-nloglik:3.259397	val-poisson-nloglik:3.378805
[153]	train-poisson-nloglik:3.253393	val-poisson-nloglik:3.373104
[154]	train-poisson-nloglik:3.247486	val-poisson-nloglik:3.367613
[155]	train-poisson-nloglik:3.241602	val-poisson-nloglik:3.362018
[156]	train-poisson-nloglik:3.235927	val-poisson-nloglik:3.356558
[157]	train-poisson-nloglik:3.230222	val-poisson-nloglik:3.351098
[158]	train-poisson-nloglik:3.224636	val-poisson-nloglik:3.345812
[159]	train-poisson-nloglik:3.219135	val-poisson-nloglik:3.340519
[160]	train-poisson-nloglik:3.213752	val-poisson-nloglik:3.335246
[161]	train-poisson-nloglik:3.208247	val-poisson-nloglik:3.330132
[162]	train-poisson-nloglik:3.202921	val-poisson-nloglik:3.325065
[163]	train-poisson-nloglik:3.197656	val-poisson-nloglik:3.320016
[164]	train-poisson-nloglik:3.192541	val-poisson-nloglik:3.315165
[165]	train-poisson-nloglik:3.187345	val-poisson-nloglik:3.310315
[166]	train-poisson-nloglik:3.182333	val-poisson-nloglik:3.305524
[167]	train-poisson-nloglik:3.177288	val-poisson-nloglik:3.300816
[168]	train-poisson-nloglik:3.172363	val-poisson-nloglik:3.296181
[169]	train-poisson-nloglik:3.167476	val-poisson-nloglik:3.291568
[170]	train-poisson-nloglik:3.162627	val-poisson-nloglik:3.286911
[171]	train-poisson-nloglik:3.157861	val-poisson-nloglik:3.282405
[172]	train-poisson-nloglik:3.153152	val-poisson-nloglik:3.277986
[173]	train-poisson-nloglik:3.148396	val-poisson-nloglik:3.273439
[174]	train-poisson-nloglik:3.143781	val-poisson-nloglik:3.269197
[175]	train-poisson-nloglik:3.139186	val-poisson-nloglik:3.264939
[176]	train-poisson-nloglik:3.134685	val-poisson-nloglik:3.260731
[177]	train-poisson-nloglik:3.130264	val-poisson-nloglik:3.256582
[178]	train-poisson-nloglik:3.125932	val-poisson-nloglik:3.252400
[179]	train-poisson-nloglik:3.121554	val-poisson-nloglik:3.248460
[180]	train-poisson-nloglik:3.117261	val-poisson-nloglik:3.244472
[181]	train-poisson-nloglik:3.113073	val-poisson-nloglik:3.240551
[182]	train-poisson-nloglik:3.108977	val-poisson-nloglik:3.236616
[183]	train-poisson-nloglik:3.104880	val-poisson-nloglik:3.232739
[184]	train-poisson-nloglik:3.100868	val-poisson-nloglik:3.228952
[185]	train-poisson-nloglik:3.096801	val-poisson-nloglik:3.225266
[186]	train-poisson-nloglik:3.092887	val-poisson-nloglik:3.221602
[187]	train-poisson-nloglik:3.089026	val-poisson-nloglik:3.218005
[188]	train-poisson-nloglik:3.085049	val-poisson-nloglik:3.214288
[189]	train-poisson-nloglik:3.081315	val-poisson-nloglik:3.210699
[190]	train-poisson-nloglik:3.077498	val-poisson-nloglik:3.207164
[191]	train-poisson-nloglik:3.073738	val-poisson-nloglik:3.203635
[192]	train-poisson-nloglik:3.070037	val-poisson-nloglik:3.200148
[193]	train-poisson-nloglik:3.066357	val-poisson-nloglik:3.196666
[194]	train-poisson-nloglik:3.062803	val-poisson-nloglik:3.193309
[195]	train-poisson-nloglik:3.059187	val-poisson-nloglik:3.189979
[196]	train-poisson-nloglik:3.055780	val-poisson-nloglik:3.186689
[197]	train-poisson-nloglik:3.052229	val-poisson-nloglik:3.183447
[198]	train-poisson-nloglik:3.048834	val-poisson-nloglik:3.180316
[199]	train-poisson-nloglik:3.045464	val-poisson-nloglik:3.177200
[200]	train-poisson-nloglik:3.042188	val-poisson-nloglik:3.174096
[201]	train-poisson-nloglik:3.038935	val-poisson-nloglik:3.171030
[202]	train-poisson-nloglik:3.035646	val-poisson-nloglik:3.167954
[203]	train-poisson-nloglik:3.032337	val-poisson-nloglik:3.164922
[204]	train-poisson-nloglik:3.029084	val-poisson-nloglik:3.161916
[205]	train-poisson-nloglik:3.025887	val-poisson-nloglik:3.158957
[206]	train-poisson-nloglik:3.022746	val-poisson-nloglik:3.156054
[207]	train-poisson-nloglik:3.019603	val-poisson-nloglik:3.153208
[208]	train-poisson-nloglik:3.016500	val-poisson-nloglik:3.150462
[209]	train-poisson-nloglik:3.013411	val-poisson-nloglik:3.147688
[210]	train-poisson-nloglik:3.010369	val-poisson-nloglik:3.144892
[211]	train-poisson-nloglik:3.007351	val-poisson-nloglik:3.142143
[212]	train-poisson-nloglik:3.004412	val-poisson-nloglik:3.139383
[213]	train-poisson-nloglik:3.001470	val-poisson-nloglik:3.136747
[214]	train-poisson-nloglik:2.998606	val-poisson-nloglik:3.134174
[215]	train-poisson-nloglik:2.995758	val-poisson-nloglik:3.131483
[216]	train-poisson-nloglik:2.992987	val-poisson-nloglik:3.128892
[217]	train-poisson-nloglik:2.990238	val-poisson-nloglik:3.126380
[218]	train-poisson-nloglik:2.987498	val-poisson-nloglik:3.123853
[219]	train-poisson-nloglik:2.984776	val-poisson-nloglik:3.121303
[220]	train-poisson-nloglik:2.982123	val-poisson-nloglik:3.118836
[221]	train-poisson-nloglik:2.979445	val-poisson-nloglik:3.116350
[222]	train-poisson-nloglik:2.976730	val-poisson-nloglik:3.113995
[223]	train-poisson-nloglik:2.974140	val-poisson-nloglik:3.111642
[224]	train-poisson-nloglik:2.971627	val-poisson-nloglik:3.109287
[225]	train-poisson-nloglik:2.969102	val-poisson-nloglik:3.106986
[226]	train-poisson-nloglik:2.966567	val-poisson-nloglik:3.104700
[227]	train-poisson-nloglik:2.964029	val-poisson-nloglik:3.102330
[228]	train-poisson-nloglik:2.961563	val-poisson-nloglik:3.100112
[229]	train-poisson-nloglik:2.959173	val-poisson-nloglik:3.097986
[230]	train-poisson-nloglik:2.956714	val-poisson-nloglik:3.095800
[231]	train-poisson-nloglik:2.954262	val-poisson-nloglik:3.093610
[232]	train-poisson-nloglik:2.951874	val-poisson-nloglik:3.091576
[233]	train-poisson-nloglik:2.949611	val-poisson-nloglik:3.089513
[234]	train-poisson-nloglik:2.947352	val-poisson-nloglik:3.087431
[235]	train-poisson-nloglik:2.945084	val-poisson-nloglik:3.085313
[236]	train-poisson-nloglik:2.942699	val-poisson-nloglik:3.083149
[237]	train-poisson-nloglik:2.940438	val-poisson-nloglik:3.081156
[238]	train-poisson-nloglik:2.938158	val-poisson-nloglik:3.079083
[239]	train-poisson-nloglik:2.936001	val-poisson-nloglik:3.077118
[240]	train-poisson-nloglik:2.933879	val-poisson-nloglik:3.075133
[241]	train-poisson-nloglik:2.931810	val-poisson-nloglik:3.073163
[242]	train-poisson-nloglik:2.929652	val-poisson-nloglik:3.071221
[243]	train-poisson-nloglik:2.927474	val-poisson-nloglik:3.069452
[244]	train-poisson-nloglik:2.925355	val-poisson-nloglik:3.067608
[245]	train-poisson-nloglik:2.923305	val-poisson-nloglik:3.065766
[246]	train-poisson-nloglik:2.921249	val-poisson-nloglik:3.063951
[247]	train-poisson-nloglik:2.919203	val-poisson-nloglik:3.062109
[248]	train-poisson-nloglik:2.917245	val-poisson-nloglik:3.060331
[249]	train-poisson-nloglik:2.915299	val-poisson-nloglik:3.058508
[250]	train-poisson-nloglik:2.913368	val-poisson-nloglik:3.056771
[251]	train-poisson-nloglik:2.911447	val-poisson-nloglik:3.054996
[252]	train-poisson-nloglik:2.909499	val-poisson-nloglik:3.053281
[253]	train-poisson-nloglik:2.907645	val-poisson-nloglik:3.051598
[254]	train-poisson-nloglik:2.905800	val-poisson-nloglik:3.049913
[255]	train-poisson-nloglik:2.903873	val-poisson-nloglik:3.048214
[256]	train-poisson-nloglik:2.902099	val-poisson-nloglik:3.046562
[257]	train-poisson-nloglik:2.900338	val-poisson-nloglik:3.044989
[258]	train-poisson-nloglik:2.898569	val-poisson-nloglik:3.043349
[259]	train-poisson-nloglik:2.896838	val-poisson-nloglik:3.041763
[260]	train-poisson-nloglik:2.895099	val-poisson-nloglik:3.040250
[261]	train-poisson-nloglik:2.893333	val-poisson-nloglik:3.038757
[262]	train-poisson-nloglik:2.891606	val-poisson-nloglik:3.037268
[263]	train-poisson-nloglik:2.889875	val-poisson-nloglik:3.035737
[264]	train-poisson-nloglik:2.888216	val-poisson-nloglik:3.034247
[265]	train-poisson-nloglik:2.886555	val-poisson-nloglik:3.032747
[266]	train-poisson-nloglik:2.884931	val-poisson-nloglik:3.031375
[267]	train-poisson-nloglik:2.883331	val-poisson-nloglik:3.029913
[268]	train-poisson-nloglik:2.881747	val-poisson-nloglik:3.028499
[269]	train-poisson-nloglik:2.880159	val-poisson-nloglik:3.027095
[270]	train-poisson-nloglik:2.878626	val-poisson-nloglik:3.025706
[271]	train-poisson-nloglik:2.877151	val-poisson-nloglik:3.024363
[272]	train-poisson-nloglik:2.875591	val-poisson-nloglik:3.022943
[273]	train-poisson-nloglik:2.874017	val-poisson-nloglik:3.021651
[274]	train-poisson-nloglik:2.872553	val-poisson-nloglik:3.020317
[275]	train-poisson-nloglik:2.871090	val-poisson-nloglik:3.019037
[276]	train-poisson-nloglik:2.869671	val-poisson-nloglik:3.017715
[277]	train-poisson-nloglik:2.868219	val-poisson-nloglik:3.016396
[278]	train-poisson-nloglik:2.866762	val-poisson-nloglik:3.015173
[279]	train-poisson-nloglik:2.865233	val-poisson-nloglik:3.013821
[280]	train-poisson-nloglik:2.863775	val-poisson-nloglik:3.012588
[281]	train-poisson-nloglik:2.862335	val-poisson-nloglik:3.011327
[282]	train-poisson-nloglik:2.860844	val-poisson-nloglik:3.010002
[283]	train-poisson-nloglik:2.859455	val-poisson-nloglik:3.008784
[284]	train-poisson-nloglik:2.858134	val-poisson-nloglik:3.007616
[285]	train-poisson-nloglik:2.856790	val-poisson-nloglik:3.006514
[286]	train-poisson-nloglik:2.855470	val-poisson-nloglik:3.005347
[287]	train-poisson-nloglik:2.854134	val-poisson-nloglik:3.004231
[288]	train-poisson-nloglik:2.852874	val-poisson-nloglik:3.003088
[289]	train-poisson-nloglik:2.851501	val-poisson-nloglik:3.001919
[290]	train-poisson-nloglik:2.850186	val-poisson-nloglik:3.000892
[291]	train-poisson-nloglik:2.848853	val-poisson-nloglik:2.999802
[292]	train-poisson-nloglik:2.847596	val-poisson-nloglik:2.998741
[293]	train-poisson-nloglik:2.846334	val-poisson-nloglik:2.997652
[294]	train-poisson-nloglik:2.845201	val-poisson-nloglik:2.996586
[295]	train-poisson-nloglik:2.843973	val-poisson-nloglik:2.995526
[296]	train-poisson-nloglik:2.842675	val-poisson-nloglik:2.994405
[297]	train-poisson-nloglik:2.841428	val-poisson-nloglik:2.993400
[298]	train-poisson-nloglik:2.840211	val-poisson-nloglik:2.992375
[299]	train-poisson-nloglik:2.839060	val-poisson-nloglik:2.991389
[300]	train-poisson-nloglik:2.837913	val-poisson-nloglik:2.990407
[301]	train-poisson-nloglik:2.836698	val-poisson-nloglik:2.989341
[302]	train-poisson-nloglik:2.835612	val-poisson-nloglik:2.988374
[303]	train-poisson-nloglik:2.834452	val-poisson-nloglik:2.987442
[304]	train-poisson-nloglik:2.833289	val-poisson-nloglik:2.986409
[305]	train-poisson-nloglik:2.832175	val-poisson-nloglik:2.985425
[306]	train-poisson-nloglik:2.831093	val-poisson-nloglik:2.984421
[307]	train-poisson-nloglik:2.830014	val-poisson-nloglik:2.983548
[308]	train-poisson-nloglik:2.828945	val-poisson-nloglik:2.982633
[309]	train-poisson-nloglik:2.827827	val-poisson-nloglik:2.981702
[310]	train-poisson-nloglik:2.826809	val-poisson-nloglik:2.980745
[311]	train-poisson-nloglik:2.825736	val-poisson-nloglik:2.979771
[312]	train-poisson-nloglik:2.824709	val-poisson-nloglik:2.978890
[313]	train-poisson-nloglik:2.823705	val-poisson-nloglik:2.978025
[314]	train-poisson-nloglik:2.822729	val-poisson-nloglik:2.977223
[315]	train-poisson-nloglik:2.821717	val-poisson-nloglik:2.976314
[316]	train-poisson-nloglik:2.820678	val-poisson-nloglik:2.975497
[317]	train-poisson-nloglik:2.819743	val-poisson-nloglik:2.974626
[318]	train-poisson-nloglik:2.818710	val-poisson-nloglik:2.973819
[319]	train-poisson-nloglik:2.817806	val-poisson-nloglik:2.973054
[320]	train-poisson-nloglik:2.816916	val-poisson-nloglik:2.972281
[321]	train-poisson-nloglik:2.815931	val-poisson-nloglik:2.971533
[322]	train-poisson-nloglik:2.814966	val-poisson-nloglik:2.970694
[323]	train-poisson-nloglik:2.814103	val-poisson-nloglik:2.969938
[324]	train-poisson-nloglik:2.813178	val-poisson-nloglik:2.969177
[325]	train-poisson-nloglik:2.812226	val-poisson-nloglik:2.968428
[326]	train-poisson-nloglik:2.811364	val-poisson-nloglik:2.967701
[327]	train-poisson-nloglik:2.810471	val-poisson-nloglik:2.966914
[328]	train-poisson-nloglik:2.809653	val-poisson-nloglik:2.966183
[329]	train-poisson-nloglik:2.808772	val-poisson-nloglik:2.965458
[330]	train-poisson-nloglik:2.807889	val-poisson-nloglik:2.964753
[331]	train-poisson-nloglik:2.807017	val-poisson-nloglik:2.964066
[332]	train-poisson-nloglik:2.806111	val-poisson-nloglik:2.963353
[333]	train-poisson-nloglik:2.805218	val-poisson-nloglik:2.962656
[334]	train-poisson-nloglik:2.804303	val-poisson-nloglik:2.962074
[335]	train-poisson-nloglik:2.803493	val-poisson-nloglik:2.961454
[336]	train-poisson-nloglik:2.802681	val-poisson-nloglik:2.960721
[337]	train-poisson-nloglik:2.801877	val-poisson-nloglik:2.960067
[338]	train-poisson-nloglik:2.801126	val-poisson-nloglik:2.959457
[339]	train-poisson-nloglik:2.800292	val-poisson-nloglik:2.958806
[340]	train-poisson-nloglik:2.799521	val-poisson-nloglik:2.958210
[341]	train-poisson-nloglik:2.798725	val-poisson-nloglik:2.957562
[342]	train-poisson-nloglik:2.797929	val-poisson-nloglik:2.956938
[343]	train-poisson-nloglik:2.797068	val-poisson-nloglik:2.956265
[344]	train-poisson-nloglik:2.796331	val-poisson-nloglik:2.955671
[345]	train-poisson-nloglik:2.795590	val-poisson-nloglik:2.955111
[346]	train-poisson-nloglik:2.794817	val-poisson-nloglik:2.954478
[347]	train-poisson-nloglik:2.794010	val-poisson-nloglik:2.953881
[348]	train-poisson-nloglik:2.793293	val-poisson-nloglik:2.953309
[349]	train-poisson-nloglik:2.792536	val-poisson-nloglik:2.952747
[350]	train-poisson-nloglik:2.791854	val-poisson-nloglik:2.952200
[351]	train-poisson-nloglik:2.791085	val-poisson-nloglik:2.951675
[352]	train-poisson-nloglik:2.790349	val-poisson-nloglik:2.951075
[353]	train-poisson-nloglik:2.789671	val-poisson-nloglik:2.950506
[354]	train-poisson-nloglik:2.788973	val-poisson-nloglik:2.949968
[355]	train-poisson-nloglik:2.788318	val-poisson-nloglik:2.949392
[356]	train-poisson-nloglik:2.787607	val-poisson-nloglik:2.948812
[357]	train-poisson-nloglik:2.786974	val-poisson-nloglik:2.948315
[358]	train-poisson-nloglik:2.786249	val-poisson-nloglik:2.947830
[359]	train-poisson-nloglik:2.785560	val-poisson-nloglik:2.947375
[360]	train-poisson-nloglik:2.784899	val-poisson-nloglik:2.946857
[361]	train-poisson-nloglik:2.784268	val-poisson-nloglik:2.946321
[362]	train-poisson-nloglik:2.783612	val-poisson-nloglik:2.945839
[363]	train-poisson-nloglik:2.782931	val-poisson-nloglik:2.945285
[364]	train-poisson-nloglik:2.782204	val-poisson-nloglik:2.944734
[365]	train-poisson-nloglik:2.781592	val-poisson-nloglik:2.944239
[366]	train-poisson-nloglik:2.780937	val-poisson-nloglik:2.943726
[367]	train-poisson-nloglik:2.780360	val-poisson-nloglik:2.943263
[368]	train-poisson-nloglik:2.779792	val-poisson-nloglik:2.942814
[369]	train-poisson-nloglik:2.779124	val-poisson-nloglik:2.942304
[370]	train-poisson-nloglik:2.778468	val-poisson-nloglik:2.941806
[371]	train-poisson-nloglik:2.777699	val-poisson-nloglik:2.941394
[372]	train-poisson-nloglik:2.777198	val-poisson-nloglik:2.940952
[373]	train-poisson-nloglik:2.776525	val-poisson-nloglik:2.940553
[374]	train-poisson-nloglik:2.775948	val-poisson-nloglik:2.940111
[375]	train-poisson-nloglik:2.775307	val-poisson-nloglik:2.939636
[376]	train-poisson-nloglik:2.774750	val-poisson-nloglik:2.939209
[377]	train-poisson-nloglik:2.774077	val-poisson-nloglik:2.938737
[378]	train-poisson-nloglik:2.773442	val-poisson-nloglik:2.938303
[379]	train-poisson-nloglik:2.772859	val-poisson-nloglik:2.937901
[380]	train-poisson-nloglik:2.772284	val-poisson-nloglik:2.937478
[381]	train-poisson-nloglik:2.771611	val-poisson-nloglik:2.936924
[382]	train-poisson-nloglik:2.771046	val-poisson-nloglik:2.936482
[383]	train-poisson-nloglik:2.770489	val-poisson-nloglik:2.936004
[384]	train-poisson-nloglik:2.769903	val-poisson-nloglik:2.935596
[385]	train-poisson-nloglik:2.769390	val-poisson-nloglik:2.935176
[386]	train-poisson-nloglik:2.768792	val-poisson-nloglik:2.934744
[387]	train-poisson-nloglik:2.768204	val-poisson-nloglik:2.934358
[388]	train-poisson-nloglik:2.767667	val-poisson-nloglik:2.934016
[389]	train-poisson-nloglik:2.767124	val-poisson-nloglik:2.933649
[390]	train-poisson-nloglik:2.766586	val-poisson-nloglik:2.933278
[391]	train-poisson-nloglik:2.766012	val-poisson-nloglik:2.932893
[392]	train-poisson-nloglik:2.765511	val-poisson-nloglik:2.932529
[393]	train-poisson-nloglik:2.764988	val-poisson-nloglik:2.932136
[394]	train-poisson-nloglik:2.764452	val-poisson-nloglik:2.931782
[395]	train-poisson-nloglik:2.763858	val-poisson-nloglik:2.931397
[396]	train-poisson-nloglik:2.763274	val-poisson-nloglik:2.931029
[397]	train-poisson-nloglik:2.762772	val-poisson-nloglik:2.930705
[398]	train-poisson-nloglik:2.762305	val-poisson-nloglik:2.930352
[399]	train-poisson-nloglik:2.761736	val-poisson-nloglik:2.929966
[400]	train-poisson-nloglik:2.761195	val-poisson-nloglik:2.929606
[401]	train-poisson-nloglik:2.760688	val-poisson-nloglik:2.929279
[402]	train-poisson-nloglik:2.760267	val-poisson-nloglik:2.928947
[403]	train-poisson-nloglik:2.759762	val-poisson-nloglik:2.928624
[404]	train-poisson-nloglik:2.759241	val-poisson-nloglik:2.928344
[405]	train-poisson-nloglik:2.758824	val-poisson-nloglik:2.928043
[406]	train-poisson-nloglik:2.758338	val-poisson-nloglik:2.927768
[407]	train-poisson-nloglik:2.757802	val-poisson-nloglik:2.927398
[408]	train-poisson-nloglik:2.757370	val-poisson-nloglik:2.927032
[409]	train-poisson-nloglik:2.756958	val-poisson-nloglik:2.926734
[410]	train-poisson-nloglik:2.756461	val-poisson-nloglik:2.926518
[411]	train-poisson-nloglik:2.756002	val-poisson-nloglik:2.926235
[412]	train-poisson-nloglik:2.755634	val-poisson-nloglik:2.925931
[413]	train-poisson-nloglik:2.755215	val-poisson-nloglik:2.925636
[414]	train-poisson-nloglik:2.754724	val-poisson-nloglik:2.925340
[415]	train-poisson-nloglik:2.754309	val-poisson-nloglik:2.925054
[416]	train-poisson-nloglik:2.753844	val-poisson-nloglik:2.924782
[417]	train-poisson-nloglik:2.753404	val-poisson-nloglik:2.924458
[418]	train-poisson-nloglik:2.752964	val-poisson-nloglik:2.924207
[419]	train-poisson-nloglik:2.752562	val-poisson-nloglik:2.923934
[420]	train-poisson-nloglik:2.752107	val-poisson-nloglik:2.923668
[421]	train-poisson-nloglik:2.751721	val-poisson-nloglik:2.923376
[422]	train-poisson-nloglik:2.751304	val-poisson-nloglik:2.923118
[423]	train-poisson-nloglik:2.750915	val-poisson-nloglik:2.922805
[424]	train-poisson-nloglik:2.750510	val-poisson-nloglik:2.922531
[425]	train-poisson-nloglik:2.750082	val-poisson-nloglik:2.922328
[426]	train-poisson-nloglik:2.749625	val-poisson-nloglik:2.922046
[427]	train-poisson-nloglik:2.749191	val-poisson-nloglik:2.921784
[428]	train-poisson-nloglik:2.748733	val-poisson-nloglik:2.921504
[429]	train-poisson-nloglik:2.748406	val-poisson-nloglik:2.921284
[430]	train-poisson-nloglik:2.747943	val-poisson-nloglik:2.921037
[431]	train-poisson-nloglik:2.747575	val-poisson-nloglik:2.920803
[432]	train-poisson-nloglik:2.747178	val-poisson-nloglik:2.920581
[433]	train-poisson-nloglik:2.746868	val-poisson-nloglik:2.920315
[434]	train-poisson-nloglik:2.746475	val-poisson-nloglik:2.920025
[435]	train-poisson-nloglik:2.745999	val-poisson-nloglik:2.919778
[436]	train-poisson-nloglik:2.745591	val-poisson-nloglik:2.919500
[437]	train-poisson-nloglik:2.745202	val-poisson-nloglik:2.919235
[438]	train-poisson-nloglik:2.744802	val-poisson-nloglik:2.919022
[439]	train-poisson-nloglik:2.744393	val-poisson-nloglik:2.918794
[440]	train-poisson-nloglik:2.744035	val-poisson-nloglik:2.918554
[441]	train-poisson-nloglik:2.743648	val-poisson-nloglik:2.918340
[442]	train-poisson-nloglik:2.743335	val-poisson-nloglik:2.918123
[443]	train-poisson-nloglik:2.742968	val-poisson-nloglik:2.917882
[444]	train-poisson-nloglik:2.742610	val-poisson-nloglik:2.917687
[445]	train-poisson-nloglik:2.742195	val-poisson-nloglik:2.917471
[446]	train-poisson-nloglik:2.741786	val-poisson-nloglik:2.917181
[447]	train-poisson-nloglik:2.741445	val-poisson-nloglik:2.916980
[448]	train-poisson-nloglik:2.741140	val-poisson-nloglik:2.916785
[449]	train-poisson-nloglik:2.740809	val-poisson-nloglik:2.916565
[450]	train-poisson-nloglik:2.740529	val-poisson-nloglik:2.916315
[451]	train-poisson-nloglik:2.740190	val-poisson-nloglik:2.916100
[452]	train-poisson-nloglik:2.739843	val-poisson-nloglik:2.915904
[453]	train-poisson-nloglik:2.739455	val-poisson-nloglik:2.915707
[454]	train-poisson-nloglik:2.739008	val-poisson-nloglik:2.915481
[455]	train-poisson-nloglik:2.738659	val-poisson-nloglik:2.915256
[456]	train-poisson-nloglik:2.738301	val-poisson-nloglik:2.915098
[457]	train-poisson-nloglik:2.737906	val-poisson-nloglik:2.914891
[458]	train-poisson-nloglik:2.737557	val-poisson-nloglik:2.914623
[459]	train-poisson-nloglik:2.737255	val-poisson-nloglik:2.914427
[460]	train-poisson-nloglik:2.736955	val-poisson-nloglik:2.914251
[461]	train-poisson-nloglik:2.736685	val-poisson-nloglik:2.914045
[462]	train-poisson-nloglik:2.736374	val-poisson-nloglik:2.913876
[463]	train-poisson-nloglik:2.736002	val-poisson-nloglik:2.913724
[464]	train-poisson-nloglik:2.735593	val-poisson-nloglik:2.913560
[465]	train-poisson-nloglik:2.735331	val-poisson-nloglik:2.913395
[466]	train-poisson-nloglik:2.735104	val-poisson-nloglik:2.913242
[467]	train-poisson-nloglik:2.734827	val-poisson-nloglik:2.913092
[468]	train-poisson-nloglik:2.734555	val-poisson-nloglik:2.912964
[469]	train-poisson-nloglik:2.734282	val-poisson-nloglik:2.912781
[470]	train-poisson-nloglik:2.734021	val-poisson-nloglik:2.912642
[471]	train-poisson-nloglik:2.733712	val-poisson-nloglik:2.912496
[472]	train-poisson-nloglik:2.733378	val-poisson-nloglik:2.912231
[473]	train-poisson-nloglik:2.733055	val-poisson-nloglik:2.912027
[474]	train-poisson-nloglik:2.732766	val-poisson-nloglik:2.911886
[475]	train-poisson-nloglik:2.732435	val-poisson-nloglik:2.911709
[476]	train-poisson-nloglik:2.732082	val-poisson-nloglik:2.911528
[477]	train-poisson-nloglik:2.731758	val-poisson-nloglik:2.911351
[478]	train-poisson-nloglik:2.731401	val-poisson-nloglik:2.911233
[479]	train-poisson-nloglik:2.731058	val-poisson-nloglik:2.911055
[480]	train-poisson-nloglik:2.730818	val-poisson-nloglik:2.910857
[481]	train-poisson-nloglik:2.730515	val-poisson-nloglik:2.910704
[482]	train-poisson-nloglik:2.730219	val-poisson-nloglik:2.910536
[483]	train-poisson-nloglik:2.729960	val-poisson-nloglik:2.910437
[484]	train-poisson-nloglik:2.729613	val-poisson-nloglik:2.910324
[485]	train-poisson-nloglik:2.729328	val-poisson-nloglik:2.910174
[486]	train-poisson-nloglik:2.728970	val-poisson-nloglik:2.910072
[487]	train-poisson-nloglik:2.728673	val-poisson-nloglik:2.909986
[488]	train-poisson-nloglik:2.728364	val-poisson-nloglik:2.909915
[489]	train-poisson-nloglik:2.728050	val-poisson-nloglik:2.909791
[490]	train-poisson-nloglik:2.727739	val-poisson-nloglik:2.909689
[491]	train-poisson-nloglik:2.727468	val-poisson-nloglik:2.909551
[492]	train-poisson-nloglik:2.727186	val-poisson-nloglik:2.909416
[493]	train-poisson-nloglik:2.726945	val-poisson-nloglik:2.909251
[494]	train-poisson-nloglik:2.726717	val-poisson-nloglik:2.909119
[495]	train-poisson-nloglik:2.726474	val-poisson-nloglik:2.908957
[496]	train-poisson-nloglik:2.726272	val-poisson-nloglik:2.908798
[497]	train-poisson-nloglik:2.725953	val-poisson-nloglik:2.908608
[498]	train-poisson-nloglik:2.725728	val-poisson-nloglik:2.908497
[499]	train-poisson-nloglik:2.725484	val-poisson-nloglik:2.908376
[500]	train-poisson-nloglik:2.725181	val-poisson-nloglik:2.908208
[501]	train-poisson-nloglik:2.724930	val-poisson-nloglik:2.908122
[502]	train-poisson-nloglik:2.724702	val-poisson-nloglik:2.907973
[503]	train-poisson-nloglik:2.724418	val-poisson-nloglik:2.907815
[504]	train-poisson-nloglik:2.724167	val-poisson-nloglik:2.907676
[505]	train-poisson-nloglik:2.723902	val-poisson-nloglik:2.907516
[506]	train-poisson-nloglik:2.723599	val-poisson-nloglik:2.907389
[507]	train-poisson-nloglik:2.723329	val-poisson-nloglik:2.907208
[508]	train-poisson-nloglik:2.723096	val-poisson-nloglik:2.907072
[509]	train-poisson-nloglik:2.722891	val-poisson-nloglik:2.906924
[510]	train-poisson-nloglik:2.722621	val-poisson-nloglik:2.906812
[511]	train-poisson-nloglik:2.722334	val-poisson-nloglik:2.906681
[512]	train-poisson-nloglik:2.722080	val-poisson-nloglik:2.906533
[513]	train-poisson-nloglik:2.721817	val-poisson-nloglik:2.906434
[514]	train-poisson-nloglik:2.721577	val-poisson-nloglik:2.906323
[515]	train-poisson-nloglik:2.721370	val-poisson-nloglik:2.906246
[516]	train-poisson-nloglik:2.721062	val-poisson-nloglik:2.906101
[517]	train-poisson-nloglik:2.720846	val-poisson-nloglik:2.906006
[518]	train-poisson-nloglik:2.720615	val-poisson-nloglik:2.905907
[519]	train-poisson-nloglik:2.720348	val-poisson-nloglik:2.905758
[520]	train-poisson-nloglik:2.720029	val-poisson-nloglik:2.905616
[521]	train-poisson-nloglik:2.719765	val-poisson-nloglik:2.905491
[522]	train-poisson-nloglik:2.719459	val-poisson-nloglik:2.905365
[523]	train-poisson-nloglik:2.719221	val-poisson-nloglik:2.905273
[524]	train-poisson-nloglik:2.718963	val-poisson-nloglik:2.905081
[525]	train-poisson-nloglik:2.718700	val-poisson-nloglik:2.904989
[526]	train-poisson-nloglik:2.718501	val-poisson-nloglik:2.904887
[527]	train-poisson-nloglik:2.718326	val-poisson-nloglik:2.904797
[528]	train-poisson-nloglik:2.718141	val-poisson-nloglik:2.904708
[529]	train-poisson-nloglik:2.717948	val-poisson-nloglik:2.904626
[530]	train-poisson-nloglik:2.717765	val-poisson-nloglik:2.904520
[531]	train-poisson-nloglik:2.717502	val-poisson-nloglik:2.904383
[532]	train-poisson-nloglik:2.717262	val-poisson-nloglik:2.904310
[533]	train-poisson-nloglik:2.716984	val-poisson-nloglik:2.904220
[534]	train-poisson-nloglik:2.716724	val-poisson-nloglik:2.904107
[535]	train-poisson-nloglik:2.716469	val-poisson-nloglik:2.903931
[536]	train-poisson-nloglik:2.716302	val-poisson-nloglik:2.903856
[537]	train-poisson-nloglik:2.716102	val-poisson-nloglik:2.903745
[538]	train-poisson-nloglik:2.715911	val-poisson-nloglik:2.903652
[539]	train-poisson-nloglik:2.715676	val-poisson-nloglik:2.903577
[540]	train-poisson-nloglik:2.715476	val-poisson-nloglik:2.903459
[541]	train-poisson-nloglik:2.715240	val-poisson-nloglik:2.903339
[542]	train-poisson-nloglik:2.714963	val-poisson-nloglik:2.903335
[543]	train-poisson-nloglik:2.714736	val-poisson-nloglik:2.903272
[544]	train-poisson-nloglik:2.714539	val-poisson-nloglik:2.903192
[545]	train-poisson-nloglik:2.714313	val-poisson-nloglik:2.903088
[546]	train-poisson-nloglik:2.714162	val-poisson-nloglik:2.902974
[547]	train-poisson-nloglik:2.713970	val-poisson-nloglik:2.902906
[548]	train-poisson-nloglik:2.713756	val-poisson-nloglik:2.902883
[549]	train-poisson-nloglik:2.713513	val-poisson-nloglik:2.902780
[550]	train-poisson-nloglik:2.713258	val-poisson-nloglik:2.902619
[551]	train-poisson-nloglik:2.713009	val-poisson-nloglik:2.902607
[552]	train-poisson-nloglik:2.712881	val-poisson-nloglik:2.902561
[553]	train-poisson-nloglik:2.712662	val-poisson-nloglik:2.902508
[554]	train-poisson-nloglik:2.712448	val-poisson-nloglik:2.902448
[555]	train-poisson-nloglik:2.712208	val-poisson-nloglik:2.902338
[556]	train-poisson-nloglik:2.712014	val-poisson-nloglik:2.902242
[557]	train-poisson-nloglik:2.711850	val-poisson-nloglik:2.902163
[558]	train-poisson-nloglik:2.711621	val-poisson-nloglik:2.902108
[559]	train-poisson-nloglik:2.711472	val-poisson-nloglik:2.901997
[560]	train-poisson-nloglik:2.711297	val-poisson-nloglik:2.901920
[561]	train-poisson-nloglik:2.711063	val-poisson-nloglik:2.901784
[562]	train-poisson-nloglik:2.710855	val-poisson-nloglik:2.901696
[563]	train-poisson-nloglik:2.710673	val-poisson-nloglik:2.901685
[564]	train-poisson-nloglik:2.710474	val-poisson-nloglik:2.901638
[565]	train-poisson-nloglik:2.710267	val-poisson-nloglik:2.901575
[566]	train-poisson-nloglik:2.710120	val-poisson-nloglik:2.901548
[567]	train-poisson-nloglik:2.709861	val-poisson-nloglik:2.901466
[568]	train-poisson-nloglik:2.709629	val-poisson-nloglik:2.901378
[569]	train-poisson-nloglik:2.709437	val-poisson-nloglik:2.901278
[570]	train-poisson-nloglik:2.709206	val-poisson-nloglik:2.901187
[571]	train-poisson-nloglik:2.709025	val-poisson-nloglik:2.901155
[572]	train-poisson-nloglik:2.708835	val-poisson-nloglik:2.901081
[573]	train-poisson-nloglik:2.708601	val-poisson-nloglik:2.900979
[574]	train-poisson-nloglik:2.708443	val-poisson-nloglik:2.900902
[575]	train-poisson-nloglik:2.708323	val-poisson-nloglik:2.900812
[576]	train-poisson-nloglik:2.708173	val-poisson-nloglik:2.900768
[577]	train-poisson-nloglik:2.708038	val-poisson-nloglik:2.900730
[578]	train-poisson-nloglik:2.707807	val-poisson-nloglik:2.900718
[579]	train-poisson-nloglik:2.707579	val-poisson-nloglik:2.900601
[580]	train-poisson-nloglik:2.707454	val-poisson-nloglik:2.900492
[581]	train-poisson-nloglik:2.707204	val-poisson-nloglik:2.900383
[582]	train-poisson-nloglik:2.707062	val-poisson-nloglik:2.900321
[583]	train-poisson-nloglik:2.706835	val-poisson-nloglik:2.900216
[584]	train-poisson-nloglik:2.706613	val-poisson-nloglik:2.900104
[585]	train-poisson-nloglik:2.706390	val-poisson-nloglik:2.900030
[586]	train-poisson-nloglik:2.706198	val-poisson-nloglik:2.899970
[587]	train-poisson-nloglik:2.706033	val-poisson-nloglik:2.899929
[588]	train-poisson-nloglik:2.705807	val-poisson-nloglik:2.899895
[589]	train-poisson-nloglik:2.705554	val-poisson-nloglik:2.899907
[590]	train-poisson-nloglik:2.705310	val-poisson-nloglik:2.899752
[591]	train-poisson-nloglik:2.705099	val-poisson-nloglik:2.899656
[592]	train-poisson-nloglik:2.704953	val-poisson-nloglik:2.899563
[593]	train-poisson-nloglik:2.704769	val-poisson-nloglik:2.899522
[594]	train-poisson-nloglik:2.704609	val-poisson-nloglik:2.899474
[595]	train-poisson-nloglik:2.704453	val-poisson-nloglik:2.899401
[596]	train-poisson-nloglik:2.704253	val-poisson-nloglik:2.899358
[597]	train-poisson-nloglik:2.704029	val-poisson-nloglik:2.899319
[598]	train-poisson-nloglik:2.703881	val-poisson-nloglik:2.899264
[599]	train-poisson-nloglik:2.703696	val-poisson-nloglik:2.899232
[600]	train-poisson-nloglik:2.703524	val-poisson-nloglik:2.899189
[601]	train-poisson-nloglik:2.703372	val-poisson-nloglik:2.899164
[602]	train-poisson-nloglik:2.703158	val-poisson-nloglik:2.899155
[603]	train-poisson-nloglik:2.702959	val-poisson-nloglik:2.899114
[604]	train-poisson-nloglik:2.702753	val-poisson-nloglik:2.899089
[605]	train-poisson-nloglik:2.702612	val-poisson-nloglik:2.899022
[606]	train-poisson-nloglik:2.702417	val-poisson-nloglik:2.898944
[607]	train-poisson-nloglik:2.702256	val-poisson-nloglik:2.898894
[608]	train-poisson-nloglik:2.702048	val-poisson-nloglik:2.898838
[609]	train-poisson-nloglik:2.701832	val-poisson-nloglik:2.898772
[610]	train-poisson-nloglik:2.701728	val-poisson-nloglik:2.898736
[611]	train-poisson-nloglik:2.701545	val-poisson-nloglik:2.898644
[612]	train-poisson-nloglik:2.701397	val-poisson-nloglik:2.898597
[613]	train-poisson-nloglik:2.701164	val-poisson-nloglik:2.898504
[614]	train-poisson-nloglik:2.700935	val-poisson-nloglik:2.898489
[615]	train-poisson-nloglik:2.700765	val-poisson-nloglik:2.898459
[616]	train-poisson-nloglik:2.700587	val-poisson-nloglik:2.898441
[617]	train-poisson-nloglik:2.700380	val-poisson-nloglik:2.898393
[618]	train-poisson-nloglik:2.700169	val-poisson-nloglik:2.898371
[619]	train-poisson-nloglik:2.699991	val-poisson-nloglik:2.898340
[620]	train-poisson-nloglik:2.699870	val-poisson-nloglik:2.898297
[621]	train-poisson-nloglik:2.699645	val-poisson-nloglik:2.898269
[622]	train-poisson-nloglik:2.699476	val-poisson-nloglik:2.898286
[623]	train-poisson-nloglik:2.699337	val-poisson-nloglik:2.898228
[624]	train-poisson-nloglik:2.699208	val-poisson-nloglik:2.898161
[625]	train-poisson-nloglik:2.699045	val-poisson-nloglik:2.898134
[626]	train-poisson-nloglik:2.698953	val-poisson-nloglik:2.898104
[627]	train-poisson-nloglik:2.698748	val-poisson-nloglik:2.898082
[628]	train-poisson-nloglik:2.698524	val-poisson-nloglik:2.898044
[629]	train-poisson-nloglik:2.698306	val-poisson-nloglik:2.897997
[630]	train-poisson-nloglik:2.698135	val-poisson-nloglik:2.897963
[631]	train-poisson-nloglik:2.697950	val-poisson-nloglik:2.897943
[632]	train-poisson-nloglik:2.697752	val-poisson-nloglik:2.897879
[633]	train-poisson-nloglik:2.697621	val-poisson-nloglik:2.897824
[634]	train-poisson-nloglik:2.697494	val-poisson-nloglik:2.897781
[635]	train-poisson-nloglik:2.697282	val-poisson-nloglik:2.897777
[636]	train-poisson-nloglik:2.697043	val-poisson-nloglik:2.897785
[637]	train-poisson-nloglik:2.696866	val-poisson-nloglik:2.897733
[638]	train-poisson-nloglik:2.696686	val-poisson-nloglik:2.897674
[639]	train-poisson-nloglik:2.696470	val-poisson-nloglik:2.897583
[640]	train-poisson-nloglik:2.696282	val-poisson-nloglik:2.897530
[641]	train-poisson-nloglik:2.696138	val-poisson-nloglik:2.897508
[642]	train-poisson-nloglik:2.695934	val-poisson-nloglik:2.897394
[643]	train-poisson-nloglik:2.695737	val-poisson-nloglik:2.897417
[644]	train-poisson-nloglik:2.695615	val-poisson-nloglik:2.897384
[645]	train-poisson-nloglik:2.695457	val-poisson-nloglik:2.897349
[646]	train-poisson-nloglik:2.695280	val-poisson-nloglik:2.897356
[647]	train-poisson-nloglik:2.695116	val-poisson-nloglik:2.897318
[648]	train-poisson-nloglik:2.694998	val-poisson-nloglik:2.897295
[649]	train-poisson-nloglik:2.694812	val-poisson-nloglik:2.897221
[650]	train-poisson-nloglik:2.694662	val-poisson-nloglik:2.897205
[651]	train-poisson-nloglik:2.694541	val-poisson-nloglik:2.897147
[652]	train-poisson-nloglik:2.694335	val-poisson-nloglik:2.897010
[653]	train-poisson-nloglik:2.694171	val-poisson-nloglik:2.896985
[654]	train-poisson-nloglik:2.693987	val-poisson-nloglik:2.896938
[655]	train-poisson-nloglik:2.693897	val-poisson-nloglik:2.896944
[656]	train-poisson-nloglik:2.693721	val-poisson-nloglik:2.896939
[657]	train-poisson-nloglik:2.693564	val-poisson-nloglik:2.896942
[658]	train-poisson-nloglik:2.693401	val-poisson-nloglik:2.896917
[659]	train-poisson-nloglik:2.693261	val-poisson-nloglik:2.896853
[660]	train-poisson-nloglik:2.693084	val-poisson-nloglik:2.896814
[661]	train-poisson-nloglik:2.692935	val-poisson-nloglik:2.896799
[662]	train-poisson-nloglik:2.692756	val-poisson-nloglik:2.896751
[663]	train-poisson-nloglik:2.692577	val-poisson-nloglik:2.896686
[664]	train-poisson-nloglik:2.692435	val-poisson-nloglik:2.896687
[665]	train-poisson-nloglik:2.692303	val-poisson-nloglik:2.896630
[666]	train-poisson-nloglik:2.692247	val-poisson-nloglik:2.896614
[667]	train-poisson-nloglik:2.692094	val-poisson-nloglik:2.896508
[668]	train-poisson-nloglik:2.691928	val-poisson-nloglik:2.896450
[669]	train-poisson-nloglik:2.691822	val-poisson-nloglik:2.896336
[670]	train-poisson-nloglik:2.691620	val-poisson-nloglik:2.896338
[671]	train-poisson-nloglik:2.691438	val-poisson-nloglik:2.896330
[672]	train-poisson-nloglik:2.691365	val-poisson-nloglik:2.896313
[673]	train-poisson-nloglik:2.691200	val-poisson-nloglik:2.896301
[674]	train-poisson-nloglik:2.691025	val-poisson-nloglik:2.896273
[675]	train-poisson-nloglik:2.690797	val-poisson-nloglik:2.896294
[676]	train-poisson-nloglik:2.690650	val-poisson-nloglik:2.896295
[677]	train-poisson-nloglik:2.690466	val-poisson-nloglik:2.896321
[678]	train-poisson-nloglik:2.690321	val-poisson-nloglik:2.896293
Stopping. Best iteration:
[674]	train-poisson-nloglik:2.691025	val-poisson-nloglik:2.896273


In [112]:
preds1 = model.predict(xgtest)
print preds1

# generate solution file
preds = pd.DataFrame({"Id": test_ind, "Hazard": preds1})
preds = preds.set_index('Id')
preds.to_csv('xgboost_train_num_dev20150822.csv')
%pwd


[ 2.58839846  8.64970779  6.59064436 ...,  5.3936553   4.06756783
  3.72111201]
Out[112]:
u'/home/leandroohf/Documents/kaggle/Liberty_Mutual_Group_Property_Inspection_Prediction/dev'