In [2]:
import pandas as pd
train = pd.read_csv('../inputs/train.csv')
In [3]:
train
Out[3]:
ID
target
v1
v2
v3
v4
v5
v6
v7
v8
...
v122
v123
v124
v125
v126
v127
v128
v129
v130
v131
0
3
1
1.335739e+00
8.727474
C
3.921026
7.915266
2.599278
3.176895
0.012941
...
8.000000
1.989780
3.575369e-02
AU
1.804126
3.113719
2.024285
0
0.636365
2.857144e+00
1
4
1
NaN
NaN
C
NaN
9.191265
NaN
NaN
2.301630
...
NaN
NaN
5.988956e-01
AF
NaN
NaN
1.957825
0
NaN
NaN
2
5
1
9.438769e-01
5.310079
C
4.410969
5.326159
3.979592
3.928571
0.019645
...
9.333333
2.477596
1.345191e-02
AE
1.773709
3.922193
1.120468
2
0.883118
1.176472e+00
3
6
1
7.974146e-01
8.304757
C
4.225930
11.627438
2.097700
1.987549
0.171947
...
7.018256
1.812795
2.267384e-03
CJ
1.415230
2.954381
1.990847
1
1.677108
1.034483e+00
4
8
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
Z
NaN
NaN
NaN
0
NaN
NaN
5
9
0
NaN
NaN
C
NaN
8.856791
NaN
NaN
0.359993
...
NaN
NaN
4.986116e-02
X
NaN
NaN
1.536222
0
NaN
NaN
6
12
0
8.998057e-01
7.312995
C
3.494148
9.946200
1.926070
1.770427
0.066251
...
3.476299
1.992594
8.375832e-02
BJ
3.276100
1.623298
2.266575
0
2.263736
9.708730e-01
7
21
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BY
NaN
NaN
NaN
0
NaN
NaN
8
22
0
2.078651e+00
8.462619
NaN
3.739030
5.265636
1.573033
2.303371
0.015869
...
8.148148
1.875560
1.865950e-02
S
1.159637
5.582865
1.105283
0
1.170731
3.333334e+00
9
23
1
1.144802e+00
5.880606
C
3.244469
9.538384
2.500001
1.559405
0.412610
...
7.325843
4.896617
8.943653e-03
E
1.344550
1.601176
1.928009
0
3.174603
1.000000e+00
10
24
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AR
NaN
NaN
NaN
0
NaN
NaN
11
27
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AM
NaN
NaN
NaN
0
NaN
NaN
12
28
0
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
Z
NaN
NaN
NaN
0
NaN
NaN
13
30
1
1.400267e+00
5.367204
C
4.122155
8.137188
2.983080
2.640249
0.211851
...
8.817203
2.096062
5.459061e-07
AQ
1.731656
6.102516
1.388117
4
1.220911
1.878453e+00
14
31
1
2.260036e+00
14.693263
C
5.150750
8.554136
1.954626
2.931936
0.041446
...
5.038168
1.836667
5.973979e-03
Z
3.242128
0.818063
2.400050
0
1.166666
2.857143e+00
15
32
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BY
NaN
NaN
NaN
0
NaN
NaN
16
33
1
6.228961e-01
7.024732
C
4.193688
6.288177
2.132436
3.198654
0.407525
...
6.086957
2.812624
2.474223e-01
BJ
1.865530
3.345960
0.796533
0
1.389474
6.060615e-01
17
34
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
Z
NaN
NaN
NaN
2
NaN
NaN
18
35
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
E
NaN
NaN
NaN
1
NaN
NaN
19
36
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AZ
NaN
NaN
NaN
1
NaN
NaN
20
37
1
9.438780e-01
5.927194
C
4.404372
9.045057
2.551021
2.693878
0.085665
...
6.632125
2.419037
1.847926e-02
U
1.884567
2.602041
1.959776
1
1.121212
1.351351e+00
21
39
1
1.289841e+00
4.788645
C
4.283417
10.719571
3.107570
1.962151
0.080812
...
5.968993
2.169826
4.919843e-03
CD
1.460793
1.531375
1.964652
1
2.111675
1.346155e+00
22
40
1
7.288239e-01
4.073244
C
4.130054
9.032563
4.149705
1.917269
2.767934
...
3.903742
3.401924
7.107372e-01
AE
1.840384
3.779547
1.798435
0
1.986302
8.275852e-01
23
42
1
3.944563e+00
5.718516
C
2.205080
5.340648
2.010356
1.657021
3.233160
...
6.404715
10.691157
3.065766e+00
AU
1.813419
1.233628
0.626694
2
4.250001
2.422145e+00
24
43
1
4.045725e+00
3.992607
C
3.598096
7.946330
1.709742
2.365804
7.827175
...
5.226130
5.259272
2.690857e+00
BD
1.447090
2.559641
1.509052
0
3.260504
2.268042e+00
25
46
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CG
NaN
NaN
NaN
0
NaN
NaN
26
51
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
J
NaN
NaN
NaN
0
NaN
NaN
27
52
1
2.920282e-01
12.715811
C
4.999724
5.998656
2.020520
2.620363
0.058548
...
7.796611
1.697821
7.351065e-03
N
1.491973
4.202842
1.306053
0
0.722892
6.666657e-01
28
54
1
5.172412e-01
8.528544
C
4.075372
5.726834
2.534949
3.643990
0.749568
...
5.188680
1.788132
8.594683e-02
AR
2.105971
0.524231
0.785667
0
0.603581
1.016950e+00
29
55
0
2.415670e+00
14.960392
C
4.356980
8.520510
2.132753
2.023938
0.035822
...
5.585586
2.451680
6.640126e-03
Z
1.442224
2.244287
2.373578
0
1.634408
3.157894e+00
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
114291
228655
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BM
NaN
NaN
NaN
0
NaN
NaN
114292
228657
1
2.768086e-01
7.055455
C
3.823010
9.619069
2.194513
1.825436
0.328563
...
7.116105
3.000683
9.536287e-02
BM
1.528000
2.777432
1.985969
0
1.639345
3.999997e-01
114293
228658
1
1.983914e+00
11.296659
C
6.459140
9.193006
1.849866
3.217159
0.055774
...
6.478874
1.535538
1.466965e-01
G
2.781526
1.131032
2.950252
0
0.800000
3.333334e+00
114294
228659
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
X
NaN
NaN
NaN
0
NaN
NaN
114295
228660
1
8.743610e-01
8.529843
C
4.391163
9.575062
2.646711
2.103190
1.300537
...
6.937500
3.171537
1.309991e+00
AR
1.386343
2.880071
2.140204
2
1.722846
1.043479e+00
114296
228663
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
Z
NaN
NaN
NaN
0
NaN
NaN
114297
228666
1
1.603274e+00
11.493653
C
4.328798
8.055434
1.848820
2.532499
0.171407
...
9.122806
2.250368
4.670769e-02
AF
1.527338
3.231824
1.246700
0
1.581749
1.730770e+00
114298
228668
1
9.477454e-01
8.941986
C
4.578888
14.882313
2.868852
2.402663
0.157079
...
6.666667
1.856606
9.564098e-03
S
1.586184
2.737578
2.785707
0
1.049040
1.626015e+00
114299
228670
1
9.688237e-07
6.163454
C
3.502739
7.202643
1.741765
2.165847
2.424658
...
6.339869
6.239218
3.054839e+00
V
1.291664
5.253692
1.026424
0
2.615385
5.482204e-07
114300
228671
0
1.539335e+00
4.845475
C
4.445304
8.605211
1.906204
2.382753
1.142149
...
8.505747
2.364559
6.571835e-01
CG
1.380594
7.233358
1.495398
0
1.511110
1.848739e+00
114301
228673
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BJ
NaN
NaN
NaN
0
NaN
NaN
114302
228677
1
2.093352e+00
5.696141
C
5.105297
8.836584
2.734559
2.772276
0.195443
...
6.986301
2.601368
1.805020e-02
AK
1.649315
3.818954
2.049363
1
1.469388
2.222222e+00
114303
228680
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
J
NaN
NaN
NaN
2
NaN
NaN
114304
228682
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
H
NaN
NaN
NaN
0
NaN
NaN
114305
228683
1
1.030641e+00
13.003754
C
4.512371
8.928965
2.548746
2.583565
1.756440
...
6.331360
1.345799
2.027626e-01
BO
1.535785
2.950904
1.790912
1
1.110512
1.553399e+00
114306
228684
1
2.051611e+00
8.259554
C
4.466166
11.291191
2.269140
3.510343
0.215781
...
5.898438
3.043102
7.758699e-03
BM
2.048144
3.214972
1.805540
0
1.307412
1.933085e+00
114307
228688
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CD
NaN
NaN
NaN
0
NaN
NaN
114308
228691
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BD
NaN
NaN
NaN
0
NaN
NaN
114309
228695
0
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
A
NaN
NaN
NaN
0
NaN
NaN
114310
228697
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CB
NaN
NaN
NaN
0
NaN
NaN
114311
228699
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
O
NaN
NaN
NaN
0
NaN
NaN
114312
228701
1
1.142478e+00
8.477138
C
3.827255
8.539653
2.276136
1.905602
3.199958
...
7.437501
2.859732
3.258223e+00
AP
0.958445
2.382003
1.601009
1
1.851852
1.399999e+00
114313
228702
1
1.364308e+00
9.621454
C
4.342517
8.648951
2.772861
3.480826
2.208724
...
8.170212
2.427557
5.664891e-01
CI
2.091074
4.300331
1.738246
0
0.855932
1.980199e+00
114314
228705
0
3.633647e+00
3.052302
C
2.055147
7.770079
1.929975
2.459437
0.932377
...
6.842105
12.727869
5.673148e-01
CD
1.660675
3.074295
1.383798
0
2.958333
2.159624e+00
114315
228707
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AE
NaN
NaN
NaN
0
NaN
NaN
114316
228708
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AL
NaN
NaN
NaN
0
NaN
NaN
114317
228710
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
E
NaN
NaN
NaN
1
NaN
NaN
114318
228711
1
NaN
NaN
C
NaN
10.069277
NaN
NaN
0.323324
...
NaN
NaN
1.567642e-01
Q
NaN
NaN
2.417606
2
NaN
NaN
114319
228712
1
NaN
NaN
C
NaN
10.106144
NaN
NaN
0.309226
...
NaN
NaN
4.906576e-01
BW
NaN
NaN
3.526650
0
NaN
NaN
114320
228713
1
1.619763e+00
7.932978
C
4.640085
8.473141
2.351470
2.826766
3.479754
...
7.936508
2.944285
3.135205e+00
V
1.943149
4.385553
1.604493
0
1.787610
1.386138e+00
114321 rows × 133 columns
In [4]:
train_av = train.isnull().astype(int)
In [5]:
train_av
Out[5]:
ID
target
v1
v2
v3
v4
v5
v6
v7
v8
...
v122
v123
v124
v125
v126
v127
v128
v129
v130
v131
0
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
1
0
0
1
1
0
1
0
1
1
0
...
1
1
0
0
1
1
0
0
1
1
2
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
3
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
4
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
5
0
0
1
1
0
1
0
1
1
0
...
1
1
0
0
1
1
0
0
1
1
6
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
7
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
8
0
0
0
0
1
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
9
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
10
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
11
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
12
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
13
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
14
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
15
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
16
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
17
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
18
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
19
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
20
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
21
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
22
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
23
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
24
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
25
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
26
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
27
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
28
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
29
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
114291
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114292
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114293
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114294
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114295
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114296
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114297
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114298
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114299
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114300
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114301
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114302
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114303
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114304
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114305
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114306
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114307
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114308
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114309
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114310
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114311
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114312
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114313
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114314
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114315
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114316
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114317
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114318
0
0
1
1
0
1
0
1
1
0
...
1
1
0
0
1
1
0
0
1
1
114319
0
0
1
1
0
1
0
1
1
0
...
1
1
0
0
1
1
0
0
1
1
114320
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114321 rows × 133 columns
In [6]:
train_av['target'] = train['target']
In [7]:
train_av
Out[7]:
ID
target
v1
v2
v3
v4
v5
v6
v7
v8
...
v122
v123
v124
v125
v126
v127
v128
v129
v130
v131
0
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
1
0
1
1
1
0
1
0
1
1
0
...
1
1
0
0
1
1
0
0
1
1
2
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
3
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
4
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
5
0
0
1
1
0
1
0
1
1
0
...
1
1
0
0
1
1
0
0
1
1
6
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
7
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
8
0
0
0
0
1
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
9
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
10
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
11
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
12
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
13
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
14
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
15
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
16
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
17
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
18
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
19
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
20
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
21
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
22
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
23
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
24
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
25
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
26
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
27
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
28
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
29
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
114291
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114292
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114293
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114294
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114295
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114296
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114297
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114298
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114299
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114300
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114301
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114302
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114303
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114304
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114305
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114306
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114307
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114308
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114309
0
0
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114310
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114311
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114312
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114313
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114314
0
0
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114315
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114316
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114317
0
1
1
1
0
1
1
1
1
1
...
1
1
1
0
1
1
1
0
1
1
114318
0
1
1
1
0
1
0
1
1
0
...
1
1
0
0
1
1
0
0
1
1
114319
0
1
1
1
0
1
0
1
1
0
...
1
1
0
0
1
1
0
0
1
1
114320
0
1
0
0
0
0
0
0
0
0
...
0
0
0
0
0
0
0
0
0
0
114321 rows × 133 columns
In [8]:
train_av.corr()
Out[8]:
ID
target
v1
v2
v3
v4
v5
v6
v7
v8
...
v122
v123
v124
v125
v126
v127
v128
v129
v130
v131
ID
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
target
NaN
1.000000
0.018368
0.018428
0.017796
0.018428
0.020935
0.018368
0.018368
0.020886
...
0.018390
0.018873
0.020886
0.004261
0.018368
0.018368
0.020935
NaN
0.018352
0.018367
v1
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v2
NaN
0.018428
0.999360
1.000000
-0.084765
1.000000
0.947942
0.999360
0.999360
0.948033
...
0.999022
0.984462
0.948033
0.018673
0.999360
0.999360
0.947942
NaN
0.999164
0.998241
v3
NaN
0.017796
-0.084767
-0.084765
1.000000
-0.084765
-0.090235
-0.084767
-0.084767
-0.090221
...
-0.084719
-0.086832
-0.090221
0.003291
-0.084767
-0.084767
-0.090235
NaN
-0.084696
-0.084848
v4
NaN
0.018428
0.999360
1.000000
-0.084765
1.000000
0.947942
0.999360
0.999360
0.948033
...
0.999022
0.984462
0.948033
0.018673
0.999360
0.999360
0.947942
NaN
0.999164
0.998241
v5
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v6
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v7
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v8
NaN
0.020886
0.947408
0.948033
-0.090221
0.948033
0.999911
0.947408
0.947408
1.000000
...
0.947079
0.964005
1.000000
0.019268
0.947408
0.947408
0.999911
NaN
0.947218
0.946317
v9
NaN
0.018390
0.999662
0.999022
-0.084719
0.999022
0.946989
0.999662
0.999662
0.947079
...
1.000000
0.983543
0.947079
0.018645
0.999662
0.999662
0.946989
NaN
0.999787
0.999111
v10
NaN
0.014431
0.021734
0.021753
-0.002903
0.021753
0.021072
0.021734
0.021734
0.021075
...
0.021724
0.021290
0.021075
0.011739
0.021734
0.021734
0.021072
NaN
0.021728
0.021701
v11
NaN
0.018366
0.999929
0.999289
-0.084676
0.999289
0.947249
0.999929
0.999929
0.947339
...
0.999733
0.983813
0.947339
0.018653
0.999929
0.999929
0.947249
NaN
0.999876
0.998951
v12
NaN
0.014620
0.022206
0.022225
-0.001119
0.022225
0.021568
0.022206
0.022206
0.021571
...
0.022195
0.021757
0.021571
0.011585
0.022206
0.022206
0.021568
NaN
0.022200
0.022172
v13
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v14
NaN
0.003313
0.003747
0.003751
0.007591
0.003751
0.003885
0.003747
0.003747
0.003885
...
0.003745
0.003652
0.003885
0.056847
0.003747
0.003747
0.003885
NaN
0.003746
0.003740
v15
NaN
0.018366
0.999929
0.999289
-0.084676
0.999289
0.947249
0.999929
0.999929
0.947339
...
0.999733
0.983813
0.947339
0.018653
0.999929
0.999929
0.947249
NaN
0.999876
0.998951
v16
NaN
0.018367
0.998880
0.998241
-0.084848
0.998241
0.946227
0.998880
0.998880
0.946317
...
0.999111
0.982788
0.946317
0.018623
0.998880
0.998880
0.946227
NaN
0.999076
1.000000
v17
NaN
0.018428
0.999360
1.000000
-0.084765
1.000000
0.947942
0.999360
0.999360
0.948033
...
0.999022
0.984462
0.948033
0.018673
0.999360
0.999360
0.947942
NaN
0.999164
0.998241
v18
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v19
NaN
0.018352
0.999804
0.999164
-0.084696
0.999164
0.947127
0.999804
0.999804
0.947218
...
0.999787
0.983723
0.947218
0.018649
0.999804
0.999804
0.947127
NaN
1.000000
0.999076
v20
NaN
0.018405
0.999858
0.999218
-0.084687
0.999218
0.947179
0.999858
0.999858
0.947270
...
0.999769
0.983741
0.947270
0.018651
0.999858
0.999858
0.947179
NaN
0.999804
0.999022
v21
NaN
0.019671
0.005000
0.005047
-0.003837
0.005047
0.005369
0.005000
0.005000
0.005375
...
0.004976
0.004141
0.005375
0.021218
0.005000
0.005000
0.005369
NaN
0.004986
0.004918
v22
NaN
0.009141
0.013915
0.013958
-0.009382
0.013958
0.014300
0.013915
0.013915
0.014306
...
0.013892
0.013169
0.014306
0.263967
0.013915
0.013915
0.014300
NaN
0.013901
0.013839
v23
NaN
0.018885
0.983866
0.984514
-0.086926
0.984514
0.963964
0.983866
0.983866
0.964056
...
0.983525
0.999947
0.964056
0.018236
0.983866
0.983866
0.963964
NaN
0.983669
0.982734
v24
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
v25
NaN
0.020886
0.947408
0.948033
-0.090221
0.948033
0.999911
0.947408
0.947408
1.000000
...
0.947079
0.964005
1.000000
0.019268
0.947408
0.947408
0.999911
NaN
0.947218
0.946317
v26
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v27
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v28
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
v102
NaN
0.016926
0.972753
0.973407
-0.087373
0.973407
0.953087
0.972753
0.972753
0.953180
...
0.972870
0.988771
0.953180
0.017921
0.972753
0.972753
0.953087
NaN
0.972944
0.972427
v103
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v104
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v105
NaN
0.020814
0.946703
0.947328
-0.090333
0.947328
0.999213
0.946703
0.946703
0.999302
...
0.946552
0.963289
0.999302
0.019248
0.946703
0.946703
0.999213
NaN
0.946513
0.945932
v106
NaN
0.018428
0.999360
1.000000
-0.084765
1.000000
0.947942
0.999360
0.999360
0.948033
...
0.999022
0.984462
0.948033
0.018673
0.999360
0.999360
0.947942
NaN
0.999164
0.998241
v107
NaN
0.002869
0.005828
0.005831
0.019039
0.005831
0.005955
0.005828
0.005828
0.005955
...
0.005826
0.005741
0.005955
0.065685
0.005828
0.005828
0.005955
NaN
0.005826
0.005821
v108
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v109
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v110
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
v111
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v112
NaN
0.002923
0.045695
0.045735
0.058816
0.045735
0.047682
0.045695
0.045695
0.047688
...
0.045979
0.045360
0.047688
0.448367
0.045695
0.045695
0.047682
NaN
0.045682
0.045624
v113
NaN
0.142324
-0.090675
-0.090632
0.054546
-0.090632
-0.098828
-0.090675
-0.090675
-0.098885
...
-0.090748
-0.100244
-0.098885
0.022096
-0.090675
-0.090675
-0.098828
NaN
-0.090684
-0.090678
v114
NaN
-0.001059
0.018431
0.018443
0.006600
0.018443
0.018832
0.018431
0.018431
0.018834
...
0.018425
0.018156
0.018834
0.395083
0.018431
0.018431
0.018832
NaN
0.018427
0.018410
v115
NaN
0.018367
0.998880
0.998241
-0.084848
0.998241
0.946227
0.998880
0.998880
0.946317
...
0.999111
0.982788
0.946317
0.018623
0.998880
0.998880
0.946227
NaN
0.999076
1.000000
v116
NaN
0.018366
0.999929
0.999289
-0.084676
0.999289
0.947249
0.999929
0.999929
0.947339
...
0.999733
0.983813
0.947339
0.018653
0.999929
0.999929
0.947249
NaN
0.999876
0.998951
v117
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v118
NaN
0.018352
0.999804
0.999164
-0.084696
0.999164
0.947127
0.999804
0.999804
0.947218
...
0.999787
0.983723
0.947218
0.018649
0.999804
0.999804
0.947127
NaN
1.000000
0.999076
v119
NaN
0.018892
0.983779
0.984427
-0.086838
0.984427
0.963879
0.983779
0.983779
0.963971
...
0.983579
0.999965
0.963971
0.018233
0.983779
0.983779
0.963879
NaN
0.983759
0.982824
v120
NaN
0.018366
0.999929
0.999289
-0.084676
0.999289
0.947249
0.999929
0.999929
0.947339
...
0.999733
0.983813
0.947339
0.018653
0.999929
0.999929
0.947249
NaN
0.999876
0.998951
v121
NaN
0.018405
0.999858
0.999218
-0.084687
0.999218
0.947179
0.999858
0.999858
0.947270
...
0.999769
0.983741
0.947270
0.018651
0.999858
0.999858
0.947179
NaN
0.999804
0.999022
v122
NaN
0.018390
0.999662
0.999022
-0.084719
0.999022
0.946989
0.999662
0.999662
0.947079
...
1.000000
0.983543
0.947079
0.018645
0.999662
0.999662
0.946989
NaN
0.999787
0.999111
v123
NaN
0.018873
0.983814
0.984462
-0.086832
0.984462
0.963913
0.983814
0.983814
0.964005
...
0.983543
1.000000
0.964005
0.018234
0.983814
0.983814
0.963913
NaN
0.983723
0.982788
v124
NaN
0.020886
0.947408
0.948033
-0.090221
0.948033
0.999911
0.947408
0.947408
1.000000
...
0.947079
0.964005
1.000000
0.019268
0.947408
0.947408
0.999911
NaN
0.947218
0.946317
v125
NaN
0.004261
0.018655
0.018673
0.003291
0.018673
0.019265
0.018655
0.018655
0.019268
...
0.018645
0.018234
0.019268
1.000000
0.018655
0.018655
0.019265
NaN
0.018649
0.018623
v126
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v127
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v128
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v129
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
v130
NaN
0.018352
0.999804
0.999164
-0.084696
0.999164
0.947127
0.999804
0.999804
0.947218
...
0.999787
0.983723
0.947218
0.018649
0.999804
0.999804
0.947127
NaN
1.000000
0.999076
v131
NaN
0.018367
0.998880
0.998241
-0.084848
0.998241
0.946227
0.998880
0.998880
0.946317
...
0.999111
0.982788
0.946317
0.018623
0.998880
0.998880
0.946227
NaN
0.999076
1.000000
133 rows × 133 columns
In [9]:
train_av_corr = train_av.corr()
In [10]:
train_av_corr
Out[10]:
ID
target
v1
v2
v3
v4
v5
v6
v7
v8
...
v122
v123
v124
v125
v126
v127
v128
v129
v130
v131
ID
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
target
NaN
1.000000
0.018368
0.018428
0.017796
0.018428
0.020935
0.018368
0.018368
0.020886
...
0.018390
0.018873
0.020886
0.004261
0.018368
0.018368
0.020935
NaN
0.018352
0.018367
v1
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v2
NaN
0.018428
0.999360
1.000000
-0.084765
1.000000
0.947942
0.999360
0.999360
0.948033
...
0.999022
0.984462
0.948033
0.018673
0.999360
0.999360
0.947942
NaN
0.999164
0.998241
v3
NaN
0.017796
-0.084767
-0.084765
1.000000
-0.084765
-0.090235
-0.084767
-0.084767
-0.090221
...
-0.084719
-0.086832
-0.090221
0.003291
-0.084767
-0.084767
-0.090235
NaN
-0.084696
-0.084848
v4
NaN
0.018428
0.999360
1.000000
-0.084765
1.000000
0.947942
0.999360
0.999360
0.948033
...
0.999022
0.984462
0.948033
0.018673
0.999360
0.999360
0.947942
NaN
0.999164
0.998241
v5
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v6
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v7
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v8
NaN
0.020886
0.947408
0.948033
-0.090221
0.948033
0.999911
0.947408
0.947408
1.000000
...
0.947079
0.964005
1.000000
0.019268
0.947408
0.947408
0.999911
NaN
0.947218
0.946317
v9
NaN
0.018390
0.999662
0.999022
-0.084719
0.999022
0.946989
0.999662
0.999662
0.947079
...
1.000000
0.983543
0.947079
0.018645
0.999662
0.999662
0.946989
NaN
0.999787
0.999111
v10
NaN
0.014431
0.021734
0.021753
-0.002903
0.021753
0.021072
0.021734
0.021734
0.021075
...
0.021724
0.021290
0.021075
0.011739
0.021734
0.021734
0.021072
NaN
0.021728
0.021701
v11
NaN
0.018366
0.999929
0.999289
-0.084676
0.999289
0.947249
0.999929
0.999929
0.947339
...
0.999733
0.983813
0.947339
0.018653
0.999929
0.999929
0.947249
NaN
0.999876
0.998951
v12
NaN
0.014620
0.022206
0.022225
-0.001119
0.022225
0.021568
0.022206
0.022206
0.021571
...
0.022195
0.021757
0.021571
0.011585
0.022206
0.022206
0.021568
NaN
0.022200
0.022172
v13
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v14
NaN
0.003313
0.003747
0.003751
0.007591
0.003751
0.003885
0.003747
0.003747
0.003885
...
0.003745
0.003652
0.003885
0.056847
0.003747
0.003747
0.003885
NaN
0.003746
0.003740
v15
NaN
0.018366
0.999929
0.999289
-0.084676
0.999289
0.947249
0.999929
0.999929
0.947339
...
0.999733
0.983813
0.947339
0.018653
0.999929
0.999929
0.947249
NaN
0.999876
0.998951
v16
NaN
0.018367
0.998880
0.998241
-0.084848
0.998241
0.946227
0.998880
0.998880
0.946317
...
0.999111
0.982788
0.946317
0.018623
0.998880
0.998880
0.946227
NaN
0.999076
1.000000
v17
NaN
0.018428
0.999360
1.000000
-0.084765
1.000000
0.947942
0.999360
0.999360
0.948033
...
0.999022
0.984462
0.948033
0.018673
0.999360
0.999360
0.947942
NaN
0.999164
0.998241
v18
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v19
NaN
0.018352
0.999804
0.999164
-0.084696
0.999164
0.947127
0.999804
0.999804
0.947218
...
0.999787
0.983723
0.947218
0.018649
0.999804
0.999804
0.947127
NaN
1.000000
0.999076
v20
NaN
0.018405
0.999858
0.999218
-0.084687
0.999218
0.947179
0.999858
0.999858
0.947270
...
0.999769
0.983741
0.947270
0.018651
0.999858
0.999858
0.947179
NaN
0.999804
0.999022
v21
NaN
0.019671
0.005000
0.005047
-0.003837
0.005047
0.005369
0.005000
0.005000
0.005375
...
0.004976
0.004141
0.005375
0.021218
0.005000
0.005000
0.005369
NaN
0.004986
0.004918
v22
NaN
0.009141
0.013915
0.013958
-0.009382
0.013958
0.014300
0.013915
0.013915
0.014306
...
0.013892
0.013169
0.014306
0.263967
0.013915
0.013915
0.014300
NaN
0.013901
0.013839
v23
NaN
0.018885
0.983866
0.984514
-0.086926
0.984514
0.963964
0.983866
0.983866
0.964056
...
0.983525
0.999947
0.964056
0.018236
0.983866
0.983866
0.963964
NaN
0.983669
0.982734
v24
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
v25
NaN
0.020886
0.947408
0.948033
-0.090221
0.948033
0.999911
0.947408
0.947408
1.000000
...
0.947079
0.964005
1.000000
0.019268
0.947408
0.947408
0.999911
NaN
0.947218
0.946317
v26
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v27
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v28
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
v102
NaN
0.016926
0.972753
0.973407
-0.087373
0.973407
0.953087
0.972753
0.972753
0.953180
...
0.972870
0.988771
0.953180
0.017921
0.972753
0.972753
0.953087
NaN
0.972944
0.972427
v103
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v104
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v105
NaN
0.020814
0.946703
0.947328
-0.090333
0.947328
0.999213
0.946703
0.946703
0.999302
...
0.946552
0.963289
0.999302
0.019248
0.946703
0.946703
0.999213
NaN
0.946513
0.945932
v106
NaN
0.018428
0.999360
1.000000
-0.084765
1.000000
0.947942
0.999360
0.999360
0.948033
...
0.999022
0.984462
0.948033
0.018673
0.999360
0.999360
0.947942
NaN
0.999164
0.998241
v107
NaN
0.002869
0.005828
0.005831
0.019039
0.005831
0.005955
0.005828
0.005828
0.005955
...
0.005826
0.005741
0.005955
0.065685
0.005828
0.005828
0.005955
NaN
0.005826
0.005821
v108
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v109
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v110
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
v111
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v112
NaN
0.002923
0.045695
0.045735
0.058816
0.045735
0.047682
0.045695
0.045695
0.047688
...
0.045979
0.045360
0.047688
0.448367
0.045695
0.045695
0.047682
NaN
0.045682
0.045624
v113
NaN
0.142324
-0.090675
-0.090632
0.054546
-0.090632
-0.098828
-0.090675
-0.090675
-0.098885
...
-0.090748
-0.100244
-0.098885
0.022096
-0.090675
-0.090675
-0.098828
NaN
-0.090684
-0.090678
v114
NaN
-0.001059
0.018431
0.018443
0.006600
0.018443
0.018832
0.018431
0.018431
0.018834
...
0.018425
0.018156
0.018834
0.395083
0.018431
0.018431
0.018832
NaN
0.018427
0.018410
v115
NaN
0.018367
0.998880
0.998241
-0.084848
0.998241
0.946227
0.998880
0.998880
0.946317
...
0.999111
0.982788
0.946317
0.018623
0.998880
0.998880
0.946227
NaN
0.999076
1.000000
v116
NaN
0.018366
0.999929
0.999289
-0.084676
0.999289
0.947249
0.999929
0.999929
0.947339
...
0.999733
0.983813
0.947339
0.018653
0.999929
0.999929
0.947249
NaN
0.999876
0.998951
v117
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v118
NaN
0.018352
0.999804
0.999164
-0.084696
0.999164
0.947127
0.999804
0.999804
0.947218
...
0.999787
0.983723
0.947218
0.018649
0.999804
0.999804
0.947127
NaN
1.000000
0.999076
v119
NaN
0.018892
0.983779
0.984427
-0.086838
0.984427
0.963879
0.983779
0.983779
0.963971
...
0.983579
0.999965
0.963971
0.018233
0.983779
0.983779
0.963879
NaN
0.983759
0.982824
v120
NaN
0.018366
0.999929
0.999289
-0.084676
0.999289
0.947249
0.999929
0.999929
0.947339
...
0.999733
0.983813
0.947339
0.018653
0.999929
0.999929
0.947249
NaN
0.999876
0.998951
v121
NaN
0.018405
0.999858
0.999218
-0.084687
0.999218
0.947179
0.999858
0.999858
0.947270
...
0.999769
0.983741
0.947270
0.018651
0.999858
0.999858
0.947179
NaN
0.999804
0.999022
v122
NaN
0.018390
0.999662
0.999022
-0.084719
0.999022
0.946989
0.999662
0.999662
0.947079
...
1.000000
0.983543
0.947079
0.018645
0.999662
0.999662
0.946989
NaN
0.999787
0.999111
v123
NaN
0.018873
0.983814
0.984462
-0.086832
0.984462
0.963913
0.983814
0.983814
0.964005
...
0.983543
1.000000
0.964005
0.018234
0.983814
0.983814
0.963913
NaN
0.983723
0.982788
v124
NaN
0.020886
0.947408
0.948033
-0.090221
0.948033
0.999911
0.947408
0.947408
1.000000
...
0.947079
0.964005
1.000000
0.019268
0.947408
0.947408
0.999911
NaN
0.947218
0.946317
v125
NaN
0.004261
0.018655
0.018673
0.003291
0.018673
0.019265
0.018655
0.018655
0.019268
...
0.018645
0.018234
0.019268
1.000000
0.018655
0.018655
0.019265
NaN
0.018649
0.018623
v126
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v127
NaN
0.018368
1.000000
0.999360
-0.084767
0.999360
0.947318
1.000000
1.000000
0.947408
...
0.999662
0.983814
0.947408
0.018655
1.000000
1.000000
0.947318
NaN
0.999804
0.998880
v128
NaN
0.020935
0.947318
0.947942
-0.090235
0.947942
1.000000
0.947318
0.947318
0.999911
...
0.946989
0.963913
0.999911
0.019265
0.947318
0.947318
1.000000
NaN
0.947127
0.946227
v129
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
v130
NaN
0.018352
0.999804
0.999164
-0.084696
0.999164
0.947127
0.999804
0.999804
0.947218
...
0.999787
0.983723
0.947218
0.018649
0.999804
0.999804
0.947127
NaN
1.000000
0.999076
v131
NaN
0.018367
0.998880
0.998241
-0.084848
0.998241
0.946227
0.998880
0.998880
0.946317
...
0.999111
0.982788
0.946317
0.018623
0.998880
0.998880
0.946227
NaN
0.999076
1.000000
133 rows × 133 columns
In [11]:
train_av["target"]
Out[11]:
0 1
1 1
2 1
3 1
4 1
5 0
6 0
7 1
8 0
9 1
10 1
11 1
12 0
13 1
14 1
15 1
16 1
17 1
18 1
19 1
20 1
21 1
22 1
23 1
24 1
25 1
26 1
27 1
28 1
29 0
..
114291 1
114292 1
114293 1
114294 1
114295 1
114296 1
114297 1
114298 1
114299 1
114300 0
114301 1
114302 1
114303 1
114304 1
114305 1
114306 1
114307 1
114308 1
114309 0
114310 1
114311 1
114312 1
114313 1
114314 0
114315 1
114316 1
114317 1
114318 1
114319 1
114320 1
Name: target, dtype: int64
In [12]:
train_av_corr["target"]
Out[12]:
ID NaN
target 1.000000
v1 0.018368
v2 0.018428
v3 0.017796
v4 0.018428
v5 0.020935
v6 0.018368
v7 0.018368
v8 0.020886
v9 0.018390
v10 0.014431
v11 0.018366
v12 0.014620
v13 0.018368
v14 0.003313
v15 0.018366
v16 0.018367
v17 0.018428
v18 0.018368
v19 0.018352
v20 0.018405
v21 0.019671
v22 0.009141
v23 0.018885
v24 NaN
v25 0.020886
v26 0.018368
v27 0.018368
v28 0.018368
...
v102 0.016926
v103 0.018368
v104 0.018368
v105 0.020814
v106 0.018428
v107 0.002869
v108 0.020935
v109 0.020935
v110 NaN
v111 0.018368
v112 0.002923
v113 0.142324
v114 -0.001059
v115 0.018367
v116 0.018366
v117 0.020935
v118 0.018352
v119 0.018892
v120 0.018366
v121 0.018405
v122 0.018390
v123 0.018873
v124 0.020886
v125 0.004261
v126 0.018368
v127 0.018368
v128 0.020935
v129 NaN
v130 0.018352
v131 0.018367
Name: target, dtype: float64
In [13]:
train_av_corr["target"].sort_values()
Out[13]:
v56 -0.082338
v114 -0.001059
v107 0.002869
v91 0.002869
v52 0.002869
v112 0.002923
v14 0.003313
v125 0.004261
v30 0.005150
v22 0.009141
v40 0.011533
v34 0.011533
v10 0.014431
v12 0.014620
v50 0.014620
v102 0.016926
v3 0.017796
v31 0.017796
v130 0.018352
v37 0.018352
v19 0.018352
v92 0.018352
v118 0.018352
v97 0.018352
v95 0.018352
v90 0.018366
v39 0.018366
v116 0.018366
v100 0.018366
v53 0.018366
...
v63 0.020886
v89 0.020886
v54 0.020886
v46 0.020886
v25 0.020886
v8 0.020886
v70 0.020887
v109 0.020935
v108 0.020935
v117 0.020935
v82 0.020935
v81 0.020935
v36 0.020935
v5 0.020935
v128 0.020935
v113 0.142324
target 1.000000
ID NaN
v24 NaN
v38 NaN
v47 NaN
v62 NaN
v66 NaN
v71 NaN
v72 NaN
v74 NaN
v75 NaN
v79 NaN
v110 NaN
v129 NaN
Name: target, dtype: float64
In [14]:
train_av_corr["target"].fillna(0).sort_values()
Out[14]:
v56 -0.082338
v114 -0.001059
ID 0.000000
v129 0.000000
v47 0.000000
v62 0.000000
v66 0.000000
v38 0.000000
v71 0.000000
v72 0.000000
v110 0.000000
v74 0.000000
v75 0.000000
v79 0.000000
v24 0.000000
v91 0.002869
v52 0.002869
v107 0.002869
v112 0.002923
v14 0.003313
v125 0.004261
v30 0.005150
v22 0.009141
v40 0.011533
v34 0.011533
v10 0.014431
v50 0.014620
v12 0.014620
v102 0.016926
v31 0.017796
...
v106 0.018428
v64 0.018428
v44 0.018428
v123 0.018873
v51 0.018873
v23 0.018885
v119 0.018892
v85 0.018912
v21 0.019671
v105 0.020814
v98 0.020857
v87 0.020863
v54 0.020886
v25 0.020886
v46 0.020886
v124 0.020886
v89 0.020886
v8 0.020886
v63 0.020886
v70 0.020887
v82 0.020935
v36 0.020935
v117 0.020935
v5 0.020935
v108 0.020935
v128 0.020935
v81 0.020935
v109 0.020935
v113 0.142324
target 1.000000
Name: target, dtype: float64
In [15]:
grid_search_file = "../predictions/grid_search_file.csv"
In [16]:
grid_search_pd = pd.read_csv(grid_search_file)
In [17]:
grid_search_pd
Out[17]:
colsample_bytree
eta
imputer_strategy
max_depth
n_estimators
num_of_feat_corr
result
subsample
test_size
0
0.850000
0.100000
mean
11
100
0
0.454282
0.750000
0.050000
1
0.600000
0.050000
mean
14
40
0
0.459925
0.950000
0.050000
2
0.750000
0.100000
mean
10
20
0
0.473261
0.850000
0.050000
3
0.950000
0.200000
mean
14
90
0
0.473615
0.800000
0.050000
4
0.700000
0.100000
mean
5
140
0
0.472601
0.900000
0.050000
5
0.750000
0.010000
mean
10
120
0
0.457737
0.650000
0.050000
6
0.800000
0.010000
mean
13
40
0
0.461546
0.750000
0.050000
7
0.700000
0.050000
mean
10
90
0
0.461642
0.800000
0.050000
8
0.750000
0.010000
mean
7
20
0
0.455193
0.950000
0.050000
9
0.800000
0.100000
mean
5
100
0
0.468386
0.950000
0.050000
10
0.950000
0.200000
mean
13
60
0
0.468691
0.900000
0.050000
11
0.800000
0.150000
mean
13
140
0
0.476865
0.650000
0.050000
12
0.800000
0.150000
mean
5
60
0
0.474254
0.750000
0.050000
13
0.800000
0.050000
mean
6
120
0
0.467110
0.800000
0.050000
14
0.750000
0.010000
mean
7
140
0
0.468904
0.600000
0.050000
15
0.950000
0.050000
mean
10
140
0
0.460405
0.750000
0.050000
16
0.600000
0.150000
mean
14
40
0
0.467547
0.750000
0.050000
17
0.650000
0.200000
mean
14
90
0
0.484368
0.800000
0.050000
18
0.950000
0.100000
mean
10
100
0
0.461833
0.750000
0.050000
19
0.650000
0.100000
mean
13
140
0
0.475325
0.650000
0.050000
20
0.700000
0.010000
mean
10
60
0
0.462189
0.750000
0.050000
21
0.600000
0.010000
mean
14
140
0
0.459504
0.600000
0.050000
22
0.950000
0.100000
mean
10
60
0
0.466275
0.900000
0.050000
23
0.700000
0.020000
mean
13
90
0
0.461525
0.700000
0.050000
24
0.950000
0.050000
mean
7
120
0
0.461097
0.900000
0.050000
25
0.750000
0.100000
mean
5
60
0
0.456547
0.800000
0.050000
26
0.600000
0.020000
mean
10
40
0
0.452100
0.950000
0.050000
27
0.650000
0.010000
mean
14
20
0
0.454036
0.800000
0.050000
28
0.850000
0.050000
mean
9
140
0
0.459996
0.850000
0.050000
29
0.950000
0.200000
mean
9
60
0
0.461267
0.950000
0.050000
...
...
...
...
...
...
...
...
...
...
313
0.555644
0.009351
median
17
68
20
0.450345
0.733225
0.049063
314
0.982882
0.083097
median
17
76
8
0.470643
0.733225
0.049301
315
0.935383
0.179247
mean
17
137
20
0.482763
0.733225
0.051655
316
0.546571
0.009351
mean
17
112
8
0.460199
0.733225
0.049301
317
0.546571
0.009351
median
17
137
10
0.458878
0.733225
0.049301
318
0.546571
0.009351
median
17
58
19
0.465260
0.606044
0.049301
319
0.546571
0.009351
median
16
137
7
0.457612
0.733225
0.049022
320
0.546571
0.009351
median
8
191
20
0.450508
0.733225
0.048909
321
0.546571
0.009351
median
17
137
7
0.460190
0.832764
0.049376
322
0.546571
0.009351
median
3
74
13
0.466523
0.932848
0.049301
323
0.726740
0.009351
median
3
137
10
0.457277
0.733225
0.049301
324
0.546571
0.009351
median
10
137
20
0.454243
0.799740
0.048726
325
0.546571
0.009351
median
17
181
17
0.454109
0.456090
0.049301
326
0.533580
0.356667
median
18
137
20
0.500331
0.733225
0.049301
327
0.546571
0.009351
median
15
145
20
0.458105
0.873446
0.049436
328
0.546571
0.009351
median
3
137
20
0.468499
0.964933
0.048938
329
0.546571
0.184768
median
17
58
20
0.485167
0.472884
0.049301
330
0.563398
0.367162
median
20
137
20
0.515510
0.733225
0.049301
331
0.516870
0.124606
median
17
137
20
0.470219
0.733225
0.049301
332
0.546571
0.009351
mean
9
137
16
0.460043
0.733225
0.049301
333
0.950404
0.009351
median
17
187
20
0.456805
0.933941
0.049301
334
0.620775
0.009351
mean
17
137
20
0.453530
0.496928
0.049301
335
0.636163
0.171144
median
17
137
20
0.472146
0.688980
0.049301
336
0.546571
0.009351
median
17
137
12
0.462757
0.909698
0.049301
337
0.546571
0.009351
median
8
137
20
0.450129
0.733225
0.050907
338
0.546571
0.012770
median
10
137
20
0.452075
0.978639
0.049301
339
0.869085
0.009351
median
17
137
20
0.456780
0.857538
0.049301
340
0.596274
0.054907
median
17
137
20
0.466390
0.733225
0.050590
341
0.850000
0.015000
median
10
150
10
0.444206
0.750000
0.050000
342
0.850000
0.015000
median
10
150
10
0.456364
0.750000
0.100000
343 rows × 9 columns
In [18]:
grid_search_pd.sort_values(by="result")
Out[18]:
colsample_bytree
eta
imputer_strategy
max_depth
n_estimators
num_of_feat_corr
result
subsample
test_size
341
0.850000
0.015000
median
10
150
10
0.444206
0.750000
0.050000
233
0.546571
0.009351
median
17
137
20
0.447499
0.733225
0.049301
202
0.546571
0.009351
mean
14
179
20
0.448352
0.733225
0.048585
198
0.546571
0.012413
mean
14
179
6
0.449030
0.733225
0.050444
169
0.546571
0.012413
mean
14
179
11
0.449235
0.733225
0.050374
337
0.546571
0.009351
median
8
137
20
0.450129
0.733225
0.050907
56
0.600000
0.050000
mean
9
90
7
0.450325
0.850000
0.050000
313
0.555644
0.009351
median
17
68
20
0.450345
0.733225
0.049063
320
0.546571
0.009351
median
8
191
20
0.450508
0.733225
0.048909
184
0.545470
0.012413
median
10
179
11
0.451050
0.733225
0.050374
245
0.546571
0.009351
mean
12
155
20
0.451137
0.733225
0.048453
175
0.934417
0.012413
mean
14
179
11
0.451725
0.749311
0.050374
338
0.546571
0.012770
median
10
137
20
0.452075
0.978639
0.049301
26
0.600000
0.020000
mean
10
40
0
0.452100
0.950000
0.050000
52
0.850000
0.010000
median
11
40
9
0.452243
0.750000
0.050000
167
0.519755
0.012413
median
14
40
11
0.452763
0.680628
0.049434
193
0.809547
0.012413
mean
14
64
11
0.452964
0.681972
0.051284
305
0.546571
0.009351
median
8
185
4
0.452972
0.804908
0.049301
178
0.546571
0.012413
mean
16
125
11
0.453087
0.733225
0.050374
187
0.546571
0.012413
mean
14
88
11
0.453107
0.753395
0.049772
140
0.519755
0.012413
median
14
163
11
0.453219
0.832676
0.050374
334
0.620775
0.009351
mean
17
137
20
0.453530
0.496928
0.049301
230
0.847738
0.009351
mean
14
179
2
0.453578
0.986947
0.048585
274
0.763820
0.009351
median
17
182
20
0.453763
0.733225
0.051248
302
0.768200
0.009351
median
16
137
20
0.453835
0.733225
0.048408
27
0.650000
0.010000
mean
14
20
0
0.454036
0.800000
0.050000
325
0.546571
0.009351
median
17
181
17
0.454109
0.456090
0.049301
155
0.575141
0.012413
median
11
163
11
0.454238
0.832676
0.051861
324
0.546571
0.009351
median
10
137
20
0.454243
0.799740
0.048726
66
0.600000
0.020000
mean
7
100
10
0.454272
0.850000
0.050000
...
...
...
...
...
...
...
...
...
...
188
0.791839
0.190761
mean
14
11
11
0.483915
0.809184
0.050374
110
0.465157
0.196346
median
17
14
19
0.484303
0.639387
0.050234
17
0.650000
0.200000
mean
14
90
0
0.484368
0.800000
0.050000
329
0.546571
0.184768
median
17
58
20
0.485167
0.472884
0.049301
242
0.546571
0.289173
mean
14
19
20
0.485227
0.733225
0.048585
65
0.700000
0.200000
median
14
140
8
0.485294
0.650000
0.050000
275
0.571551
0.210364
median
17
137
20
0.486785
0.733225
0.050083
312
0.546571
0.323084
median
13
56
20
0.488270
0.733225
0.049301
126
0.612201
0.386744
median
13
136
8
0.489104
0.873524
0.050595
72
0.497666
0.224983
mean
18
37
4
0.489363
0.766446
0.050221
149
0.519755
0.353117
median
18
185
11
0.490633
0.987069
0.051366
257
0.763122
0.360535
median
17
137
20
0.491689
0.733225
0.049301
222
0.546571
0.392288
median
14
179
11
0.493340
0.609016
0.048585
215
0.546571
0.364969
mean
14
122
20
0.493582
0.490009
0.048585
250
0.610881
0.251863
median
17
137
20
0.493666
0.733225
0.049799
226
0.546571
0.323717
mean
18
179
20
0.494142
0.733225
0.048585
294
0.546571
0.286055
median
17
22
20
0.494694
0.774473
0.049301
287
0.546571
0.393878
median
17
137
20
0.495123
0.965039
0.048826
278
0.546571
0.304461
median
17
137
16
0.495186
0.640278
0.049301
152
0.519755
0.328772
mean
20
163
11
0.495318
0.832676
0.050875
201
0.546571
0.335169
mean
14
160
19
0.496362
0.733225
0.048578
130
0.519755
0.350561
median
18
154
11
0.498027
0.660235
0.049596
279
0.546571
0.395895
median
17
66
20
0.498812
0.733225
0.050385
240
0.546571
0.380750
median
14
179
20
0.499745
0.733225
0.051758
326
0.533580
0.356667
median
18
137
20
0.500331
0.733225
0.049301
189
0.546571
0.293656
mean
20
47
11
0.502187
0.733225
0.050374
117
0.840425
0.269837
median
18
32
17
0.503619
0.520165
0.049548
286
0.546571
0.323663
median
17
29
20
0.504341
0.733225
0.049301
112
0.882736
0.351455
median
20
38
14
0.504983
0.817041
0.048757
330
0.563398
0.367162
median
20
137
20
0.515510
0.733225
0.049301
343 rows × 9 columns
In [19]:
tar_missing_value_corr = train_av_corr["target"].fillna(0).sort_values()
In [20]:
tar_missing_value_corr < -0.02
Out[20]:
v56 True
v114 False
ID False
v129 False
v47 False
v62 False
v66 False
v38 False
v71 False
v72 False
v110 False
v74 False
v75 False
v79 False
v24 False
v91 False
v52 False
v107 False
v112 False
v14 False
v125 False
v30 False
v22 False
v40 False
v34 False
v10 False
v50 False
v12 False
v102 False
v31 False
...
v106 False
v64 False
v44 False
v123 False
v51 False
v23 False
v119 False
v85 False
v21 False
v105 False
v98 False
v87 False
v54 False
v25 False
v46 False
v124 False
v89 False
v8 False
v63 False
v70 False
v82 False
v36 False
v117 False
v5 False
v108 False
v128 False
v81 False
v109 False
v113 False
target False
Name: target, dtype: bool
In [21]:
tar_missing_value_corr[tar_missing_value_corr < -0.02]
Out[21]:
v56 -0.082338
Name: target, dtype: float64
In [22]:
tar_missing_value_corr[tar_missing_value_corr < -0.02].index.ravel()
Out[22]:
array(['v56'], dtype=object)
In [23]:
tar_missing_value_corr[tar_missing_value_corr > 0.02].index.ravel()
Out[23]:
array(['v105', 'v98', 'v87', 'v54', 'v25', 'v46', 'v124', 'v89', 'v8',
'v63', 'v70', 'v82', 'v36', 'v117', 'v5', 'v108', 'v128', 'v81',
'v109', 'v113', 'target'], dtype=object)
In [24]:
test = pd.read_csv('../inputs/test.csv')
In [25]:
test
Out[25]:
ID
v1
v2
v3
v4
v5
v6
v7
v8
v9
...
v122
v123
v124
v125
v126
v127
v128
v129
v130
v131
0
0
1.375465e+00
11.361141
C
4.200778
6.577000
2.081784
1.784386
0.011094
9.523810
...
7.619048
1.815241
1.112270e-07
AF
1.292368
3.903345
1.485925
0
2.333334
1.428572e+00
1
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
I
NaN
NaN
NaN
0
NaN
NaN
2
2
-4.903407e-07
8.201529
C
4.544371
6.550100
1.558442
2.467532
0.007164
7.142858
...
5.714286
1.970928
1.412265e-02
AV
1.128724
5.844156
1.475892
0
1.263157
-6.380022e-07
3
7
2.661870e+00
3.041241
C
1.657216
9.773080
2.078337
1.430855
1.252157
7.959596
...
4.404040
8.163614
1.100329e+00
B
1.988688
1.558753
2.448814
0
5.385474
1.493777e+00
4
10
1.252822e+00
11.283352
C
4.638388
8.520510
2.302484
3.510159
0.074263
7.612904
...
6.580644
1.325654
2.584588e-01
A
1.863796
2.666478
2.374275
0
0.681672
2.264151e+00
5
11
1.733601e+00
7.525109
C
3.263905
5.608608
2.356090
2.369477
0.065481
9.935483
...
5.032257
2.551374
-9.391195e-07
BM
1.541607
3.463855
1.196959
0
2.598869
1.217392e+00
6
13
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CK
NaN
NaN
NaN
0
NaN
NaN
7
14
2.027902e+00
6.947583
C
5.840414
7.944518
3.607374
2.541107
1.870223
9.818181
...
8.218182
2.011008
6.788057e-01
BJ
1.591433
2.541105
1.386445
0
1.129412
3.055555e+00
8
15
1.296225e+00
9.573390
C
3.387392
9.316076
2.133125
1.650447
0.236811
12.050474
...
10.977917
2.984337
4.996407e-03
BH
1.327866
3.999610
1.854306
1
1.830189
1.855670e+00
9
16
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AN
NaN
NaN
NaN
0
NaN
NaN
10
17
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
A
NaN
NaN
NaN
0
NaN
NaN
11
18
5.163336e+00
5.072283
NaN
4.995554
10.333840
3.450681
2.695844
0.854107
9.235669
...
7.961783
3.297808
4.471204e-01
D
1.199067
3.853473
3.750549
0
1.703529
4.861878e+00
12
19
2.733510e+00
1.330084
NaN
1.182370
4.973445
0.485489
1.741425
2.443223
8.101266
...
2.987341
17.463653
1.310616e+00
AK
3.153132
2.077837
0.596320
0
8.048485
8.433731e-01
13
20
1.599213e+00
3.942669
C
5.180166
9.584916
1.996071
2.003930
3.934811
8.260869
...
7.217391
4.150679
8.558020e-01
D
1.391612
7.750491
2.092416
0
1.913725
1.803278e+00
14
25
2.684083e-01
10.949054
C
3.835510
9.320780
2.364889
2.314110
0.118944
10.864197
...
8.888889
2.236415
1.209465e-02
CL
1.489510
5.427094
1.527861
0
1.492163
3.361354e-01
15
26
1.703106e+00
9.469424
C
3.806048
8.829859
3.037974
2.209436
0.032355
9.500000
...
7.500001
1.434746
8.156050e-02
O
1.500202
1.208286
2.606532
0
1.250000
2.666666e+00
16
29
1.304785e+00
4.002060
C
1.871816
4.570678
1.249371
0.997482
3.716412
6.538461
...
4.551282
10.652933
1.644299e+00
BM
1.762316
1.851386
0.576675
0
8.202020
6.896557e-01
17
38
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
L
NaN
NaN
NaN
0
NaN
NaN
18
41
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CK
NaN
NaN
NaN
0
NaN
NaN
19
44
4.961073e+00
1.932436
C
1.277394
7.837871
1.591695
2.162630
2.120053
9.128919
...
5.156795
13.563161
7.007522e-01
R
1.823193
1.946368
1.344926
0
4.992000
1.987180e+00
20
45
9.871061e-01
11.699004
C
8.598800
10.721566
2.116497
2.489995
1.199002
3.502824
...
2.711865
1.589302
2.436441e+00
G
1.690702
2.751223
5.099794
0
0.799999
2.142858e+00
21
47
-2.975768e-07
5.605482
C
4.473572
10.657697
1.309255
1.264109
0.837159
9.135802
...
9.053497
3.895687
1.590252e+00
AR
1.128087
4.190181
4.293090
0
1.928571
5.227956e-07
22
48
3.102725e+00
8.673915
C
4.330699
6.012946
2.331236
2.331237
1.363321
6.941176
...
5.411764
3.176615
1.598974e+00
AP
1.740057
2.437106
0.796672
0
2.316546
2.484472e+00
23
49
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
X
NaN
NaN
NaN
0
NaN
NaN
24
50
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
E
NaN
NaN
NaN
0
NaN
NaN
25
53
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BE
NaN
NaN
NaN
0
NaN
NaN
26
56
1.356020e+00
11.845552
C
6.906102
9.314054
2.345549
3.371729
0.088131
8.623854
...
6.513762
1.712633
1.516630e-01
BY
1.797389
3.671467
3.095990
0
0.708075
2.456140e+00
27
59
9.685858e-01
7.921039
C
4.237349
7.538669
2.408378
2.356021
0.037517
11.566265
...
9.638553
1.697303
1.992516e-03
CF
1.308226
2.895943
1.850683
0
1.111111
1.599999e+00
28
60
1.831682e+00
5.147875
C
4.908686
5.151310
3.564357
3.861386
0.009322
8.571429
...
3.809525
3.903255
4.335355e-02
CA
2.151281
4.455446
1.076859
0
1.128205
1.818182e+00
29
64
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AE
NaN
NaN
NaN
0
NaN
NaN
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
114363
228650
9.906301e-01
8.404664
C
6.157245
9.447815
2.284695
2.989736
0.495578
5.581396
...
5.581395
2.001536
1.043413e-01
AU
1.454348
7.145249
2.803959
0
0.537314
2.666667e+00
114364
228656
8.614675e-01
12.075085
C
3.884443
12.071284
2.295028
2.088808
0.231651
7.971631
...
6.241134
2.720838
1.387360e-03
BU
1.456239
2.868784
2.283154
3
1.560510
1.142857e+00
114365
228661
2.161636e+00
6.185055
C
5.452180
6.005380
2.181110
3.174294
0.047840
10.136985
...
6.849315
2.350937
9.861509e-08
CG
1.565597
5.915287
1.307169
0
1.251533
2.352941e+00
114366
228662
1.545962e+00
8.604588
C
4.024771
6.563551
1.559889
2.144846
0.028811
9.999999
...
7.419355
1.877015
3.929719e-03
CJ
1.422303
3.917131
1.481328
0
1.870130
1.666667e+00
114367
228664
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BM
NaN
NaN
NaN
0
NaN
NaN
114368
228665
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AZ
NaN
NaN
NaN
0
NaN
NaN
114369
228667
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
G
NaN
NaN
NaN
0
NaN
NaN
114370
228669
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CA
NaN
NaN
NaN
0
NaN
NaN
114371
228672
NaN
NaN
C
NaN
6.946924
NaN
NaN
3.500554
NaN
...
NaN
NaN
1.068727e+00
CD
NaN
NaN
1.118518
1
NaN
NaN
114372
228674
1.410596e-01
6.100907
C
3.551356
8.446666
2.775448
2.409455
6.072121
9.072166
...
7.010309
2.482027
7.409382e+00
BL
1.449634
3.488371
1.551687
0
1.645570
1.538459e-01
114373
228675
1.077820e+00
3.033962
C
2.444575
8.307723
2.180607
1.598003
4.883135
11.748769
...
9.630542
5.420077
4.666686e-01
H
1.528098
1.583957
1.694916
0
4.677082
6.236078e-01
114374
228676
8.767769e-01
9.818944
C
4.398785
9.038332
1.706160
3.270141
0.016718
7.555555
...
7.111112
1.696430
7.752846e-03
H
2.162496
1.244076
2.788495
1
0.463767
2.500001e+00
114375
228678
1.584781e+00
7.609654
C
3.653863
7.311949
1.995465
2.217184
0.605047
8.599605
...
6.351086
3.124275
5.860976e-01
A
1.642324
4.138323
1.050249
0
1.600000
1.931819e+00
114376
228679
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AZ
NaN
NaN
NaN
0
NaN
NaN
114377
228681
3.257861e+00
5.295233
C
5.588398
9.622669
2.683438
2.675053
3.174227
7.196970
...
6.212121
3.472725
1.236354e+00
AK
1.749167
4.465409
2.422204
1
1.542320
3.414635e+00
114378
228685
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
V
NaN
NaN
NaN
0
NaN
NaN
114379
228686
7.551015e-01
9.521728
C
3.711305
12.293208
2.568707
2.027211
0.319626
9.986431
...
8.005428
2.566507
6.198885e-02
AN
1.466266
3.250001
1.983462
0
1.540940
1.045296e+00
114380
228687
1.108615e+00
8.128833
C
4.042384
9.855301
2.591760
2.419476
0.220248
7.845659
...
6.237941
1.733003
1.596733e-01
BM
1.798455
2.921349
2.171972
0
1.151702
1.720430e+00
114381
228689
7.930185e-01
7.170806
C
3.487871
8.869870
1.812615
2.082058
0.203455
8.601252
...
5.093945
3.511096
5.209062e-02
BJ
1.809553
1.837109
1.542910
0
2.752941
5.982898e-01
114382
228690
1.789600e+00
10.279019
C
3.578667
6.577001
2.902056
2.490932
0.053694
9.302325
...
7.441860
1.554914
6.246811e-02
BO
1.445025
5.169286
1.486760
1
1.436893
2.162162e+00
114383
228692
3.513056e+00
8.872027
C
7.189595
11.143241
2.699221
2.760257
7.219354
4.350650
...
4.090909
2.231905
2.000000e+01
AZ
1.429374
3.751272
9.988227
0
1.346438
4.087592e+00
114384
228693
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AT
NaN
NaN
NaN
0
NaN
NaN
114385
228694
3.483378e+00
6.388128
C
5.898398
11.047597
2.588997
2.177112
0.919358
5.851318
...
4.220623
3.180481
1.710853e+00
B
1.649253
2.515446
5.619901
0
1.718918
4.025158e+00
114386
228696
4.325807e-01
6.501866
C
3.401867
7.287198
2.587685
2.837100
1.145616
9.181287
...
5.029239
2.884711
3.398881e-01
BJ
1.956023
2.192128
1.110856
0
1.802199
3.658540e-01
114387
228698
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BM
NaN
NaN
NaN
0
NaN
NaN
114388
228700
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AG
NaN
NaN
NaN
0
NaN
NaN
114389
228703
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
H
NaN
NaN
NaN
0
NaN
NaN
114390
228704
1.523740e+00
6.571597
C
3.827086
8.824122
2.635660
2.218992
6.534959
8.852942
...
6.852941
2.093560
5.111015e+00
V
1.826453
2.661700
1.601567
0
1.816594
1.634616e+00
114391
228706
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AZ
NaN
NaN
NaN
0
NaN
NaN
114392
228709
1.633554e+00
7.520583
C
4.264139
6.402152
1.766004
2.207506
0.020415
9.333333
...
6.222221
2.740374
9.168495e-07
BP
1.726724
4.966887
1.429776
0
1.600000
2.000000e+00
114393 rows × 132 columns
In [26]:
train
Out[26]:
ID
target
v1
v2
v3
v4
v5
v6
v7
v8
...
v122
v123
v124
v125
v126
v127
v128
v129
v130
v131
0
3
1
1.335739e+00
8.727474
C
3.921026
7.915266
2.599278
3.176895
0.012941
...
8.000000
1.989780
3.575369e-02
AU
1.804126
3.113719
2.024285
0
0.636365
2.857144e+00
1
4
1
NaN
NaN
C
NaN
9.191265
NaN
NaN
2.301630
...
NaN
NaN
5.988956e-01
AF
NaN
NaN
1.957825
0
NaN
NaN
2
5
1
9.438769e-01
5.310079
C
4.410969
5.326159
3.979592
3.928571
0.019645
...
9.333333
2.477596
1.345191e-02
AE
1.773709
3.922193
1.120468
2
0.883118
1.176472e+00
3
6
1
7.974146e-01
8.304757
C
4.225930
11.627438
2.097700
1.987549
0.171947
...
7.018256
1.812795
2.267384e-03
CJ
1.415230
2.954381
1.990847
1
1.677108
1.034483e+00
4
8
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
Z
NaN
NaN
NaN
0
NaN
NaN
5
9
0
NaN
NaN
C
NaN
8.856791
NaN
NaN
0.359993
...
NaN
NaN
4.986116e-02
X
NaN
NaN
1.536222
0
NaN
NaN
6
12
0
8.998057e-01
7.312995
C
3.494148
9.946200
1.926070
1.770427
0.066251
...
3.476299
1.992594
8.375832e-02
BJ
3.276100
1.623298
2.266575
0
2.263736
9.708730e-01
7
21
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BY
NaN
NaN
NaN
0
NaN
NaN
8
22
0
2.078651e+00
8.462619
NaN
3.739030
5.265636
1.573033
2.303371
0.015869
...
8.148148
1.875560
1.865950e-02
S
1.159637
5.582865
1.105283
0
1.170731
3.333334e+00
9
23
1
1.144802e+00
5.880606
C
3.244469
9.538384
2.500001
1.559405
0.412610
...
7.325843
4.896617
8.943653e-03
E
1.344550
1.601176
1.928009
0
3.174603
1.000000e+00
10
24
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AR
NaN
NaN
NaN
0
NaN
NaN
11
27
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AM
NaN
NaN
NaN
0
NaN
NaN
12
28
0
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
Z
NaN
NaN
NaN
0
NaN
NaN
13
30
1
1.400267e+00
5.367204
C
4.122155
8.137188
2.983080
2.640249
0.211851
...
8.817203
2.096062
5.459061e-07
AQ
1.731656
6.102516
1.388117
4
1.220911
1.878453e+00
14
31
1
2.260036e+00
14.693263
C
5.150750
8.554136
1.954626
2.931936
0.041446
...
5.038168
1.836667
5.973979e-03
Z
3.242128
0.818063
2.400050
0
1.166666
2.857143e+00
15
32
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BY
NaN
NaN
NaN
0
NaN
NaN
16
33
1
6.228961e-01
7.024732
C
4.193688
6.288177
2.132436
3.198654
0.407525
...
6.086957
2.812624
2.474223e-01
BJ
1.865530
3.345960
0.796533
0
1.389474
6.060615e-01
17
34
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
Z
NaN
NaN
NaN
2
NaN
NaN
18
35
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
E
NaN
NaN
NaN
1
NaN
NaN
19
36
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AZ
NaN
NaN
NaN
1
NaN
NaN
20
37
1
9.438780e-01
5.927194
C
4.404372
9.045057
2.551021
2.693878
0.085665
...
6.632125
2.419037
1.847926e-02
U
1.884567
2.602041
1.959776
1
1.121212
1.351351e+00
21
39
1
1.289841e+00
4.788645
C
4.283417
10.719571
3.107570
1.962151
0.080812
...
5.968993
2.169826
4.919843e-03
CD
1.460793
1.531375
1.964652
1
2.111675
1.346155e+00
22
40
1
7.288239e-01
4.073244
C
4.130054
9.032563
4.149705
1.917269
2.767934
...
3.903742
3.401924
7.107372e-01
AE
1.840384
3.779547
1.798435
0
1.986302
8.275852e-01
23
42
1
3.944563e+00
5.718516
C
2.205080
5.340648
2.010356
1.657021
3.233160
...
6.404715
10.691157
3.065766e+00
AU
1.813419
1.233628
0.626694
2
4.250001
2.422145e+00
24
43
1
4.045725e+00
3.992607
C
3.598096
7.946330
1.709742
2.365804
7.827175
...
5.226130
5.259272
2.690857e+00
BD
1.447090
2.559641
1.509052
0
3.260504
2.268042e+00
25
46
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CG
NaN
NaN
NaN
0
NaN
NaN
26
51
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
J
NaN
NaN
NaN
0
NaN
NaN
27
52
1
2.920282e-01
12.715811
C
4.999724
5.998656
2.020520
2.620363
0.058548
...
7.796611
1.697821
7.351065e-03
N
1.491973
4.202842
1.306053
0
0.722892
6.666657e-01
28
54
1
5.172412e-01
8.528544
C
4.075372
5.726834
2.534949
3.643990
0.749568
...
5.188680
1.788132
8.594683e-02
AR
2.105971
0.524231
0.785667
0
0.603581
1.016950e+00
29
55
0
2.415670e+00
14.960392
C
4.356980
8.520510
2.132753
2.023938
0.035822
...
5.585586
2.451680
6.640126e-03
Z
1.442224
2.244287
2.373578
0
1.634408
3.157894e+00
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
114291
228655
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BM
NaN
NaN
NaN
0
NaN
NaN
114292
228657
1
2.768086e-01
7.055455
C
3.823010
9.619069
2.194513
1.825436
0.328563
...
7.116105
3.000683
9.536287e-02
BM
1.528000
2.777432
1.985969
0
1.639345
3.999997e-01
114293
228658
1
1.983914e+00
11.296659
C
6.459140
9.193006
1.849866
3.217159
0.055774
...
6.478874
1.535538
1.466965e-01
G
2.781526
1.131032
2.950252
0
0.800000
3.333334e+00
114294
228659
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
X
NaN
NaN
NaN
0
NaN
NaN
114295
228660
1
8.743610e-01
8.529843
C
4.391163
9.575062
2.646711
2.103190
1.300537
...
6.937500
3.171537
1.309991e+00
AR
1.386343
2.880071
2.140204
2
1.722846
1.043479e+00
114296
228663
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
Z
NaN
NaN
NaN
0
NaN
NaN
114297
228666
1
1.603274e+00
11.493653
C
4.328798
8.055434
1.848820
2.532499
0.171407
...
9.122806
2.250368
4.670769e-02
AF
1.527338
3.231824
1.246700
0
1.581749
1.730770e+00
114298
228668
1
9.477454e-01
8.941986
C
4.578888
14.882313
2.868852
2.402663
0.157079
...
6.666667
1.856606
9.564098e-03
S
1.586184
2.737578
2.785707
0
1.049040
1.626015e+00
114299
228670
1
9.688237e-07
6.163454
C
3.502739
7.202643
1.741765
2.165847
2.424658
...
6.339869
6.239218
3.054839e+00
V
1.291664
5.253692
1.026424
0
2.615385
5.482204e-07
114300
228671
0
1.539335e+00
4.845475
C
4.445304
8.605211
1.906204
2.382753
1.142149
...
8.505747
2.364559
6.571835e-01
CG
1.380594
7.233358
1.495398
0
1.511110
1.848739e+00
114301
228673
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BJ
NaN
NaN
NaN
0
NaN
NaN
114302
228677
1
2.093352e+00
5.696141
C
5.105297
8.836584
2.734559
2.772276
0.195443
...
6.986301
2.601368
1.805020e-02
AK
1.649315
3.818954
2.049363
1
1.469388
2.222222e+00
114303
228680
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
J
NaN
NaN
NaN
2
NaN
NaN
114304
228682
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
H
NaN
NaN
NaN
0
NaN
NaN
114305
228683
1
1.030641e+00
13.003754
C
4.512371
8.928965
2.548746
2.583565
1.756440
...
6.331360
1.345799
2.027626e-01
BO
1.535785
2.950904
1.790912
1
1.110512
1.553399e+00
114306
228684
1
2.051611e+00
8.259554
C
4.466166
11.291191
2.269140
3.510343
0.215781
...
5.898438
3.043102
7.758699e-03
BM
2.048144
3.214972
1.805540
0
1.307412
1.933085e+00
114307
228688
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CD
NaN
NaN
NaN
0
NaN
NaN
114308
228691
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
BD
NaN
NaN
NaN
0
NaN
NaN
114309
228695
0
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
A
NaN
NaN
NaN
0
NaN
NaN
114310
228697
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
CB
NaN
NaN
NaN
0
NaN
NaN
114311
228699
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
O
NaN
NaN
NaN
0
NaN
NaN
114312
228701
1
1.142478e+00
8.477138
C
3.827255
8.539653
2.276136
1.905602
3.199958
...
7.437501
2.859732
3.258223e+00
AP
0.958445
2.382003
1.601009
1
1.851852
1.399999e+00
114313
228702
1
1.364308e+00
9.621454
C
4.342517
8.648951
2.772861
3.480826
2.208724
...
8.170212
2.427557
5.664891e-01
CI
2.091074
4.300331
1.738246
0
0.855932
1.980199e+00
114314
228705
0
3.633647e+00
3.052302
C
2.055147
7.770079
1.929975
2.459437
0.932377
...
6.842105
12.727869
5.673148e-01
CD
1.660675
3.074295
1.383798
0
2.958333
2.159624e+00
114315
228707
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AE
NaN
NaN
NaN
0
NaN
NaN
114316
228708
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
AL
NaN
NaN
NaN
0
NaN
NaN
114317
228710
1
NaN
NaN
C
NaN
NaN
NaN
NaN
NaN
...
NaN
NaN
NaN
E
NaN
NaN
NaN
1
NaN
NaN
114318
228711
1
NaN
NaN
C
NaN
10.069277
NaN
NaN
0.323324
...
NaN
NaN
1.567642e-01
Q
NaN
NaN
2.417606
2
NaN
NaN
114319
228712
1
NaN
NaN
C
NaN
10.106144
NaN
NaN
0.309226
...
NaN
NaN
4.906576e-01
BW
NaN
NaN
3.526650
0
NaN
NaN
114320
228713
1
1.619763e+00
7.932978
C
4.640085
8.473141
2.351470
2.826766
3.479754
...
7.936508
2.944285
3.135205e+00
V
1.943149
4.385553
1.604493
0
1.787610
1.386138e+00
114321 rows × 133 columns
In [27]:
na_count = train.count(axis=1)
In [33]:
%matplotlib inline
In [30]:
import matplotlib.pyplot as plt
In [31]:
import matplotlib
matplotlib.style.use('ggplot')
In [36]:
na_count.hist(figsize=(20,15))
Out[36]:
<matplotlib.axes._subplots.AxesSubplot at 0x7fa8dfd4cad0>
In [37]:
na_count
Out[37]:
0 132
1 52
2 131
3 132
4 31
5 51
6 132
7 33
8 129
9 132
10 33
11 32
12 32
13 131
14 132
15 32
16 132
17 31
18 31
19 32
20 131
21 133
22 132
23 132
24 132
25 32
26 32
27 132
28 131
29 131
...
114291 32
114292 131
114293 132
114294 32
114295 131
114296 31
114297 133
114298 132
114299 133
114300 132
114301 32
114302 131
114303 32
114304 31
114305 131
114306 132
114307 31
114308 31
114309 32
114310 31
114311 32
114312 132
114313 133
114314 132
114315 32
114316 32
114317 31
114318 51
114319 51
114320 132
dtype: int64
In [ ]:
Content source: HighEnergyDataScientests/bnpcompetition
Similar notebooks: