In [1]:
%run ./msgc_experiments_ct_init.ipynb


Populating the interactive namespace from numpy and matplotlib

In [2]:
im_ext = "eps"
# im_ext = "png"

In [3]:
import imma

Data screenshots


In [4]:
img, true_segmentation, seeds, voxelsize_mm, orig_vs_mm = prepare_data(1, "left_kidney")
# plt.figure(figsize=(10,15))
plt.figure()
import copy
imgview = copy.copy(img)
imgview[:,:,-1] = 0
imgview[:,-1,:] = 0
imgview[-1,:,:] = 0
# sed3.show_slices(imgview, contour=seg, seeds=seeds, show=False, slice_step=16.9, first_slice_offset_to_see_seed_with_label=2)
sed3.show_slices(imgview, 
                 contour=(true_segmentation > 0).astype(np.int) * 3, 
                 show=False, shape=[3,3], 
#                  first_slice_offset_to_see_seed_with_label=2
                )
plt.axis("off")
# plt.savefig("../graphics/msgc-ct-imgsample_separated.png")

plt.savefig(
    latex_dir / "ircadb01_slices_uncropped.png", 
    dpi=dpi, bbox_inches='tight')
plt.savefig(
    latex_dir / "ircadb01_slices_uncropped.eps", 
    dpi=dpi, bbox_inches='tight')


Unable to read dicom file dicomdir.pkl
File is missing DICOM File Meta Information header or the 'DICM' prefix is missing from the header. Use force=True to force reading.
C:\Users\Jirik\data\medical\orig\3Dircadb1.1\PATIENT_DICOM
C:\Users\Jirik\data\medical\orig\3Dircadb1.1\MASKS_DICOM\leftkidney
C:\Users\Jirik\data\medical\orig\ircad1b_seeds\ircadb1-01.pklz
Unable to read dicom file dicomdir.pkl
File is missing DICOM File Meta Information header or the 'DICM' prefix is missing from the header. Use force=True to force reading.

Data processing graphs, statistics


In [5]:
df = pd.read_csv(fnamenew)
df.rename(columns={"msgc time": "MSGC time"})
# dfs = df[(df["data seedsz"]==3) & (df["data offset"] == 3) & (df["data radius"] == 10)]
# dfs_plus = dfs[dfs['data size'] > 160]

import seaborn as sns
sns.set_context("paper")
sns.set_style("white")

In [6]:
# temp fixutre

if "data orig voxesize mm 0" in df.keys():
    print("je to tam")
    df = df.rename(columns={
        "data orig voxesize mm 0": "data orig voxelsize mm 0",
        "data orig voxesize mm 1": "data orig voxelsize mm 1",
        "data orig voxesize mm 2": "data orig voxelsize mm 2",
        "data voxesize mm 0": "data voxelsize mm 0",
        "data voxesize mm 1": "data voxelsize mm 1",
        "data voxesize mm 2": "data voxelsize mm 2",
        "data voxesize mm^3": "data voxelsize mm^3",
              })


je to tam

In [7]:
df["relative object size"] = df["data target size px"] / df["data size px"]
df["relative object size [%]"] = 100 * df["data target size px"] / df["data size px"]
df["data orig size 0"] = df["data size 0"] * df["data voxelsize mm 0"]/df["data orig voxelsize mm 0"]
df["VOE [%]"] = df["error"] / df["data target size px"]

In [8]:
dfs = df
dfs.keys()


Out[8]:
Index(['_create_nlinks time', 'avgd', 'block size', 'data id',
       'data organ key', 'data orig voxelsize mm 0',
       'data orig voxelsize mm 1', 'data orig voxelsize mm 2',
       'data segmentation size px', 'data size 0', 'data size 1',
       'data size 2', 'data size px', 'data target size px',
       'data voxelsize mm 0', 'data voxelsize mm 1', 'data voxelsize mm 2',
       'data voxelsize mm^3', 'dice', 'dice gc', 'edge number', 'err1_mm3',
       'err1_percent', 'err2_mm3', 'err2_percent', 'error',
       'experiment iteration start time', 'gc time', 'jaccard', 'jaccard gc',
       'low level image voxels', 'low level object voxels', 'machine hostname',
       'maxd', 'method', 'nlinks number', 'rmsd', 't graph 01', 't graph 10',
       't graph 11', 't graph 13', 't graph 14', 't graph high', 't graph low',
       't split 01', 't split 02', 't split 03', 't split 04', 't split 05',
       't split 06', 't split 07', 't split 08', 't split 081', 't split 082',
       't split 0821', 't split 09', 't split 10', 't1', 't10', 't2', 't3',
       't3.1', 't3.2', 't3.3', 't4', 't5', 't6', 't7', 't8', 't9', 'time',
       'tlinks number', 'vd', 'voe', 'voe gc', 'volume1_mm3', 'volume2_mm3',
       'relative object size', 'relative object size [%]', 'data orig size 0',
       'VOE [%]'],
      dtype='object')

In [9]:
pd.set_option('display.max_columns', 500)
dfs


Out[9]:
_create_nlinks time avgd block size data id data organ key data orig voxelsize mm 0 data orig voxelsize mm 1 data orig voxelsize mm 2 data segmentation size px data size 0 data size 1 data size 2 data size px data target size px data voxelsize mm 0 data voxelsize mm 1 data voxelsize mm 2 data voxelsize mm^3 dice dice gc edge number err1_mm3 err1_percent err2_mm3 err2_percent error experiment iteration start time gc time jaccard jaccard gc low level image voxels low level object voxels machine hostname maxd method nlinks number rmsd t graph 01 t graph 10 t graph 11 t graph 13 t graph 14 t graph high t graph low t split 01 t split 02 t split 03 t split 04 t split 05 t split 06 t split 07 t split 08 t split 081 t split 082 t split 0821 t split 09 t split 10 t1 t10 t2 t3 t3.1 t3.2 t3.3 t4 t5 t6 t7 t8 t9 time tlinks number vd voe voe gc volume1_mm3 volume2_mm3 relative object size relative object size [%] data orig size 0 VOE [%]
0 2.698244 2.307930 10 1 left_kidney 1.6 0.570 0.570 29609 138 195 195 5247450 43413 1.5 1.5 1.5 3.375 0.189094 NaN 20897955 6.750 0.005478 46595.250 37.813262 13808 1.559472e+09 24.595996 0.681953 NaN NaN NaN genomnote4 13.747727 ssgc 15650505 10.266311 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 29.749289 5247450 46.620960 31.804676 NaN 99930.375 146518.875 0.008273 0.827316 129.374998 0.318061
1 1.175025 1.854668 10 1 left_kidney 1.6 0.570 0.570 30919 138 195 195 5247450 43413 1.5 1.5 1.5 3.375 0.168084 0.049993 3028263 0.000 0.000000 42167.250 33.616746 12494 1.559472e+09 3.133238 0.712206 0.904774 5600.0 20.0 genomnote4 12.903488 msgc_hi2lo 2276742 7.849113 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.003505 24.027027 0.155903 0.162351 NaN NaN NaN 1.088386 2.307553 6.804336 9.119133 20.867005 20.893789 24.819139 751521 40.408810 28.779398 9.522611 104351.625 146518.875 0.008273 0.827316 129.374998 0.287794
2 0.002976 1.854668 10 1 left_kidney 1.6 0.570 0.570 30919 138 195 195 5247450 43413 1.5 1.5 1.5 3.375 0.168084 0.049993 3044650 0.000 0.000000 42167.250 33.616746 12494 1.559472e+09 2.818764 0.712206 0.904774 5600.0 22.0 genomnote4 12.903488 msgc_lo2hi 2289195 7.849113 0.050593 0.052577 0.054065 26.574730 26.740391 26.437762 0.075953 0.000496 0.015341 0.022252 0.051051 0.054026 0.108993 0.167053 9.667482 0.0 0.0 0.0 17.461370 25.424738 0.030713 32.303499 0.168642 0.171081 0.171081 0.226632 26.914447 26.914447 29.034354 29.437603 29.437603 NaN 29.484735 32.944820 755455 40.408810 28.779398 9.522611 104351.625 146518.875 0.008273 0.827316 129.374998 0.287794
3 7.767864 2.991992 10 5 left_kidney 1.6 0.782 0.782 43498 149 267 267 10622061 64610 1.5 1.5 1.5 3.375 0.195767 NaN 42337389 87.750 0.048100 71340.750 39.105339 21164 1.559472e+09 76.445437 0.672566 NaN NaN NaN genomnote4 15.945219 ssgc 31715328 17.703387 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 88.737358 10622061 48.535565 32.743363 NaN 146805.750 218058.750 0.006083 0.608262 139.687498 0.327565
4 2.395186 2.365609 10 5 left_kidney 1.6 0.782 0.782 45322 149 267 267 10622061 64610 1.5 1.5 1.5 3.375 0.175490 0.049403 3625628 6.750 0.003639 65103.750 35.094422 19292 1.559472e+09 3.543429 0.701418 0.905845 10935.0 26.0 genomnote4 15.945219 msgc_hi2lo 2725151 14.004058 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000000 46.573639 0.292111 0.297567 NaN NaN NaN 2.115412 4.594917 13.907826 16.114039 42.984083 43.030210 47.859365 900477 42.557698 29.858231 9.415501 152961.750 218058.750 0.006083 0.608262 139.687498 0.298592
5 0.004464 2.365609 10 5 left_kidney 1.6 0.782 0.782 45322 149 267 267 10622061 64610 1.5 1.5 1.5 3.375 0.175490 0.049403 3303540 6.750 0.003639 65103.750 35.094422 19292 1.559472e+09 2.480003 0.701418 0.905845 10935.0 23.0 genomnote4 15.945219 msgc_lo2hi 2483469 14.004058 0.036209 0.038688 0.039185 22.692034 22.855217 22.512997 0.131935 0.001033 0.005995 0.008972 0.045053 0.047529 0.095994 0.143079 8.737543 0.0 0.0 0.0 15.207744 21.603584 0.054573 29.844826 0.322367 0.326335 0.326335 0.365520 23.182048 23.182048 26.482437 27.293401 27.293401 NaN 27.364824 31.108671 820071 42.557698 29.858231 9.415501 152961.750 218058.750 0.006083 0.608262 139.687498 0.298592
6 5.688588 2.328424 10 6 left_kidney 1.6 0.782 0.782 34940 145 267 267 10336905 51083 1.5 1.5 1.5 3.375 0.188147 NaN 41198901 70.875 0.048824 54553.500 37.580647 16185 1.559472e+09 66.998272 0.683293 NaN NaN NaN genomnote4 14.849242 ssgc 30861996 10.866419 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 76.799777 10336905 46.202061 31.670711 NaN 117922.500 172405.125 0.004942 0.494181 135.937498 0.316837
7 2.247424 2.148353 10 6 left_kidney 1.6 0.782 0.782 35797 145 267 267 10336905 51083 1.5 1.5 1.5 3.375 0.186786 0.050935 2803711 1589.625 1.084254 53179.875 36.273020 16228 1.559472e+09 2.467602 0.685223 0.903067 10935.0 15.0 genomnote4 14.150972 msgc_hi2lo 2108208 9.601575 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000000 39.835305 0.271807 0.276767 NaN NaN NaN 2.090146 4.410438 12.925779 14.639501 37.323557 37.367703 41.044385 695503 42.701902 31.477674 9.693301 120814.875 172405.125 0.004942 0.494181 135.937498 0.317679
8 0.004960 2.080235 10 6 left_kidney 1.6 0.782 0.782 35521 145 267 267 10336905 51083 1.5 1.5 1.5 3.375 0.179715 0.037084 3434220 3.375 0.002309 52525.125 35.940603 15564 1.559472e+09 2.147149 0.695325 0.928483 10935.0 28.0 genomnote4 14.150972 msgc_lo2hi 2581182 9.048897 0.041167 0.043151 0.043648 22.105303 22.265472 21.942726 0.113543 0.000497 0.002978 0.004962 0.031708 0.035184 0.085961 0.128602 8.474447 0.0 0.0 0.0 14.804888 21.041697 0.057049 28.461488 0.324359 0.328865 0.328865 0.372965 22.595287 22.595287 25.714675 26.269165 26.269165 NaN 26.314338 29.693601 853038 43.810704 30.467465 7.151654 119883.375 172405.125 0.004942 0.494181 135.937498 0.304681
9 6.541257 1.265068 10 7 left_kidney 1.6 0.782 0.782 36568 162 267 267 11548818 44346 1.5 1.5 1.5 3.375 0.101812 NaN 46037475 776.250 0.568505 27027.000 19.793855 8238 1.559472e+09 88.094727 0.815192 NaN NaN NaN genomnote4 13.500000 ssgc 34488657 5.571671 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 100.232490 11548818 21.269963 18.480797 NaN 123417.000 149667.750 0.003840 0.383987 151.874998 0.185766
10 2.821748 1.067025 10 7 left_kidney 1.6 0.782 0.782 36921 162 267 267 11548818 44346 1.5 1.5 1.5 3.375 0.095475 0.018765 3516881 563.625 0.410991 25623.000 18.684091 7759 1.559472e+09 3.393141 0.825691 0.963162 12393.0 30.0 genomnote4 13.500000 msgc_hi2lo 2642738 4.551632 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000496 48.637643 0.341830 0.346294 NaN NaN NaN 2.509353 5.415919 15.869628 18.093199 45.195398 45.244502 50.101531 874143 20.110506 17.430863 3.683817 124608.375 149667.750 0.003840 0.383987 151.874998 0.174965
11 0.004464 1.067025 10 7 left_kidney 1.6 0.782 0.782 36921 162 267 267 11548818 44346 1.5 1.5 1.5 3.375 0.095475 0.018765 3079521 563.625 0.410991 25623.000 18.684091 7759 1.559472e+09 2.023156 0.825691 0.963162 12393.0 23.0 genomnote4 13.500000 msgc_lo2hi 2315475 4.551632 0.035216 0.037200 0.037696 20.085551 20.253198 19.899964 0.141370 0.000499 0.003420 0.006396 0.033201 0.034685 0.082104 0.127890 7.599319 0.0 0.0 0.0 13.413309 19.069011 0.071922 27.931289 0.381424 0.385392 0.385392 0.423584 20.639582 20.639582 25.057461 25.861524 25.861524 NaN 25.908133 29.516011 764046 20.110506 17.430863 3.683817 124608.375 149667.750 0.003840 0.383987 151.874998 0.174965
12 4.539396 1.309515 10 11 left_kidney 1.6 0.720 0.720 35999 141 246 246 8532756 41827 1.5 1.5 1.5 3.375 0.074936 NaN 34001136 6.750 0.005140 19676.250 14.982140 5832 1.559472e+09 55.125268 0.860575 NaN NaN NaN genomnote4 12.278029 ssgc 25468380 5.685151 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 63.353954 8532756 16.189339 13.942480 NaN 121496.625 141166.125 0.004902 0.490193 132.187498 0.139431
13 2.297475 0.831098 10 11 left_kidney 1.6 0.720 0.720 36446 141 246 246 8532756 41827 1.5 1.5 1.5 3.375 0.068747 0.018814 3139878 0.000 0.000000 18160.875 13.749313 5381 1.559472e+09 4.736311 0.871351 0.963066 9375.0 31.0 genomnote4 12.278029 msgc_hi2lo 2359381 2.761898 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000496 42.193967 0.273791 0.278255 NaN NaN NaN 2.210219 4.594991 12.432794 14.799351 37.410041 37.457656 43.754883 780497 14.764309 12.864896 3.693367 123005.250 141166.125 0.004902 0.490193 132.187498 0.128649
14 0.003968 0.831098 10 11 left_kidney 1.6 0.720 0.720 36446 141 246 246 8532756 41827 1.5 1.5 1.5 3.375 0.068747 0.018814 2704543 0.000 0.000000 18160.875 13.749313 5381 1.559472e+09 1.656101 0.871351 0.963066 9375.0 18.0 genomnote4 12.278029 msgc_lo2hi 2032447 2.761898 0.031248 0.032737 0.033232 14.356787 14.488183 14.222773 0.098302 0.000000 0.003479 0.007394 0.032570 0.034060 0.069767 0.104836 5.530194 0.0 0.0 0.0 9.644727 13.648823 0.052078 19.972957 0.304047 0.307518 0.307518 0.354144 14.809590 14.809590 17.804440 18.282587 18.282587 NaN 18.316856 21.022991 672096 14.764309 12.864896 3.693367 123005.250 141166.125 0.004902 0.490193 132.187498 0.128649
15 2.849182 1.992085 10 1 right_kidney 1.6 0.570 0.570 24903 138 195 195 5247450 33524 1.5 1.5 1.5 3.375 0.148099 NaN 20897955 54.000 0.054769 29149.875 29.565098 8653 1.559480e+09 20.172845 0.742010 NaN NaN NaN genomnote4 15.000000 ssgc 15650505 9.970021 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 25.579485 5247450 34.618319 25.799046 NaN 84047.625 113143.500 0.006389 0.638863 129.374998 0.258114
16 1.098147 1.626563 10 1 right_kidney 1.6 0.570 0.570 25525 138 195 195 5247450 33524 1.5 1.5 1.5 3.375 0.135836 0.036845 2514456 37.125 0.037257 27033.750 27.130011 8021 1.559480e+09 2.128834 0.760817 0.928929 5600.0 20.0 genomnote4 15.000000 msgc_hi2lo 1889219 7.714900 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000000 21.273060 0.143840 0.146816 NaN NaN NaN 1.017793 2.152148 6.137018 7.697938 19.120913 19.144226 21.865783 625237 31.337904 23.918294 7.107065 86146.875 113143.500 0.006389 0.638863 129.374998 0.239261
17 0.002480 1.626563 10 1 right_kidney 1.6 0.570 0.570 25525 138 195 195 5247450 33524 1.5 1.5 1.5 3.375 0.135836 0.036845 2255332 37.125 0.037257 27033.750 27.130011 8021 1.559480e+09 1.598118 0.760817 0.928929 5600.0 14.0 genomnote4 15.000000 msgc_lo2hi 1694682 7.714900 0.030255 0.031743 0.031743 9.174029 9.272734 9.081648 0.058135 0.000000 0.002483 0.004011 0.022237 0.023229 0.050925 0.080153 3.565725 0.0 0.0 0.0 6.147246 8.713721 0.027775 13.029486 0.165664 0.167648 0.167648 0.200383 9.441375 9.441375 11.085120 11.400114 11.400114 NaN 11.431368 13.644483 560650 31.337904 23.918294 7.107065 86146.875 113143.500 0.006389 0.638863 129.374998 0.239261
18 6.804137 3.052975 10 5 right_kidney 1.6 0.782 0.782 48117 149 267 267 10622061 69954 1.5 1.5 1.5 3.375 0.187455 NaN 42337389 499.500 0.250697 74199.375 37.240305 22133 1.559480e+09 71.729222 0.684274 NaN NaN NaN genomnote4 15.000000 ssgc 31715328 18.735374 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 82.821459 10622061 45.383129 31.572566 NaN 162394.875 236094.750 0.006586 0.658573 139.687498 0.316394
19 2.452227 2.369620 10 5 right_kidney 1.6 0.782 0.782 50456 149 267 267 10622061 69954 1.5 1.5 1.5 3.375 0.162279 0.057815 3521882 70.875 0.034881 65876.625 32.420895 19540 1.559480e+09 3.941221 0.720757 0.890690 10935.0 24.0 genomnote4 15.000000 msgc_hi2lo 2647492 14.846157 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000000 46.617673 0.304543 0.309503 NaN NaN NaN 2.277635 4.807762 14.190581 16.703319 42.626356 42.676451 47.988945 874390 38.643571 27.924259 10.931027 170289.000 236094.750 0.006586 0.658573 139.687498 0.279326
20 0.003968 2.369620 10 5 right_kidney 1.6 0.782 0.782 50456 149 267 267 10622061 69954 1.5 1.5 1.5 3.375 0.162279 0.057815 3401262 70.875 0.034881 65876.625 32.420895 19540 1.559480e+09 2.383239 0.720757 0.890690 10935.0 31.0 genomnote4 15.000000 msgc_lo2hi 2556216 14.846157 0.040175 0.042203 0.043153 24.129979 24.339252 23.954284 0.126118 0.000000 0.001447 0.003473 0.039126 0.042541 0.089703 0.125025 9.266011 0.0 0.0 0.0 16.219834 22.966076 0.063488 31.159757 0.348236 0.351665 0.351665 0.394320 24.691908 24.691908 28.197186 28.731337 28.731337 NaN 28.776518 32.688470 845046 38.643571 27.924259 10.931027 170289.000 236094.750 0.006586 0.658573 139.687498 0.279326
21 6.060138 2.446417 10 6 right_kidney 1.6 0.782 0.782 31646 145 267 267 10336905 46760 1.5 1.5 1.5 3.375 0.192766 NaN 41198901 0.000 0.000000 51009.750 38.553172 15114 1.559480e+09 73.832888 0.676775 NaN NaN NaN genomnote4 14.773287 ssgc 30861996 11.254975 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 84.411182 10336905 47.759590 32.322498 NaN 106805.250 157815.000 0.004524 0.452360 135.937498 0.323225
22 2.383812 2.139725 10 6 right_kidney 1.6 0.782 0.782 32170 145 267 267 10336905 46760 1.5 1.5 1.5 3.375 0.184847 0.030400 3064567 0.000 0.000000 49241.250 36.969467 14590 1.559480e+09 2.728405 0.687981 0.940994 10935.0 19.0 genomnote4 14.150972 msgc_hi2lo 2303546 8.961252 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000000 46.570411 0.280871 0.285335 NaN NaN NaN 2.062507 4.535566 15.063676 17.825410 43.801829 43.842006 47.791149 761021 45.352813 31.201882 5.900602 108573.750 157815.000 0.004524 0.452360 135.937498 0.312019
23 0.004465 2.138589 10 6 right_kidney 1.6 0.782 0.782 32184 145 267 267 10336905 46760 1.5 1.5 1.5 3.375 0.184637 0.030111 2649519 0.000 0.000000 49194.000 36.927442 14576 1.559480e+09 2.029677 0.688281 0.941538 10935.0 20.0 genomnote4 14.150972 msgc_lo2hi 1992285 8.960200 0.033231 0.035215 0.036260 14.143459 14.310613 13.968252 0.135427 0.000000 0.002977 0.006443 0.034920 0.036369 0.073954 0.100837 5.467731 0.0 0.0 0.0 9.502322 13.389724 0.055055 21.749179 0.335331 0.338769 0.338769 0.374976 14.650871 14.650871 18.750812 19.661964 19.661964 NaN 19.719502 22.993105 657234 45.289585 31.171942 5.846210 108621.000 157815.000 0.004524 0.452360 135.937498 0.311719
24 10.614416 1.798901 10 7 right_kidney 1.6 0.782 0.782 30474 162 267 267 11548818 41246 1.5 1.5 1.5 3.375 0.150976 NaN 46037475 94.500 0.078081 36450.000 30.117122 10828 1.559480e+09 77.457499 0.737656 NaN NaN NaN genomnote4 10.173495 ssgc 34488657 6.324122 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 93.810166 11548818 35.348166 26.234433 NaN 102849.750 139205.250 0.003571 0.357145 151.874998 0.262522
25 2.539975 1.413643 10 7 right_kidney 1.6 0.782 0.782 31431 162 267 267 11548818 41246 1.5 1.5 1.5 3.375 0.135655 0.037331 3215506 74.250 0.060542 33199.875 27.070462 9859 1.559480e+09 2.809083 0.761098 0.928024 12393.0 30.0 genomnote4 10.173495 msgc_hi2lo 2415731 4.090550 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000000 45.747154 0.310721 0.314689 NaN NaN NaN 2.301218 4.930520 14.766167 16.802119 42.889959 42.938071 47.059192 799775 31.227132 23.890181 7.197583 106079.625 139205.250 0.003571 0.357145 151.874998 0.239029
26 0.004464 1.413643 10 7 right_kidney 1.6 0.782 0.782 31431 162 267 267 11548818 41246 1.5 1.5 1.5 3.375 0.135655 0.037331 3080583 74.250 0.060542 33199.875 27.070462 9859 1.559480e+09 1.907481 0.761098 0.928024 12393.0 23.0 genomnote4 10.173495 msgc_lo2hi 2314539 4.090550 0.034720 0.036704 0.037696 17.109243 17.276893 16.939603 0.127979 0.000000 0.005391 0.006878 0.024700 0.026701 0.054682 0.091989 6.573624 0.0 0.0 0.0 11.482183 16.225015 0.071424 24.317485 0.371008 0.374976 0.374976 0.412673 17.652861 17.652861 21.730979 22.365859 22.365859 NaN 22.410003 25.647313 766044 31.227132 23.890181 7.197583 106079.625 139205.250 0.003571 0.357145 151.874998 0.239029
27 4.851342 0.857250 10 11 right_kidney 1.6 0.720 0.720 37457 141 246 246 8532756 42308 1.5 1.5 1.5 3.375 0.061242 NaN 34001136 57.375 0.042625 16429.500 12.205855 4885 1.559480e+09 40.200482 0.884584 NaN NaN NaN genomnote4 12.278029 ssgc 25468380 3.730891 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 48.615925 8532756 12.950850 11.541642 NaN 126417.375 142789.500 0.004958 0.495830 132.187498 0.115463
28 1.815412 0.790575 10 11 right_kidney 1.6 0.720 0.720 37512 141 246 246 8532756 42308 1.5 1.5 1.5 3.375 0.060361 0.008470 3136913 37.125 0.027562 16223.625 12.044600 4818 1.559480e+09 2.652612 0.886150 0.983202 9375.0 37.0 genomnote4 12.278029 msgc_hi2lo 2356817 3.355629 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 0.000000 33.525193 0.223705 0.227177 NaN NaN NaN 1.769244 3.644624 10.467609 12.351917 30.825463 30.872581 34.565759 780096 12.785242 11.384957 1.679805 126603.000 142789.500 0.004958 0.495830 132.187498 0.113879
29 0.004465 0.790575 10 11 right_kidney 1.6 0.720 0.720 37512 141 246 246 8532756 42308 1.5 1.5 1.5 3.375 0.060361 0.008470 3319297 37.125 0.027562 16223.625 12.044600 4818 1.559480e+09 2.042529 0.886150 0.983202 9375.0 34.0 genomnote4 12.278029 msgc_lo2hi 2494354 3.355629 0.036208 0.038194 0.038691 21.002655 21.148975 20.869690 0.089315 0.000498 0.004525 0.009027 0.032835 0.034273 0.082035 0.122560 8.095086 0.0 0.0 0.0 14.082511 20.001308 0.047119 26.564424 0.274784 0.277760 0.277760 0.316946 21.427726 21.427726 24.051074 24.479237 24.479237 NaN 24.521401 27.553457 824943 12.785242 11.384957 1.679805 126603.000 142789.500 0.004958 0.495830 132.187498 0.113879

Time requirements (graph construction + min-cut)


In [10]:
sns.boxplot(data=df, y="time", x="method")


Out[10]:
<matplotlib.axes._subplots.AxesSubplot at 0x27e09f4bc50>

Time requirements (total = construction + min-cut)


In [11]:
mfmc_label = "Min-Cut"
rename_bp = {"gc time": mfmc_label, "time": "total"}
uu = pd.melt(df.rename(columns=rename_bp), value_vars=[mfmc_label, "total"], id_vars=["method"], var_name="Time type", value_name="Time [s]")
bp = sns.boxplot(data=uu, hue="Time type",y="Time [s]", x="method", 
#                  showfliers=False, 
                 hue_order=["total", mfmc_label],
                )
# bp.set(xaxis="log")
bp.set(yscale="log")
plt.savefig(op.join(latex_dir, "msgc_time_boxplot_ct.pdf"), dpi=1000)
plt.savefig(op.join(latex_dir, "msgc_time_boxplot_ct.eps"), dpi=800)



In [12]:
# uu["method"] == "msgc_lo2hi"
uu[uu["method"] == "msgc_lo2hi "]


Out[12]:
method Time type Time [s]
2 msgc_lo2hi Min-Cut 2.818764
5 msgc_lo2hi Min-Cut 2.480003
8 msgc_lo2hi Min-Cut 2.147149
11 msgc_lo2hi Min-Cut 2.023156
14 msgc_lo2hi Min-Cut 1.656101
17 msgc_lo2hi Min-Cut 1.598118
20 msgc_lo2hi Min-Cut 2.383239
23 msgc_lo2hi Min-Cut 2.029677
26 msgc_lo2hi Min-Cut 1.907481
29 msgc_lo2hi Min-Cut 2.042529
32 msgc_lo2hi total 32.944820
35 msgc_lo2hi total 31.108671
38 msgc_lo2hi total 29.693601
41 msgc_lo2hi total 29.516011
44 msgc_lo2hi total 21.022991
47 msgc_lo2hi total 13.644483
50 msgc_lo2hi total 32.688470
53 msgc_lo2hi total 22.993105
56 msgc_lo2hi total 25.647313
59 msgc_lo2hi total 27.553457

In [20]:
dfsp = dfs.rename(columns=rename_bp)
table = pd.pivot_table(
    dfsp, values=['Min-Cut', 'total', "VOE [%]", "jaccard", "dice"], index=['method'], 
#     aggfunc=[min, np.mean, max],
    aggfunc={'Min-Cut': [min, np.mean, max] , 'total': [min, np.mean, max]  }
)

text = dtt.save(table, "pivot_table_time_ct", index=True)
print(text)
table


\begin{tabular}{lrrrrrr}
\toprule
{} & \multicolumn{3}{l}{Min-Cut} & \multicolumn{3}{l}{total} \\
{} &        max &       mean &        min &         max &       mean &        min \\
method      &            &            &            &             &            &            \\
\midrule
msgc\_hi2lo  &   4.736311 &   3.153388 &   2.128834 &   50.101531 &  40.685013 &  21.865783 \\
msgc\_lo2hi  &   2.818764 &   2.108622 &   1.598118 &   32.944820 &  26.681292 &  13.644483 \\
ssgc        &  88.094727 &  59.465264 &  20.172845 &  100.232490 &  69.411109 &  25.579485 \\
\bottomrule
\end{tabular}

Out[20]:
Min-Cut total
max mean min max mean min
method
msgc_hi2lo 4.736311 3.153388 2.128834 50.101531 40.685013 21.865783
msgc_lo2hi 2.818764 2.108622 1.598118 32.944820 26.681292 13.644483
ssgc 88.094727 59.465264 20.172845 100.232490 69.411109 25.579485

In [25]:
dfsp = dfs.rename(columns=rename_bp)
table = pd.pivot_table(
    dfsp, values=["VOE [%]", "jaccard", "dice", "rmsd", "maxd"], index=['method'], 
    aggfunc=np.mean
#     aggfunc=[np.mean, max],
#     aggfunc={'Min-Cut': [min, np.mean, max] , 'total': [min, np.mean, max], "VOE [%]":[min, max], "jaccard": max, "dice":max }
)
dtt.save(table, "pivot_table_error_ct", index=True)

table


Out[25]:
VOE [%] dice jaccard maxd rmsd
method
msgc_hi2lo 0.239119 0.137356 0.761269 13.538020 7.773676
msgc_lo2hi 0.237790 0.136628 0.762310 13.538020 7.718303
ssgc 0.256338 0.149030 0.743888 13.754503 10.010832

In [23]:
dfsp = dfs.rename(columns=rename_bp)
table = pd.pivot_table(
        dfsp, values=['Min-Cut', 'total', "VOE [%]", "jaccard", "dice"], index=['method'], 
#     aggfunc=[min, np.mean, max],
    aggfunc={'Min-Cut': [min, np.mean, max] , 'total': [min, np.mean, max], "VOE [%]": np.mean , "jaccard": np.mean}
#     aggfunc={'Min-Cut': [min, np.mean, max] , 'total': [min, np.mean, max], "VOE [%]":[min, max], "jaccard": max, "dice":max }
)
# dtt.save(table, "pivot_table_combination_ct")
table


  File "<ipython-input-23-f0179b639eaa>", line 6
    aggfunc={'Min-Cut': [min, np.mean, max] , 'total': [min, np.mean, max], "VOE [%]": np.mean , "jaccard": np.mean}
          ^
SyntaxError: invalid syntax

In [76]:
table = pd.pivot_table(
    dfs, values=['gc time', 'time', "t3", "t4", "t5", "t6", "t7", "t8"], index=['method'], 
    aggfunc={'gc time': np.mean, 'time': [np.mean, min, max], "t3": np.mean,"t4": np.mean, "t5": np.mean, "t6": np.mean, "t7": np.mean, "t8": np.mean}
)
table


Out[76]:
gc time t3 t4 t5 t6 t7 t8 time
mean mean mean mean mean mean mean max mean min
method
msgc_hi2lo 3.153388 0.264475 1.944191 4.139444 12.256542 14.414593 36.30446 50.101531 40.685013 21.865783
msgc_lo2hi 2.108622 0.303001 19.600569 22.790854 23.378279 23.378279 NaN 32.944820 26.681292 13.644483
ssgc 59.465264 NaN NaN NaN NaN NaN NaN 100.232490 69.411109 25.579485

In [77]:
table = pd.pivot_table(
    dfs, values=['gc time', 'time', "t2", "t3", "t3.1", "t3.2", "t3.3", "t4", "t5", "t6", "t7", "t8", "low level image voxels", "low level object voxels"], index=['method'], 
    aggfunc=np.min
)
table


Out[77]:
gc time low level image voxels low level object voxels t2 t3 t3.1 t3.2 t3.3 t4 t5 t6 t7 t8 time
method
msgc_hi2lo 2.128834 5600.0 15.0 0.143840 0.146816 NaN NaN NaN 1.017793 2.152148 6.137018 7.697938 19.120913 21.865783
msgc_lo2hi 1.598118 5600.0 14.0 0.165664 0.167648 0.167648 0.200383 9.441375 9.441375 11.085120 11.400114 11.400114 NaN 13.644483
ssgc 20.172845 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 25.579485

In [78]:
table = pd.pivot_table(
    dfs, values=['gc time', 'time', "t graph 01", "t graph 10", "t graph 11", "t graph 13", "t graph 14", "low level image voxels", "low level object voxels"], index=['method'], 
    aggfunc=np.mean
)
table


Out[78]:
gc time low level image voxels low level object voxels t graph 01 t graph 10 t graph 11 t graph 13 t graph 14 time
method
msgc_hi2lo 3.153388 9847.6 25.2 NaN NaN NaN NaN NaN 40.685013
msgc_lo2hi 2.108622 9847.6 23.6 0.036902 0.038841 0.039537 19.137377 19.295093 26.681292
ssgc 59.465264 NaN NaN NaN NaN NaN NaN NaN 69.411109

In [79]:
table = pd.pivot_table(
    dfs, values=[
        'gc time', 'time',  
        "t graph low",
        "t graph high",
        "t split 01",
        "t split 02",
        "t split 03",
        "t split 04",
        "t split 05",
        "t split 06",
        "t split 07",
        "t split 08",
        "t split 081",
        "t split 082",
        "t split 09",
        "t split 10",
        "low level image voxels", "low level object voxels"], index=['method'], 
    aggfunc=np.mean
)
table


Out[79]:
gc time low level image voxels low level object voxels t graph high t graph low t split 01 t split 02 t split 03 t split 04 t split 05 t split 06 t split 07 t split 08 t split 081 t split 082 t split 09 t split 10 time
method
msgc_hi2lo 3.153388 9847.6 25.2 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 40.685013
msgc_lo2hi 2.108622 9847.6 23.6 18.98297 0.109808 0.000302 0.004804 0.007981 0.03474 0.03686 0.079412 0.119202 7.297716 0.0 0.0 12.796613 18.20837 26.681292
ssgc 59.465264 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 69.411109

In [80]:
dfs.keys()


Out[80]:
Index(['_create_nlinks time', 'avgd', 'block size', 'data id',
       'data organ key', 'data orig voxelsize mm 0',
       'data orig voxelsize mm 1', 'data orig voxelsize mm 2',
       'data segmentation size px', 'data size 0', 'data size 1',
       'data size 2', 'data size px', 'data target size px',
       'data voxelsize mm 0', 'data voxelsize mm 1', 'data voxelsize mm 2',
       'data voxelsize mm^3', 'dice', 'dice gc', 'edge number', 'err1_mm3',
       'err1_percent', 'err2_mm3', 'err2_percent', 'error',
       'experiment iteration start time', 'gc time', 'jaccard', 'jaccard gc',
       'low level image voxels', 'low level object voxels', 'machine hostname',
       'maxd', 'method', 'nlinks number', 'rmsd', 't graph 01', 't graph 10',
       't graph 11', 't graph 13', 't graph 14', 't graph high', 't graph low',
       't split 01', 't split 02', 't split 03', 't split 04', 't split 05',
       't split 06', 't split 07', 't split 08', 't split 081', 't split 082',
       't split 0821', 't split 09', 't split 10', 't1', 't10', 't2', 't3',
       't3.1', 't3.2', 't3.3', 't4', 't5', 't6', 't7', 't8', 't9', 'time',
       'tlinks number', 'vd', 'voe', 'voe gc', 'volume1_mm3', 'volume2_mm3',
       'relative object size', 'relative object size [%]', 'data orig size 0',
       'VOE [%]'],
      dtype='object')

Dataset description


In [81]:
dfsu = dfs[["data id", "data orig voxelsize mm 0", "data orig voxelsize mm 1", "relative object size [%]", 'data size px', 'data target size px', "data orig size 0"]].drop_duplicates().describe()
dfsu


Out[81]:
data id data orig voxelsize mm 0 data orig voxelsize mm 1 relative object size [%] data size px data target size px data orig size 0
count 10.000000 1.000000e+01 10.000000 10.000000 1.000000e+01 10.000000 10.000000
mean 6.000000 1.600000e+00 0.727200 0.540671 9.257598e+06 47907.100000 137.812498
std 3.399346 1.655023e-16 0.086632 0.142606 2.351502e+06 11199.675446 8.267973
min 1.000000 1.600000e+00 0.570000 0.357145 5.247450e+06 33524.000000 129.374998
25% 5.000000 1.600000e+00 0.720000 0.461818 8.532756e+06 41947.250000 132.187498
50% 6.000000 1.600000e+00 0.782000 0.495006 1.033690e+07 43879.500000 135.937498
75% 7.000000 1.600000e+00 0.782000 0.631213 1.062206e+07 50002.250000 139.687498
max 11.000000 1.600000e+00 0.782000 0.827316 1.154882e+07 69954.000000 151.874998

In [82]:
#  pivot_table(dfsu, values='D', index=[''],
# ...                     columns=['C'], aggfunc=np.sum)

In [83]:
help(dtt.save)


Help on function save in module data2tex:

save(data, filename, precision=4, scientific_notation=None, pure_latex=None, index=False)
    :param data:
    :param filename:
    :param precision: round precision
    :param scientific_notation: None or False (13141), True (1.3141*10^4) or "engineering" (13.141 *10^3)
    Format is done in LaTeX macro from siunitx package.
    :param pure_latex:
    The python implementation of scientific formating is used if this parameter is set True. Obsolete.
    :return:


In [84]:
df[["data orig size 0", "data size 0", "data orig voxelsize mm 0", "data voxelsize mm 0"]]


Out[84]:
data orig size 0 data size 0 data orig voxelsize mm 0 data voxelsize mm 0
0 129.374998 138 1.6 1.5
1 129.374998 138 1.6 1.5
2 129.374998 138 1.6 1.5
3 139.687498 149 1.6 1.5
4 139.687498 149 1.6 1.5
5 139.687498 149 1.6 1.5
6 135.937498 145 1.6 1.5
7 135.937498 145 1.6 1.5
8 135.937498 145 1.6 1.5
9 151.874998 162 1.6 1.5
10 151.874998 162 1.6 1.5
11 151.874998 162 1.6 1.5
12 132.187498 141 1.6 1.5
13 132.187498 141 1.6 1.5
14 132.187498 141 1.6 1.5
15 129.374998 138 1.6 1.5
16 129.374998 138 1.6 1.5
17 129.374998 138 1.6 1.5
18 139.687498 149 1.6 1.5
19 139.687498 149 1.6 1.5
20 139.687498 149 1.6 1.5
21 135.937498 145 1.6 1.5
22 135.937498 145 1.6 1.5
23 135.937498 145 1.6 1.5
24 151.874998 162 1.6 1.5
25 151.874998 162 1.6 1.5
26 151.874998 162 1.6 1.5
27 132.187498 141 1.6 1.5
28 132.187498 141 1.6 1.5
29 132.187498 141 1.6 1.5

In [85]:
dtt.save(dfs["data orig voxelsize mm 0"].min(), "data_ct_vxmm0_min")
dtt.save(dfs["data orig voxelsize mm 0"].max(), "data_ct_vxmm0_max")
dtt.save(dfs["data orig voxelsize mm 1"].min(), "data_ct_vxmm1_min")
dtt.save(dfs["data orig voxelsize mm 1"].max(), "data_ct_vxmm1_max")
dtt.save(dfs["data orig voxelsize mm 1"].count(), "data_ct_count")

dtt.save(dfs["relative object size [%]"].min(), "data_ct_relative_object_size_min")
dtt.save(dfs["relative object size [%]"].max(), "data_ct_relative_object_size_max")

dtt.save(int(dfs["data orig size 0"].min()), "data_ct_orig_sz0_min")
dtt.save(int(dfs["data orig size 0"].max()), "data_ct_orig_sz0_max")

dtt.save(working_voxelsize_mm[0], "data_ct_wvs_mm")


Out[85]:
'1.3'

In [86]:
dfs["data orig size 0"].min()


Out[86]:
129.37499807216227

In [ ]:


In [104]:
rename_data = {
    "data orig voxelsize mm 0": "slice thickness [mm]", 
    "data orig voxelsize mm 1": "pixel spacing [mm]", 
    "gc time": mfmc_label + " [s]",
    "time" : "time [s]",
    "maxd" : "maxd [mm]",
    "rmsd": "RMSD"
    #"error": "error"
    
#     "voxelsize mm 0": "slice thickness [mm]", 
#     "data voxelsize mm 1": "pixel spacing [mm]", 
}
df_tex = df.rename(columns=rename_data)[[
    "data id", "slice thickness [mm]", "pixel spacing [mm]", mfmc_label + " [s]", "time [s]", "method",
    # "error",
                                "VOE [%]", "jaccard", "dice", "maxd [mm]", "RMSD"
]]
# df_tex 
dtt.save(df_tex, "data_ct_table")
df_tex


Out[104]:
data id slice thickness [mm] pixel spacing [mm] Min-Cut [s] time [s] method VOE [%] jaccard dice maxd [mm] RMSD
0 1 1.6 0.570 24.595996 29.749289 ssgc 0.318061 0.681953 0.189094 13.747727 10.266311
1 1 1.6 0.570 3.133238 24.819139 msgc_hi2lo 0.287794 0.712206 0.168084 12.903488 7.849113
2 1 1.6 0.570 2.818764 32.944820 msgc_lo2hi 0.287794 0.712206 0.168084 12.903488 7.849113
3 5 1.6 0.782 76.445437 88.737358 ssgc 0.327565 0.672566 0.195767 15.945219 17.703387
4 5 1.6 0.782 3.543429 47.859365 msgc_hi2lo 0.298592 0.701418 0.175490 15.945219 14.004058
5 5 1.6 0.782 2.480003 31.108671 msgc_lo2hi 0.298592 0.701418 0.175490 15.945219 14.004058
6 6 1.6 0.782 66.998272 76.799777 ssgc 0.316837 0.683293 0.188147 14.849242 10.866419
7 6 1.6 0.782 2.467602 41.044385 msgc_hi2lo 0.317679 0.685223 0.186786 14.150972 9.601575
8 6 1.6 0.782 2.147149 29.693601 msgc_lo2hi 0.304681 0.695325 0.179715 14.150972 9.048897
9 7 1.6 0.782 88.094727 100.232490 ssgc 0.185766 0.815192 0.101812 13.500000 5.571671
10 7 1.6 0.782 3.393141 50.101531 msgc_hi2lo 0.174965 0.825691 0.095475 13.500000 4.551632
11 7 1.6 0.782 2.023156 29.516011 msgc_lo2hi 0.174965 0.825691 0.095475 13.500000 4.551632
12 11 1.6 0.720 55.125268 63.353954 ssgc 0.139431 0.860575 0.074936 12.278029 5.685151
13 11 1.6 0.720 4.736311 43.754883 msgc_hi2lo 0.128649 0.871351 0.068747 12.278029 2.761898
14 11 1.6 0.720 1.656101 21.022991 msgc_lo2hi 0.128649 0.871351 0.068747 12.278029 2.761898
15 1 1.6 0.570 20.172845 25.579485 ssgc 0.258114 0.742010 0.148099 15.000000 9.970021
16 1 1.6 0.570 2.128834 21.865783 msgc_hi2lo 0.239261 0.760817 0.135836 15.000000 7.714900
17 1 1.6 0.570 1.598118 13.644483 msgc_lo2hi 0.239261 0.760817 0.135836 15.000000 7.714900
18 5 1.6 0.782 71.729222 82.821459 ssgc 0.316394 0.684274 0.187455 15.000000 18.735374
19 5 1.6 0.782 3.941221 47.988945 msgc_hi2lo 0.279326 0.720757 0.162279 15.000000 14.846157
20 5 1.6 0.782 2.383239 32.688470 msgc_lo2hi 0.279326 0.720757 0.162279 15.000000 14.846157
21 6 1.6 0.782 73.832888 84.411182 ssgc 0.323225 0.676775 0.192766 14.773287 11.254975
22 6 1.6 0.782 2.728405 47.791149 msgc_hi2lo 0.312019 0.687981 0.184847 14.150972 8.961252
23 6 1.6 0.782 2.029677 22.993105 msgc_lo2hi 0.311719 0.688281 0.184637 14.150972 8.960200
24 7 1.6 0.782 77.457499 93.810166 ssgc 0.262522 0.737656 0.150976 10.173495 6.324122
25 7 1.6 0.782 2.809083 47.059192 msgc_hi2lo 0.239029 0.761098 0.135655 10.173495 4.090550
26 7 1.6 0.782 1.907481 25.647313 msgc_lo2hi 0.239029 0.761098 0.135655 10.173495 4.090550
27 11 1.6 0.720 40.200482 48.615925 ssgc 0.115463 0.884584 0.061242 12.278029 3.730891
28 11 1.6 0.720 2.652612 34.565759 msgc_hi2lo 0.113879 0.886150 0.060361 12.278029 3.355629
29 11 1.6 0.720 2.042529 27.553457 msgc_lo2hi 0.113879 0.886150 0.060361 12.278029 3.355629

In [88]:
import os, platform, subprocess, re

def get_processor_name():
    if platform.system() == "Windows":
        return platform.processor()
    elif platform.system() == "Darwin":
        os.environ['PATH'] = os.environ['PATH'] + os.pathsep + '/usr/sbin'
        command ="sysctl -n machdep.cpu.brand_string"
        return subprocess.check_output(command).strip()
    elif platform.system() == "Linux":
        command = "cat /proc/cpuinfo"
        all_info = subprocess.check_output(command, shell=True).strip()
        for line in all_info.split("\n"):
            if "model name" in line:
                return re.sub( ".*model name.*:", "", line,1)
    return ""

In [89]:
get_processor_name()


Out[89]:
'Intel64 Family 6 Model 142 Stepping 10, GenuineIntel'

In [90]:
# from psutil import virtual_memory
# virtual_memory()

Statistics


In [91]:
dfs.keys()


Out[91]:
Index(['_create_nlinks time', 'avgd', 'block size', 'data id',
       'data organ key', 'data orig voxelsize mm 0',
       'data orig voxelsize mm 1', 'data orig voxelsize mm 2',
       'data segmentation size px', 'data size 0', 'data size 1',
       'data size 2', 'data size px', 'data target size px',
       'data voxelsize mm 0', 'data voxelsize mm 1', 'data voxelsize mm 2',
       'data voxelsize mm^3', 'dice', 'dice gc', 'edge number', 'err1_mm3',
       'err1_percent', 'err2_mm3', 'err2_percent', 'error',
       'experiment iteration start time', 'gc time', 'jaccard', 'jaccard gc',
       'low level image voxels', 'low level object voxels', 'machine hostname',
       'maxd', 'method', 'nlinks number', 'rmsd', 't graph 01', 't graph 10',
       't graph 11', 't graph 13', 't graph 14', 't graph high', 't graph low',
       't split 01', 't split 02', 't split 03', 't split 04', 't split 05',
       't split 06', 't split 07', 't split 08', 't split 081', 't split 082',
       't split 0821', 't split 09', 't split 10', 't1', 't10', 't2', 't3',
       't3.1', 't3.2', 't3.3', 't4', 't5', 't6', 't7', 't8', 't9', 'time',
       'tlinks number', 'vd', 'voe', 'voe gc', 'volume1_mm3', 'volume2_mm3',
       'relative object size', 'relative object size [%]', 'data orig size 0',
       'VOE [%]'],
      dtype='object')

In [92]:
from scipy import stats
dfs_plus = dfs
ssgc_rows = dfs_plus[dfs_plus["method"].str.contains(labels[0])]
ssgc_hi2lo_rows = dfs_plus[dfs_plus["method"].str.contains(labels[1])]
ssgc_lo2hi_rows = dfs_plus[dfs_plus["method"].str.contains(labels[2])]
pp0 = stats.ttest_rel(ssgc_rows["time"], ssgc_hi2lo_rows["time"])
pp1 = stats.ttest_rel(ssgc_rows["time"], ssgc_lo2hi_rows["time"])
pp2 = stats.ttest_rel(ssgc_hi2lo_rows["time"], ssgc_lo2hi_rows["time"])

print("pokud je pvalue mensi nez zvolena hladina vyznamnosti (0.01=1%), je vsechno ok") 
#mozna staci i dvojnasobek hladiny vyzamnosi
print("statistic musi byt vetsi nez 0, pokud jde o jednostranný test. V tomto případě lze jen prohodit pořadí proměnných")
display(pp0)
display(pp1)
display(pp2)

float_to_latex_file(pp0.pvalue, op.join(latex_dir, "ttest_pvalue_ct_ssgc_msgc_hi2lo.tex"))
float_to_latex_file(pp1.pvalue, op.join(latex_dir, "ttest_pvalue_ct_ssgc_msgc_lo2hi.tex"))
float_to_latex_file(pp2.pvalue, op.join(latex_dir, "ttest_pvalue_ct_msgc_hi2lo_msgc_lo2hi.tex"))


pokud je pvalue mensi nez zvolena hladina vyznamnosti (0.01=1%), je vsechno ok
statistic musi byt vetsi nez 0, pokud jde o jednostranný test. V tomto případě lze jen prohodit pořadí proměnných
Ttest_relResult(statistic=5.3753411496106427, pvalue=0.00044721825479295273)
Ttest_relResult(statistic=5.415846653756069, pvalue=0.00042413178146874405)
Ttest_relResult(statistic=4.4804636405304521, pvalue=0.0015313990732141599)

In [93]:
ssgc_rows


Out[93]:
_create_nlinks time avgd block size data id data organ key data orig voxelsize mm 0 data orig voxelsize mm 1 data orig voxelsize mm 2 data segmentation size px data size 0 data size 1 data size 2 data size px data target size px data voxelsize mm 0 data voxelsize mm 1 data voxelsize mm 2 data voxelsize mm^3 dice dice gc edge number err1_mm3 err1_percent err2_mm3 err2_percent error experiment iteration start time gc time jaccard jaccard gc low level image voxels low level object voxels machine hostname maxd method nlinks number rmsd t graph 01 t graph 10 t graph 11 t graph 13 t graph 14 t graph high t graph low t split 01 t split 02 t split 03 t split 04 t split 05 t split 06 t split 07 t split 08 t split 081 t split 082 t split 0821 t split 09 t split 10 t1 t10 t2 t3 t3.1 t3.2 t3.3 t4 t5 t6 t7 t8 t9 time tlinks number vd voe voe gc volume1_mm3 volume2_mm3 relative object size relative object size [%] data orig size 0 VOE [%]
0 2.698244 2.307930 10 1 left_kidney 1.6 0.570 0.570 29609 138 195 195 5247450 43413 1.5 1.5 1.5 3.375 0.189094 NaN 20897955 6.750 0.005478 46595.250 37.813262 13808 1.559472e+09 24.595996 0.681953 NaN NaN NaN genomnote4 13.747727 ssgc 15650505 10.266311 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 29.749289 5247450 46.620960 31.804676 NaN 99930.375 146518.875 0.008273 0.827316 129.374998 0.318061
3 7.767864 2.991992 10 5 left_kidney 1.6 0.782 0.782 43498 149 267 267 10622061 64610 1.5 1.5 1.5 3.375 0.195767 NaN 42337389 87.750 0.048100 71340.750 39.105339 21164 1.559472e+09 76.445437 0.672566 NaN NaN NaN genomnote4 15.945219 ssgc 31715328 17.703387 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 88.737358 10622061 48.535565 32.743363 NaN 146805.750 218058.750 0.006083 0.608262 139.687498 0.327565
6 5.688588 2.328424 10 6 left_kidney 1.6 0.782 0.782 34940 145 267 267 10336905 51083 1.5 1.5 1.5 3.375 0.188147 NaN 41198901 70.875 0.048824 54553.500 37.580647 16185 1.559472e+09 66.998272 0.683293 NaN NaN NaN genomnote4 14.849242 ssgc 30861996 10.866419 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 76.799777 10336905 46.202061 31.670711 NaN 117922.500 172405.125 0.004942 0.494181 135.937498 0.316837
9 6.541257 1.265068 10 7 left_kidney 1.6 0.782 0.782 36568 162 267 267 11548818 44346 1.5 1.5 1.5 3.375 0.101812 NaN 46037475 776.250 0.568505 27027.000 19.793855 8238 1.559472e+09 88.094727 0.815192 NaN NaN NaN genomnote4 13.500000 ssgc 34488657 5.571671 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 100.232490 11548818 21.269963 18.480797 NaN 123417.000 149667.750 0.003840 0.383987 151.874998 0.185766
12 4.539396 1.309515 10 11 left_kidney 1.6 0.720 0.720 35999 141 246 246 8532756 41827 1.5 1.5 1.5 3.375 0.074936 NaN 34001136 6.750 0.005140 19676.250 14.982140 5832 1.559472e+09 55.125268 0.860575 NaN NaN NaN genomnote4 12.278029 ssgc 25468380 5.685151 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 63.353954 8532756 16.189339 13.942480 NaN 121496.625 141166.125 0.004902 0.490193 132.187498 0.139431
15 2.849182 1.992085 10 1 right_kidney 1.6 0.570 0.570 24903 138 195 195 5247450 33524 1.5 1.5 1.5 3.375 0.148099 NaN 20897955 54.000 0.054769 29149.875 29.565098 8653 1.559480e+09 20.172845 0.742010 NaN NaN NaN genomnote4 15.000000 ssgc 15650505 9.970021 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 25.579485 5247450 34.618319 25.799046 NaN 84047.625 113143.500 0.006389 0.638863 129.374998 0.258114
18 6.804137 3.052975 10 5 right_kidney 1.6 0.782 0.782 48117 149 267 267 10622061 69954 1.5 1.5 1.5 3.375 0.187455 NaN 42337389 499.500 0.250697 74199.375 37.240305 22133 1.559480e+09 71.729222 0.684274 NaN NaN NaN genomnote4 15.000000 ssgc 31715328 18.735374 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 82.821459 10622061 45.383129 31.572566 NaN 162394.875 236094.750 0.006586 0.658573 139.687498 0.316394
21 6.060138 2.446417 10 6 right_kidney 1.6 0.782 0.782 31646 145 267 267 10336905 46760 1.5 1.5 1.5 3.375 0.192766 NaN 41198901 0.000 0.000000 51009.750 38.553172 15114 1.559480e+09 73.832888 0.676775 NaN NaN NaN genomnote4 14.773287 ssgc 30861996 11.254975 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 84.411182 10336905 47.759590 32.322498 NaN 106805.250 157815.000 0.004524 0.452360 135.937498 0.323225
24 10.614416 1.798901 10 7 right_kidney 1.6 0.782 0.782 30474 162 267 267 11548818 41246 1.5 1.5 1.5 3.375 0.150976 NaN 46037475 94.500 0.078081 36450.000 30.117122 10828 1.559480e+09 77.457499 0.737656 NaN NaN NaN genomnote4 10.173495 ssgc 34488657 6.324122 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 93.810166 11548818 35.348166 26.234433 NaN 102849.750 139205.250 0.003571 0.357145 151.874998 0.262522
27 4.851342 0.857250 10 11 right_kidney 1.6 0.720 0.720 37457 141 246 246 8532756 42308 1.5 1.5 1.5 3.375 0.061242 NaN 34001136 57.375 0.042625 16429.500 12.205855 4885 1.559480e+09 40.200482 0.884584 NaN NaN NaN genomnote4 12.278029 ssgc 25468380 3.730891 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 48.615925 8532756 12.950850 11.541642 NaN 126417.375 142789.500 0.004958 0.495830 132.187498 0.115463

In [116]:
# pp0 = stats.ttest_rel(ssgc_hi2lo_rows["time"], ssgc_rows["time"])
# pp1 = stats.ttest_rel(ssgc_lo2hi_rows["time"], ssgc_rows["time"])
# pp2 = stats.ttest_rel(ssgc_lo2hi_rows["time"], ssgc_hi2lo_rows["time"])
# pp_err0 = stats.ttest_rel(ssgc_lo2hi_rows["VOE [%]"], ssgc_rows["VOE [%]"])
# pp_err2 = stats.ttest_rel(ssgc_lo2hi_rows["VOE [%]"], ssgc_hi2lo_rows["VOE [%]"])
# stats.ttest_rel
# display(pp0)
# display(pp1)
# display(pp2)
# display(pp_err0)
# display(pp_err2)


Ttest_relResult(statistic=-5.3753411496106427, pvalue=0.00044721825479295273)
Ttest_relResult(statistic=-5.415846653756069, pvalue=0.00042413178146874405)
Ttest_relResult(statistic=-4.4804636405304521, pvalue=0.0015313990732141599)
Ttest_relResult(statistic=-5.2766115953555746, pvalue=0.00050938510064518284)
Ttest_relResult(statistic=-1.0253885631519559, pvalue=0.33194922378244029)