In [89]:
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np, json

Compare the algorithms confidence in the DR5 false positives list against all DLAs found


In [133]:
false_pos_csv = '../../results/false_positives_DR5_v4.3.1_gen.csv'
results_json = '../../tmp/model_4.3.1_data_dr5/predictions.json'

false_pos_matrix = np.loadtxt(false_pos_csv, skiprows=1, delimiter=',')
with open(results_json, 'r') as f:
    results_array = json.load(f)

# generate a list of tuples:  [(false pos zabs, [list of result dlas])]
sl_per_fp = [(row[2], sl['id'], sl['dlas']) \
             for row in false_pos_matrix \
             for sl in results_array \
             if "%05d-%05d"%(row[5],row[6]) == sl['id']]
fp_dla_confidence = []
# pick out the closest matching dla comparing zabs with z_dla
for (zabs,id,dlas) in sl_per_fp:
    difflist = [abs(d['z_dla']-zabs) for d in dlas]
    minix = difflist.index(min(difflist))
    fp_dla_confidence.append(dlas[minix]['dla_confidence'])

# print len(dla_confidence), len(false_pos_matrix)
# fp_dla_confidence

all_dla_confidence = [dla['dla_confidence'] for sl in results_array for dla in sl['dlas']]

BINS=20
fp_hist = np.histogram(fp_dla_confidence, range=[0,1], bins=BINS)
all_hist = np.histogram(all_dla_confidence, range=[0,1], bins=BINS)

In [131]:
# all_hist[0] - fp_hist[0]
fp_hist[0]


Out[131]:
array([ 0,  0,  0,  0,  0,  0,  0,  0,  0,  1,  2, 17,  5,  8,  7,  3, 17,
        5,  8,  8,  4,  8,  6,  8,  4,  7,  6,  3,  7,  2, 12,  6,  0,  5,
        5,  2,  4,  2,  2,  5,  6,  3,  3,  5,  1,  4,  2,  1,  3, 95])

In [135]:
plt.figure(figsize=(20, 6))
# plt.hist(fp_dla_confidence, 50, facecolor='green', range=[0,1]);
plt.bar(range(BINS), fp_hist[0])
plt.xlabel("Histogram confidence of FPs.")
plt.ylim([0,40])

plt.figure(figsize=(20, 6))
# plt.hist(all_dla_confidence, 50, facecolor='green', range=[0,1]);
plt.bar(range(BINS), all_hist[0])
plt.xlabel("Histogram confidence of all predicted DLAs.")
plt.ylim([0,150])

plt.figure(figsize=(20, 6))
# plt.hist(all_dla_confidence, 50, facecolor='green', range=[0,1]);
plt.bar(range(BINS), all_hist[0]-fp_hist[0])
plt.xlabel("Histogram confidence of all predicted DLAs - FPs.")
plt.ylim([0,150])


Out[135]:
(0, 150)

In [139]:
# fp copy command
x = ["cp dla-spec-%05d-%05d.pdf false_pos"%(row[5],row[6]) for row in false_pos_matrix]
for i in x:
    print i


cp dla-spec-00273-00631.pdf false_pos
cp dla-spec-00278-00215.pdf false_pos
cp dla-spec-00278-00215.pdf false_pos
cp dla-spec-00278-00215.pdf false_pos
cp dla-spec-00278-00215.pdf false_pos
cp dla-spec-00279-00245.pdf false_pos
cp dla-spec-00290-00566.pdf false_pos
cp dla-spec-00309-00466.pdf false_pos
cp dla-spec-00310-00350.pdf false_pos
cp dla-spec-00360-00021.pdf false_pos
cp dla-spec-00367-00229.pdf false_pos
cp dla-spec-00372-00498.pdf false_pos
cp dla-spec-00375-00111.pdf false_pos
cp dla-spec-00380-00017.pdf false_pos
cp dla-spec-00385-00492.pdf false_pos
cp dla-spec-00385-00492.pdf false_pos
cp dla-spec-00385-00492.pdf false_pos
cp dla-spec-00385-00492.pdf false_pos
cp dla-spec-00385-00492.pdf false_pos
cp dla-spec-00416-00228.pdf false_pos
cp dla-spec-00437-00532.pdf false_pos
cp dla-spec-00444-00194.pdf false_pos
cp dla-spec-00446-00634.pdf false_pos
cp dla-spec-00450-00590.pdf false_pos
cp dla-spec-00452-00558.pdf false_pos
cp dla-spec-00454-00610.pdf false_pos
cp dla-spec-00454-00610.pdf false_pos
cp dla-spec-00460-00420.pdf false_pos
cp dla-spec-00460-00420.pdf false_pos
cp dla-spec-00463-00261.pdf false_pos
cp dla-spec-00468-00182.pdf false_pos
cp dla-spec-00474-00178.pdf false_pos
cp dla-spec-00474-00178.pdf false_pos
cp dla-spec-00497-00506.pdf false_pos
cp dla-spec-00498-00144.pdf false_pos
cp dla-spec-00500-00058.pdf false_pos
cp dla-spec-00511-00264.pdf false_pos
cp dla-spec-00528-00333.pdf false_pos
cp dla-spec-00530-00267.pdf false_pos
cp dla-spec-00530-00267.pdf false_pos
cp dla-spec-00532-00328.pdf false_pos
cp dla-spec-00541-00565.pdf false_pos
cp dla-spec-00548-00195.pdf false_pos
cp dla-spec-00569-00343.pdf false_pos
cp dla-spec-00580-00535.pdf false_pos
cp dla-spec-00591-00180.pdf false_pos
cp dla-spec-00598-00306.pdf false_pos
cp dla-spec-00600-00579.pdf false_pos
cp dla-spec-00610-00406.pdf false_pos
cp dla-spec-00617-00040.pdf false_pos
cp dla-spec-00623-00152.pdf false_pos
cp dla-spec-00626-00455.pdf false_pos
cp dla-spec-00631-00127.pdf false_pos
cp dla-spec-00636-00250.pdf false_pos
cp dla-spec-00655-00482.pdf false_pos
cp dla-spec-00664-00161.pdf false_pos
cp dla-spec-00667-00082.pdf false_pos
cp dla-spec-00667-00265.pdf false_pos
cp dla-spec-00731-00179.pdf false_pos
cp dla-spec-00739-00465.pdf false_pos
cp dla-spec-00739-00465.pdf false_pos
cp dla-spec-00739-00465.pdf false_pos
cp dla-spec-00739-00557.pdf false_pos
cp dla-spec-00739-00584.pdf false_pos
cp dla-spec-00757-00086.pdf false_pos
cp dla-spec-00759-00001.pdf false_pos
cp dla-spec-00763-00073.pdf false_pos
cp dla-spec-00764-00107.pdf false_pos
cp dla-spec-00770-00291.pdf false_pos
cp dla-spec-00772-00227.pdf false_pos
cp dla-spec-00772-00269.pdf false_pos
cp dla-spec-00772-00416.pdf false_pos
cp dla-spec-00780-00394.pdf false_pos
cp dla-spec-00780-00487.pdf false_pos
cp dla-spec-00781-00464.pdf false_pos
cp dla-spec-00784-00563.pdf false_pos
cp dla-spec-00794-00286.pdf false_pos
cp dla-spec-00796-00415.pdf false_pos
cp dla-spec-00812-00493.pdf false_pos
cp dla-spec-00816-00297.pdf false_pos
cp dla-spec-00817-00540.pdf false_pos
cp dla-spec-00820-00631.pdf false_pos
cp dla-spec-00825-00607.pdf false_pos
cp dla-spec-00826-00305.pdf false_pos
cp dla-spec-00826-00428.pdf false_pos
cp dla-spec-00826-00589.pdf false_pos
cp dla-spec-00829-00117.pdf false_pos
cp dla-spec-00829-00612.pdf false_pos
cp dla-spec-00830-00431.pdf false_pos
cp dla-spec-00834-00350.pdf false_pos
cp dla-spec-00842-00323.pdf false_pos
cp dla-spec-00842-00323.pdf false_pos
cp dla-spec-00852-00630.pdf false_pos
cp dla-spec-00857-00129.pdf false_pos
cp dla-spec-00860-00441.pdf false_pos
cp dla-spec-00860-00470.pdf false_pos
cp dla-spec-00870-00042.pdf false_pos
cp dla-spec-00872-00298.pdf false_pos
cp dla-spec-00872-00547.pdf false_pos
cp dla-spec-00875-00104.pdf false_pos
cp dla-spec-00878-00341.pdf false_pos
cp dla-spec-00879-00614.pdf false_pos
cp dla-spec-00888-00301.pdf false_pos
cp dla-spec-00894-00631.pdf false_pos
cp dla-spec-00905-00419.pdf false_pos
cp dla-spec-00908-00567.pdf false_pos
cp dla-spec-00910-00526.pdf false_pos
cp dla-spec-00932-00557.pdf false_pos
cp dla-spec-00943-00110.pdf false_pos
cp dla-spec-00944-00194.pdf false_pos
cp dla-spec-00945-00573.pdf false_pos
cp dla-spec-00945-00573.pdf false_pos
cp dla-spec-00949-00493.pdf false_pos
cp dla-spec-00955-00267.pdf false_pos
cp dla-spec-00960-00594.pdf false_pos
cp dla-spec-00965-00399.pdf false_pos
cp dla-spec-00966-00508.pdf false_pos
cp dla-spec-00978-00228.pdf false_pos
cp dla-spec-00978-00228.pdf false_pos
cp dla-spec-00978-00228.pdf false_pos
cp dla-spec-00978-00228.pdf false_pos
cp dla-spec-00986-00185.pdf false_pos
cp dla-spec-00993-00232.pdf false_pos
cp dla-spec-01010-00022.pdf false_pos
cp dla-spec-01015-00064.pdf false_pos
cp dla-spec-01039-00433.pdf false_pos
cp dla-spec-01046-00224.pdf false_pos
cp dla-spec-01055-00459.pdf false_pos
cp dla-spec-01061-00188.pdf false_pos
cp dla-spec-01061-00188.pdf false_pos
cp dla-spec-01168-00543.pdf false_pos
cp dla-spec-01171-00520.pdf false_pos
cp dla-spec-01173-00195.pdf false_pos
cp dla-spec-01173-00575.pdf false_pos
cp dla-spec-01174-00393.pdf false_pos
cp dla-spec-01190-00180.pdf false_pos
cp dla-spec-01194-00360.pdf false_pos
cp dla-spec-01205-00057.pdf false_pos
cp dla-spec-01211-00492.pdf false_pos
cp dla-spec-01215-00282.pdf false_pos
cp dla-spec-01215-00282.pdf false_pos
cp dla-spec-01218-00178.pdf false_pos
cp dla-spec-01230-00251.pdf false_pos
cp dla-spec-01232-00464.pdf false_pos
cp dla-spec-01240-00256.pdf false_pos
cp dla-spec-01240-00475.pdf false_pos
cp dla-spec-01271-00619.pdf false_pos
cp dla-spec-01272-00586.pdf false_pos
cp dla-spec-01276-00178.pdf false_pos
cp dla-spec-01279-00213.pdf false_pos
cp dla-spec-01282-00555.pdf false_pos
cp dla-spec-01287-00489.pdf false_pos
cp dla-spec-01288-00347.pdf false_pos
cp dla-spec-01288-00392.pdf false_pos
cp dla-spec-01290-00513.pdf false_pos
cp dla-spec-01295-00222.pdf false_pos
cp dla-spec-01297-00389.pdf false_pos
cp dla-spec-01297-00389.pdf false_pos
cp dla-spec-01298-00455.pdf false_pos
cp dla-spec-01298-00455.pdf false_pos
cp dla-spec-01301-00370.pdf false_pos
cp dla-spec-01306-00052.pdf false_pos
cp dla-spec-01306-00052.pdf false_pos
cp dla-spec-01309-00450.pdf false_pos
cp dla-spec-01322-00529.pdf false_pos
cp dla-spec-01325-00283.pdf false_pos
cp dla-spec-01339-00062.pdf false_pos
cp dla-spec-01341-00292.pdf false_pos
cp dla-spec-01342-00599.pdf false_pos
cp dla-spec-01346-00129.pdf false_pos
cp dla-spec-01349-00161.pdf false_pos
cp dla-spec-01350-00254.pdf false_pos
cp dla-spec-01360-00326.pdf false_pos
cp dla-spec-01374-00428.pdf false_pos
cp dla-spec-01379-00074.pdf false_pos
cp dla-spec-01385-00519.pdf false_pos
cp dla-spec-01394-00133.pdf false_pos
cp dla-spec-01397-00250.pdf false_pos
cp dla-spec-01397-00494.pdf false_pos
cp dla-spec-01399-00625.pdf false_pos
cp dla-spec-01403-00495.pdf false_pos
cp dla-spec-01417-00347.pdf false_pos
cp dla-spec-01420-00465.pdf false_pos
cp dla-spec-01420-00465.pdf false_pos
cp dla-spec-01421-00569.pdf false_pos
cp dla-spec-01427-00364.pdf false_pos
cp dla-spec-01434-00346.pdf false_pos
cp dla-spec-01436-00468.pdf false_pos
cp dla-spec-01438-00057.pdf false_pos
cp dla-spec-01439-00595.pdf false_pos
cp dla-spec-01443-00063.pdf false_pos
cp dla-spec-01451-00264.pdf false_pos
cp dla-spec-01454-00342.pdf false_pos
cp dla-spec-01467-00609.pdf false_pos
cp dla-spec-01576-00495.pdf false_pos
cp dla-spec-01578-00544.pdf false_pos
cp dla-spec-01582-00435.pdf false_pos
cp dla-spec-01585-00256.pdf false_pos
cp dla-spec-01587-00632.pdf false_pos
cp dla-spec-01590-00389.pdf false_pos
cp dla-spec-01591-00529.pdf false_pos
cp dla-spec-01591-00529.pdf false_pos
cp dla-spec-01594-00514.pdf false_pos
cp dla-spec-01595-00414.pdf false_pos
cp dla-spec-01599-00527.pdf false_pos
cp dla-spec-01603-00039.pdf false_pos
cp dla-spec-01606-00071.pdf false_pos
cp dla-spec-01606-00071.pdf false_pos
cp dla-spec-01606-00102.pdf false_pos
cp dla-spec-01612-00239.pdf false_pos
cp dla-spec-01612-00372.pdf false_pos
cp dla-spec-01644-00228.pdf false_pos
cp dla-spec-01647-00559.pdf false_pos
cp dla-spec-01654-00016.pdf false_pos
cp dla-spec-01668-00150.pdf false_pos
cp dla-spec-01669-00322.pdf false_pos
cp dla-spec-01670-00504.pdf false_pos
cp dla-spec-01673-00545.pdf false_pos
cp dla-spec-01673-00545.pdf false_pos
cp dla-spec-01674-00608.pdf false_pos
cp dla-spec-01674-00608.pdf false_pos
cp dla-spec-01676-00405.pdf false_pos
cp dla-spec-01677-00324.pdf false_pos
cp dla-spec-01677-00324.pdf false_pos
cp dla-spec-01680-00127.pdf false_pos
cp dla-spec-01680-00177.pdf false_pos
cp dla-spec-01684-00573.pdf false_pos
cp dla-spec-01692-00618.pdf false_pos
cp dla-spec-01695-00636.pdf false_pos
cp dla-spec-01698-00612.pdf false_pos
cp dla-spec-01702-00335.pdf false_pos
cp dla-spec-01708-00379.pdf false_pos
cp dla-spec-01708-00440.pdf false_pos
cp dla-spec-01728-00598.pdf false_pos
cp dla-spec-01728-00598.pdf false_pos
cp dla-spec-01730-00526.pdf false_pos
cp dla-spec-01736-00582.pdf false_pos
cp dla-spec-01736-00634.pdf false_pos
cp dla-spec-01740-00342.pdf false_pos
cp dla-spec-01741-00623.pdf false_pos
cp dla-spec-01742-00566.pdf false_pos
cp dla-spec-01748-00351.pdf false_pos
cp dla-spec-01750-00210.pdf false_pos
cp dla-spec-01750-00628.pdf false_pos
cp dla-spec-01751-00242.pdf false_pos
cp dla-spec-01752-00316.pdf false_pos
cp dla-spec-01752-00496.pdf false_pos
cp dla-spec-01753-00270.pdf false_pos
cp dla-spec-01755-00560.pdf false_pos
cp dla-spec-01760-00582.pdf false_pos
cp dla-spec-01779-00177.pdf false_pos
cp dla-spec-01780-00297.pdf false_pos
cp dla-spec-01781-00371.pdf false_pos
cp dla-spec-01811-00099.pdf false_pos
cp dla-spec-01811-00549.pdf false_pos
cp dla-spec-01824-00057.pdf false_pos
cp dla-spec-01840-00174.pdf false_pos
cp dla-spec-01840-00445.pdf false_pos
cp dla-spec-01840-00445.pdf false_pos
cp dla-spec-01841-00349.pdf false_pos
cp dla-spec-01841-00586.pdf false_pos
cp dla-spec-01842-00227.pdf false_pos
cp dla-spec-01851-00228.pdf false_pos
cp dla-spec-01864-00045.pdf false_pos
cp dla-spec-01864-00045.pdf false_pos
cp dla-spec-01867-00009.pdf false_pos
cp dla-spec-01872-00474.pdf false_pos
cp dla-spec-01920-00273.pdf false_pos
cp dla-spec-01923-00309.pdf false_pos
cp dla-spec-01923-00309.pdf false_pos
cp dla-spec-01923-00309.pdf false_pos
cp dla-spec-01927-00626.pdf false_pos
cp dla-spec-01928-00249.pdf false_pos
cp dla-spec-01929-00044.pdf false_pos
cp dla-spec-01936-00614.pdf false_pos
cp dla-spec-01936-00618.pdf false_pos
cp dla-spec-01938-00529.pdf false_pos
cp dla-spec-01941-00615.pdf false_pos
cp dla-spec-01948-00481.pdf false_pos
cp dla-spec-01948-00481.pdf false_pos
cp dla-spec-01952-00500.pdf false_pos
cp dla-spec-01955-00514.pdf false_pos
cp dla-spec-01971-00628.pdf false_pos
cp dla-spec-01982-00626.pdf false_pos
cp dla-spec-01995-00319.pdf false_pos
cp dla-spec-01997-00313.pdf false_pos
cp dla-spec-02006-00383.pdf false_pos
cp dla-spec-02010-00210.pdf false_pos
cp dla-spec-02010-00536.pdf false_pos
cp dla-spec-02011-00171.pdf false_pos
cp dla-spec-02012-00632.pdf false_pos
cp dla-spec-02019-00194.pdf false_pos
cp dla-spec-02030-00539.pdf false_pos
cp dla-spec-02033-00188.pdf false_pos
cp dla-spec-02086-00586.pdf false_pos
cp dla-spec-02088-00401.pdf false_pos
cp dla-spec-02095-00467.pdf false_pos
cp dla-spec-02108-00165.pdf false_pos
cp dla-spec-02111-00525.pdf false_pos
cp dla-spec-02136-00493.pdf false_pos
cp dla-spec-02136-00493.pdf false_pos
cp dla-spec-02196-00029.pdf false_pos