In [1]:
import logging
import numpy as np
import pandas as pd
root = logging.getLogger()
root.addHandler(logging.StreamHandler())
import datetime
%matplotlib inline
from shapely.prepared import prep
from shapely import speedups
speedups.enable()
In [2]:
from pygbif import species # http://pygbif.readthedocs.org/en/latest/
from pygbif import occurrences
In [15]:
# all these synonyms should pop-up below (for those that have occurrences):
# http://www.gbif.org/species/4286327/synonyms
In [30]:
from iSDM.species import GBIFSpecies
In [31]:
gasterosteus_aculeatus = GBIFSpecies(name_species="Gasterosteus aculeatus")
Enabled Shapely speedups for performance.
In [83]:
gasterosteus_aculeatus.load_data("../data/fish/selection/gbif/Gasterosteus aculeatus4286327.pkl")
Loading data from: ../data/fish/selection/gbif/Gasterosteus aculeatus4286327.pkl
Succesfully loaded previously saved data.
Out[83]:
accessrights
associatedoccurrences
associatedreferences
associatedsequences
basisofrecord
behavior
bibliographiccitation
catalognumber
class
classkey
...
verbatimdepth
verbatimelevation
verbatimeventdate
verbatimlabel
verbatimlocality
verbatimsrs
verbatimtaxonrank
vernacularname
waterbody
year
0
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
2714337
Actinopterygii
204
...
NaN
NaN
2016-02-24 11:25:06
NaN
Astoria Waterfront
NaN
NaN
NaN
NaN
2016.0
1
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
2709219
Actinopterygii
204
...
NaN
NaN
2016-02-22
NaN
Maacama Creek, CA
NaN
NaN
NaN
NaN
2016.0
2
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
2744772
Actinopterygii
204
...
NaN
NaN
2016-02-23
NaN
pinnacles np
NaN
NaN
NaN
NaN
2016.0
3
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
14018692
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2016.0
4
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
2800284
Actinopterygii
204
...
NaN
NaN
2016-03-18
NaN
Mountain Lake
NaN
NaN
NaN
NaN
2016.0
5
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
2881578
Actinopterygii
204
...
NaN
NaN
2016-03-27
NaN
Font estramar
NaN
NaN
NaN
NaN
2016.0
6
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
3065240
Actinopterygii
204
...
NaN
NaN
Sat Apr 30 2016 11:08:00 GMT-0700 (PDT)
NaN
100 Shaffer Rd, Santa Cruz, CA, US
NaN
NaN
NaN
NaN
2016.0
7
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
3067722
Actinopterygii
204
...
NaN
NaN
2016-04-30 11:08:32
NaN
Younger Lagoon Reserve, Santa Cruz, UC Natural...
NaN
NaN
NaN
NaN
2016.0
8
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
2995455
Actinopterygii
204
...
NaN
NaN
2016-04-21 11:51:18 AM PDT
NaN
Mill Valley, CA 94941
NaN
NaN
NaN
NaN
2016.0
9
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
3269594
Actinopterygii
204
...
NaN
NaN
2016-05-21 11:01:10
NaN
Pinnacles National Park
NaN
NaN
NaN
NaN
2016.0
10
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
14650444
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2016.0
11
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
3234948
Actinopterygii
204
...
NaN
NaN
2016-05-20
NaN
Mouth of Colewort Creek, Lewis and Clark Natio...
NaN
NaN
NaN
NaN
2016.0
12
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
14692661
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2016.0
13
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
3200569
Actinopterygii
204
...
NaN
NaN
2016-05-16 14:53:51
NaN
Soldotna, Headquarters Lake
NaN
NaN
NaN
NaN
2016.0
14
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
3480117
Actinopterygii
204
...
NaN
NaN
2016-06-18 10:53:01 AM PDT
NaN
Blue Dot Farm, Marin County, US-CA, US
NaN
NaN
NaN
NaN
2016.0
15
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
14778162
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2016.0
16
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
14726992
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2016.0
17
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
14710425
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2016.0
18
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
1227646
Actinopterygii
204
...
NaN
NaN
2015-01-19
NaN
Owen Beach
NaN
NaN
NaN
NaN
2015.0
19
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
13497936
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2015.0
20
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
1280438
Actinopterygii
204
...
NaN
NaN
2015-03-07 14:31:50
NaN
Golden Gate Park, San Francisco, California, U...
NaN
NaN
NaN
NaN
2015.0
21
http://www.inbo.be/en/norms-for-data-use
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
NaN
Actinopterygii
204
...
NaN
NaN
2015-04-29
NaN
De Mosten - Bospoel Fuik 3
Belgium Datum 1972
NaN
Driedoornige stekelbaars
NaN
2015.0
22
http://www.inbo.be/en/norms-for-data-use
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
NaN
Actinopterygii
204
...
NaN
NaN
2015-04-29
NaN
De Mosten - Bospoel Fuik 2
Belgium Datum 1972
NaN
Driedoornige stekelbaars
NaN
2015.0
23
http://www.inbo.be/en/norms-for-data-use
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
NaN
Actinopterygii
204
...
NaN
NaN
2015-04-28
NaN
De Mosten - Bospoel Fuik3
Belgium Datum 1972
NaN
Driedoornige stekelbaars
NaN
2015.0
24
http://www.inbo.be/en/norms-for-data-use
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
NaN
Actinopterygii
204
...
NaN
NaN
2015-04-29
NaN
De Mosten - Bospoel Fuik 1
Belgium Datum 1972
NaN
Driedoornige stekelbaars
NaN
2015.0
25
http://www.inbo.be/en/norms-for-data-use
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
NaN
Actinopterygii
204
...
NaN
NaN
2015-04-28
NaN
Arendonk 4 Fuik 2
Belgium Datum 1972
NaN
Driedoornige stekelbaars
NaN
2015.0
26
http://www.inbo.be/en/norms-for-data-use
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
NaN
Actinopterygii
204
...
NaN
NaN
2015-04-28
NaN
Arendonk 4 Fuik 1
Belgium Datum 1972
NaN
Driedoornige stekelbaars
NaN
2015.0
27
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
17291438
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2015.0
28
NaN
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
17321055
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
2015.0
29
http://www.inbo.be/en/norms-for-data-use
NaN
NaN
NaN
HUMAN_OBSERVATION
NaN
NaN
NaN
Actinopterygii
204
...
NaN
NaN
2015-04-28
NaN
Arendonk 4 Fuik 3
Belgium Datum 1972
NaN
Driedoornige stekelbaars
NaN
2015.0
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
87544
NaN
NaN
NaN
NaN
OBSERVATION
NaN
NaN
14691302
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87545
NaN
NaN
NaN
NaN
OBSERVATION
NaN
NaN
14691501
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87546
NaN
NaN
NaN
NaN
OBSERVATION
NaN
NaN
14691512
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87547
NaN
NaN
NaN
NaN
OBSERVATION
NaN
NaN
14691380
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87548
NaN
NaN
NaN
NaN
OBSERVATION
NaN
NaN
14691458
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87549
NaN
NaN
NaN
NaN
OBSERVATION
NaN
NaN
14691397
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87550
NaN
NaN
NaN
NaN
OBSERVATION
NaN
NaN
14691223
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87551
NaN
NaN
NaN
NaN
OBSERVATION
NaN
NaN
14691199
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87552
NaN
NaN
Seguimiento
NaN
UNKNOWN
NaN
NaN
583991
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87553
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
1839.2.4.12
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
Northeast Atlantic Ocean
NaN
87554
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
1894.2.22.5-6
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87555
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
1931.6.26.1-3
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
Northeast Atlantic Ocean; North Sea
NaN
87556
http://www.vertnet.org/resources/norms.html
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
9740
Actinopterygii
204
...
NaN
NaN
summer 1956
NaN
around Yakobi Is., and in Lynn Canal
NaN
NaN
NaN
NaN
NaN
87557
http://www.vertnet.org/resources/norms.html
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
6704
Actinopterygii
204
...
NaN
NaN
1976
NaN
North Fork of Chickamin River, Indian Creek, ...
NaN
NaN
NaN
NaN
NaN
87558
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
26538
Actinopterygii
204
...
NaN
NaN
[no verbatim date data]
NaN
Saachuru-Kale; Rec'd 24 Dec. 1885.
NaN
NaN
NaN
NaN
NaN
87559
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
6761
Actinopterygii
204
...
NaN
NaN
[no verbatim date data]
NaN
Nahant [Massachusetts Bay]
NaN
NaN
NaN
NaN
NaN
87560
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
6779
Actinopterygii
204
...
NaN
NaN
1856-1862
NaN
San Francisco, mid-1800's.
NaN
NaN
NaN
NaN
NaN
87561
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
1853.10.1.1
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87562
Open Access, http://creativecommons.org/public...
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
Gasterosteus aculeatus (YPM ICH 003575)
YPM ICH 003575
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
sticklebacks; pipefishes; ray-finned fishes; v...
NaN
NaN
87563
Open Access, http://creativecommons.org/public...
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
Gasterosteus aculeatus (YPM ICH 023480)
YPM ICH 023480
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
sticklebacks; pipefishes; ray-finned fishes; v...
NaN
NaN
87564
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
37987
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87565
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
5209
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
Puget sound
NaN
87566
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
3064
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87567
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
4714
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
Green lake
NaN
87568
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
0000-7075
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87569
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
0000-7114
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
seine
NaN
87570
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
0000-7083
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
rhin
NaN
87571
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
0000-7076
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87572
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
0000-7096
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
87573
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
1898-0809
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
seine
NaN
87574 rows × 167 columns
In [33]:
species_df = gasterosteus_aculeatus.get_data()
In [81]:
# all synonyms (including the original) for occurrences of "Gasterosteus aculeatus"
species_df.scientificname.unique()
Out[81]:
array(['Gasterosteus aculeatus Linnaeus, 1758',
'Gasterosteus aculeatus subsp. aculeatus',
'Gasterosteus aculeatus subsp. williamsoni Girard, 1854',
'Gasterosteus cataphractus (Pallas, 1814)',
'Gasterosteus bispinosus Walbaum, 1792',
'Gasterosteus williamsoni Girard, 1854',
'Gasterosteus atkinsi Bean, 1879',
'Gasterosteus atkinsii Bean, 1879',
'Gasterosteus aculeatus subsp. gymnurus Cuvier, 1829',
'Gasterosteus brachycentrus Cuvier, 1829',
'Gasterosteus cuvieri Girard, 1850',
'Gasterosteus trachurus Cuvier, 1829',
'Gasterosteus plebeius Girard, 1854',
'Gasterosteus inopinatus Girard, 1854',
'Gasterosteus leiurus Cuvier, 1829',
'Gasterosteus intermedius Girard, 1856',
'Gasterosteus loricatus Reinhardt, 1837',
'Gasterosteus argentatissimus Blanchard, 1866',
'Gasterosteus serratus Ayres, 1855',
'Gasterosteus biaculeatus Mitchill, 1815',
'Gasterosteus pugetti Girard, 1856',
'Gastrosteus aculeatus (Linnaeus, 1758)',
'Gasterosteus argyropomus Cuvier, 1829',
'Gasterosteus spinulosus Yarrell, 1835',
'Gasterosteus santaeannae Regan, 1909',
'Gasterosteus noveboracensis Cuvier, 1829',
'Gasterosteus algeriensis Sauvage, 1874',
'Gasterosteus bailloni Blanchard, 1866'], dtype=object)
In [84]:
species_df.taxonkey.unique()
Out[84]:
array([4286327, 7193464, 6169883, 4286335, 4286334, 4352589, 4352581,
4352569, 6169875, 4286342, 4286343, 4286332, 4352562, 4352575,
4286336, 4352566, 4352584, 4352574, 4352567, 4286348, 4352572,
4352560, 4286341, 4286331, 4352591, 4286329, 4352582, 4352576])
In [85]:
# take one taxonkey as an example
# 4 records for synonym "Gasterosteus brachycentrus Cuvier": http://www.gbif.org/species/4286342
species_df[species_df.taxonkey==4286342]
Out[85]:
accessrights
associatedoccurrences
associatedreferences
associatedsequences
basisofrecord
behavior
bibliographiccitation
catalognumber
class
classkey
...
verbatimdepth
verbatimelevation
verbatimeventdate
verbatimlabel
verbatimlocality
verbatimsrs
verbatimtaxonrank
vernacularname
waterbody
year
78041
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
11475
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
1885.0
78076
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
11145
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
1882.0
78226
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
6249
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
1844.0
80161
NaN
NaN
NaN
NaN
PRESERVED_SPECIMEN
NaN
NaN
1896.10.3.1-5
Actinopterygii
204
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
4 rows × 167 columns
In [86]:
species_df[species_df.taxonkey==4286342].scientificname
Out[86]:
78041 Gasterosteus brachycentrus Cuvier, 1829
78076 Gasterosteus brachycentrus Cuvier, 1829
78226 Gasterosteus brachycentrus Cuvier, 1829
80161 Gasterosteus brachycentrus Cuvier, 1829
Name: scientificname, dtype: object
In [ ]:
Content source: remenska/iSDM
Similar notebooks: