In [29]:
import pandas
from influxdb import InfluxDBClient
import json
import numpy
from elasticsearch import Elasticsearch
In [30]:
es = Elasticsearch()
In [31]:
documentID = "1s22fDTD-QxaocF7Co4_FJt5PDmH_L0cNFtYdWBioITY"
url = "https://docs.google.com/spreadsheets/d/%s/export?exportFormat=csv"%documentID
print url
https://docs.google.com/spreadsheets/d/1s22fDTD-QxaocF7Co4_FJt5PDmH_L0cNFtYdWBioITY/export?exportFormat=csv
In [32]:
df = pandas.read_csv(url,sep = ",",skiprows=2, header = 0,index_col = 0 ,na_values = [" "," "," "," ","","-","NAN","#DIV/0!","#VALUE!"])
In [33]:
df
Out[33]:
Operator_ID
Status
Name
Owner
Address
Longitude
Latitude
Height
Country
County
...
Cost_per_kWp
PV_Model
Angle
Orientation
Webpage
Local_monthly consumption
Site_consumption_annual
Pmax.1
Picture
Description
UUID
aa368f3e-967a-11e4-b100-123b93f75cba
f12
NY, levererar data till SLB
Kvarnspelet 1 hus 1
Familjebostäder
Askebykroken 14-18
17.927252
59.391609
NaN
SE
1
...
NaN
NaN
15
70
NaN
NaN
NaN
NaN
NaN
NaN
4cf6c743-8d0b-45f0-aa72-8a0c10315cf5
f09
OK
Kvarnspelet 4 hus 2
Familjebostäder
Askebykroken 26–32
17.926140
59.391149
NaN
SE
1
...
NaN
NaN
18
20
NaN
NaN
NaN
NaN
NaN
NaN
aa369330-967a-11e4-b100-123b93f75cba
f13
NY, levererar data till SLB
Kvarnspelet 1 hus 4
Familjebostäder
Askebykroken 4-8
17.927971
59.391429
NaN
SE
1
...
NaN
NaN
15
70
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
?
Kvarnspelet 4 hus 1
Familjebostäder
Askebykroken 7–15
17.926577
59.390928
NaN
SE
1
...
NaN
NaN
18
20
NaN
NaN
NaN
NaN
NaN
NaN
aa3695b0-967a-11e4-b100-123b93f75cba
f14
NY, levererar data till SLB
Tullkvarnen 1 hus 5
Familjebostäder
Degerbygränd 13-19
17.929494
59.391014
NaN
SE
1
...
NaN
NaN
15
-70
NaN
NaN
NaN
NaN
NaN
NaN
aa3697b8-967a-11e4-b100-123b93f75cba
f15
NY, levererar data till SLB
Holkkvarnen 1 hus 1
Familjebostäder
Degerbygränd 16-22
17.929956
59.390009
NaN
SE
1
...
NaN
NaN
15
35
NaN
NaN
NaN
NaN
NaN
NaN
aa369920-967a-11e4-b100-123b93f75cba
f16
NY, levererar data till SLB
Tullkvarnen 1 hus 3
Familjebostäder
Degerbygränd 27-33
17.930235
59.390790
NaN
SE
1
...
NaN
NaN
15
-70
NaN
NaN
NaN
NaN
NaN
NaN
aa369a4c-967a-11e4-b100-123b93f75cba
f17
NY, levererar data till SLB
Tullkvarnen 1 hus 8
Familjebostäder
Degerbygränd 3- 7
17.928754
59.391254
NaN
SE
1
...
NaN
NaN
15
-70
NaN
NaN
NaN
NaN
NaN
NaN
aa369b78-967a-11e4-b100-123b93f75cba
f18
NY, levererar data till SLB
Holkkvarnen 1 hus 2
Familjebostäder
Degerbygränd 6-14
17.928754
59.390375
NaN
SE
1
...
NaN
NaN
15
35
NaN
NaN
NaN
NaN
NaN
NaN
aa369fd8-967a-11e4-b100-123b93f75cba
f19
NY, levererar data till SLB
Kvarnskruven 1, hus 4
Familjebostäder
Hällbybacken 14-16
17.925332
59.390615
NaN
SE
1
...
NaN
NaN
16
NaN
NaN
NaN
NaN
NaN
NaN
Orientation: 20,-70
c6261166-f651-11e3-a510-f23c9173ce4a
f10
OK
Kvarntorpet hus 2
Familjebostäder
Hällbybacken 17-23
17.924924
59.390025
NaN
SE
1
...
NaN
NaN
14
20
NaN
NaN
NaN
NaN
NaN
NaN
aa36a136-967a-11e4-b100-123b93f75cba
f21
NY, levererar data till SLB
Kvarnskruven 1, hus 7
Familjebostäder
Hällbybacken 2-4
17.926855
59.390020
NaN
SE
1
...
NaN
NaN
16
NaN
NaN
NaN
NaN
NaN
NaN
Orientation: 20,-70
aa36a348-967a-11e4-b100-123b93f75cba
f22
NY, levererar data till SLB
Kvarnskruven 1, hus 2
Familjebostäder
Hällbybacken 6-10
17.926759
59.390326
NaN
SE
1
...
NaN
NaN
16
NaN
NaN
NaN
NaN
NaN
NaN
Orientation: 20,-70
e8a13982-f651-11e3-a510-f23c9173ce4a
f11
OK
Kvarntorpet hus 1
Familjebostäder
Hällbybacken 7–15
17.926602
59.389570
NaN
SE
1
...
NaN
NaN
14
20
NaN
NaN
NaN
NaN
NaN
Orientation: 20,-70
aa36a5a0-967a-11e4-b100-123b93f75cba
f20
NY, levererar data till SLB
Kvarnskruven 1, hus 6
Familjebostäder
Hällbybacken 18-20
17.925235
59.390981
NaN
SE
1
...
NaN
NaN
16
NaN
NaN
NaN
NaN
NaN
NaN
NaN
709e47a1-ca88-4c22-890f-2407e9cb131a
f06
OK
Hinderstorp hus 2
Familjebostäder
Hinderstorps gränd 14-20
17.929530
59.388574
NaN
SE
1
...
NaN
NaN
9
20
NaN
NaN
NaN
NaN
NaN
NaN
face0d13-b22d-48fe-bec1-d29732604133
f05
OK
Hinderstorp hus 1
Familjebostäder
Hinderstorps gränd 4–12
17.927305
59.389259
NaN
SE
1
...
NaN
NaN
9
20
NaN
NaN
NaN
NaN
NaN
NaN
32383bde-7648-4abe-9dac-44701eabd72f
f04
OK
Enfota kvarnen
Familjebostäder
Kuddbygränd 10
17.929990
59.391982
NaN
SE
1
...
NaN
NaN
15
20
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
?
Enfota kvarnen
Familjebostäder
Kuddbygränd 4–22 b
17.929436
59.392119
NaN
SE
1
...
NaN
NaN
15
20
NaN
NaN
NaN
NaN
NaN
NaN
b0dd71a8-efe8-41eb-bab1-633ebaaa778c
f07
OK
Kvarnhuset 1
Familjebostäder
Stavbygränd 1–19
17.928606
59.392247
NaN
SE
1
...
NaN
NaN
15
20
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
?, Jonas ändrat adress
Bäckkvarnen
Familjebostäder
Svennebygränd 13–29
17.933239
59.389447
NaN
SE
1
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
?, Jonas ändrat adress
Bäckkvarnen
Familjebostäder
Svennebygränd 3–11
17.932766
59.389446
NaN
SE
1
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
?, Jonas ändrat adress
Bäckkvarnen
Familjebostäder
Svennebygränd 31–39
17.932295
59.389610
NaN
SE
1
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
ed2145ce-9679-11e4-b100-123b93f75cba
k01
NY, levererar data till SLB
Husbybadet
Fastighetskontoret
Husbybadet, Edvard Griegsgången 30
17.922232
59.411728
NaN
SE
1
...
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
Angle: 15,11,90 Orientation: 0, 45, -45
NaN
NaN
Igång men levererar ej data, på g.
Tenstabadet
Fastighetskontoret
Tenstabadet, Hagstråket 9
17.898930
59.394719
NaN
SE
1
...
NaN
NaN
15
30
NaN
NaN
NaN
NaN
NaN
NaN
46d55815-f927-459f-a8e2-8bbcd88008ee
h00
OK
Stockholms hamnar
Stockholms hamnar
Frihamnsgatan 60
18.126523
59.344505
212
SE
1
...
NaN
NaN
NaN
-40
NaN
NaN
NaN
NaN
NaN
Angle: 13,12
ed2149d4-9679-11e4-b100-123b93f75cba
b20
NY, levererar data till SLB
NaN
Svenska Bostäder
Ärvingevägen 14-16
17.942533
59.396583
NaN
SE
1
...
NaN
NaN
11
-45
NaN
NaN
NaN
NaN
NaN
NaN
7f3c36b0-44a6-11e4-916c-0800200c9a66
b16
OK
NaN
Svenska Bostäder
Bergengatan 25
17.928337
59.406289
NaN
SE
1
...
NaN
NaN
16
40
NaN
NaN
NaN
NaN
NaN
NaN
d9c86a10-3491-11e4-8c21-0800200c9a66
b17
OK
NaN
Svenska Bostäder
Bergengatan 27
17.927737
59.406615
NaN
SE
1
...
NaN
NaN
16
-50
NaN
NaN
NaN
NaN
NaN
NaN
beeb4730-3491-11e4-8c21-0800200c9a66
b14
OK
NaN
Svenska Bostäder
Bergengatan 3
17.930215
59.407122
NaN
SE
1
...
NaN
NaN
15
0
NaN
NaN
NaN
NaN
NaN
NaN
e93dc809-3491-11e4-8c21-0800200c9a66
b18
OK
NaN
Svenska Bostäder
Bergengatan 45
17.926849
59.405445
NaN
SE
1
...
NaN
NaN
16
40
NaN
NaN
NaN
NaN
NaN
NaN
f22857f0-3491-11e4-8c21-0800200c9a66
b19
OK
NaN
Svenska Bostäder
Bergengatan 47
17.926062
59.405659
NaN
SE
1
...
NaN
NaN
16
-50
NaN
NaN
NaN
NaN
NaN
NaN
7445f840-44a6-11e4-916c-0800200c9a66
b15
OK
NaN
Svenska Bostäder
Bergengatan 5
17.931022
59.406701
NaN
SE
1
...
NaN
NaN
15
0
NaN
NaN
NaN
NaN
NaN
NaN
ed214bdc-9679-11e4-b100-123b93f75cba
b21
NY, levererar data till SLB
NaN
Svenska Bostäder
Gärdebyplan 22-28
17.932478
59.384886
NaN
SE
1
...
NaN
NaN
11
20
NaN
NaN
NaN
NaN
NaN
NaN
ed214e2a-9679-11e4-b100-123b93f75cba
b22
NY, levererar data till SLB
NaN
Svenska Bostäder
Gärdebyplan 8-20
17.934013
59.384767
NaN
SE
1
...
NaN
NaN
11
20
NaN
NaN
NaN
NaN
NaN
NaN
f1136e33-d227-4fbd-ae72-d3488d70ba89
b01
OK
NaN
Svenska Bostäder
Oslogatan 10
17.925554
59.409072
NaN
SE
1
...
NaN
NaN
16
45
NaN
NaN
NaN
NaN
NaN
NaN
4a39b124-f594-11e3-a510-f23c9173ce4a
b02
OK
NaN
Svenska Bostäder
Oslogatan 11
17.926440
59.407800
NaN
SE
1
...
NaN
NaN
16
45
NaN
NaN
NaN
NaN
NaN
NaN
03be385e-9716-11e4-b100-123b93f75cba
b03
Denna var förväxlad tidigare med b04
NaN
Svenska Bostäder
Oslogatan 22
17.923796
59.408350
NaN
SE
1
...
NaN
NaN
15
-45
NaN
NaN
NaN
NaN
NaN
NaN
6f075b69-b823-4e6b-8021-dd751cc79eea
b04
Denna var förväxlad tidigare med b03
NaN
Svenska Bostäder
Oslogatan 24
17.923839
59.408243
NaN
SE
1
...
NaN
NaN
15
45
NaN
NaN
NaN
NaN
NaN
NaN
802afb51-c5eb-4230-9b22-9a77ef7260b3
b05
OK
NaN
Svenska Bostäder
Oslogatan 27
17.924208
59.406707
NaN
SE
1
...
NaN
NaN
22
45
NaN
NaN
NaN
NaN
NaN
NaN
2a31fb24-347b-4924-ab89-5c434771a2ae
b06
OK
NaN
Svenska Bostäder
Oslogatan 38
17.922809
59.407184
NaN
SE
1
...
NaN
NaN
22
45
NaN
NaN
NaN
NaN
NaN
NaN
ed21ae9c-9679-11e4-b100-123b93f75cba
b24
NY, levererar data till SLB
NaN
Svenska Bostäder
Sibeliusgången 2 fasad
17.922119
59.413011
NaN
SE
1
...
NaN
NaN
90
-66
NaN
NaN
NaN
NaN
NaN
NaN
ed21b040-9679-11e4-b100-123b93f75cba
b23
NY, levererar data till SLB
NaN
Svenska Bostäder
Sibeliusgången 2 tak
17.921958
59.413066
NaN
SE
1
...
NaN
NaN
15
-66
NaN
NaN
NaN
NaN
NaN
NaN
ed21b1e4-9679-11e4-b100-123b93f75cba
b25
NY, levererar data till SLB
NaN
Svenska Bostäder
Trondheimsgatan 40
17.920485
59.409141
NaN
SE
1
...
NaN
NaN
5
45
NaN
NaN
NaN
NaN
NaN
NaN
ed21b360-9679-11e4-b100-123b93f75cba
b26
NY, levererar data till SLB
NaN
Svenska Bostäder
Trondheimsgatan 50
17.919533
59.408697
NaN
SE
1
...
NaN
NaN
5
45
NaN
NaN
NaN
NaN
NaN
NaN
ed21b4e6-9679-11e4-b100-123b93f75cba
b27
NY, levererar data till SLB
NaN
Svenska Bostäder
Trondheimsgatan 52
17.919569
59.409308
NaN
SE
1
...
NaN
NaN
16
-45
NaN
NaN
NaN
NaN
NaN
NaN
79ea7d0e-1da8-11e4-a510-f23c9173ce4a
b09
OK
NaN
Svenska Bostäder
Trondheimsgatan 10
17.923602
59.410635
NaN
SE
1
...
NaN
NaN
15
45
NaN
NaN
NaN
NaN
NaN
NaN
845e5e54-1da8-11e4-a510-f23c9173ce4a
b10
OK
NaN
Svenska Bostäder
Trondheimsgatan 28
17.922237
59.409796
NaN
SE
1
...
NaN
NaN
15
45
NaN
NaN
NaN
NaN
NaN
NaN
8b28b202-1da8-11e4-a510-f23c9173ce4a
b11
OK
NaN
Svenska Bostäder
Trondheimsgatan 32
17.921591
59.409474
NaN
SE
1
...
NaN
NaN
14
45
NaN
NaN
NaN
NaN
NaN
NaN
916b6e8e-1da8-11e4-a510-f23c9173ce4a
b12
OK
NaN
Svenska Bostäder
Trondheimsgatan 34
17.921388
59.409565
NaN
SE
1
...
NaN
NaN
15
45
NaN
NaN
NaN
NaN
NaN
NaN
71b0e5ec-1da8-11e4-a510-f23c9173ce4a
b08
OK
NaN
Svenska Bostäder
Trondheimsgatan 4
17.923763
59.410557
NaN
SE
1
...
NaN
NaN
15
45
NaN
NaN
NaN
NaN
NaN
NaN
ed21b6d0-9679-11e4-b100-123b93f75cba
b28
NY, levererar data till SLB
NaN
Svenska Bostäder
Vesterby backe 26
17.931334
59.389134
NaN
SE
1
...
NaN
NaN
90
NaN
NaN
NaN
NaN
NaN
NaN
Orientation: 20,110,200,290
ed21b7fc-9679-11e4-b100-123b93f75cba
b29
NY, levererar data till SLB
NaN
Svenska Bostäder
Vimmerbyplan 21-33
17.934865
59.385637
NaN
SE
1
...
NaN
NaN
11
-70
NaN
NaN
NaN
NaN
NaN
NaN
53 rows × 36 columns
In [34]:
config_file="influx.json"
#Load database credentials
fp = open(config_file,"r")
config = json.load(fp)
fp.close()
#Connect
client = InfluxDBClient(config["host"], config["port"], config["user"], config["password"], config["database"])
In [36]:
for site in df.index:
column = []
data = []
docs = {}
if type(site) != type(""):
#print "is nan"
continue
print "Processing meta for site: " + site
for Key in df.keys():
Value = df.loc[site][Key]
#Skip if value is missing
if type(Value) != type("") and numpy.isnan(Value):
continue
#Add value
column.append(Key)
data.append(Value)
docs[Key] = Value
#Add time if avalible.
if Key == "online_since":
column.append("time")
data.append(Value)
#print "Added time key"
#FeedId = site + "/metadata"
#Package data
#fdata = [{
# "points": [data],
# "name": FeedId,
# "columns": column
# }]
#Delete old data.
#print "Removing old data and adding new to influxDB"
#client.query("drop series "+ '"'+ FeedId + '"')
#Send new data.
#client.write_points_with_precision(fdata,"m")
#Send data to elastic search
res = es.index(index="solar-sites-index", doc_type='meta-data', id=site, body=docs)
if (res['created']):
print "Created elasticsearch entry"
else:
print "Updated elasticsearch entry"
#Update indices
es.indices.refresh(index="solar-sites-index")
Processing meta for site: aa368f3e-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: 4cf6c743-8d0b-45f0-aa72-8a0c10315cf5
Updated elasticsearch entry
Processing meta for site: aa369330-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: aa3695b0-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: aa3697b8-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: aa369920-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: aa369a4c-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: aa369b78-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: aa369fd8-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: c6261166-f651-11e3-a510-f23c9173ce4a
Updated elasticsearch entry
Processing meta for site: aa36a136-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: aa36a348-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: e8a13982-f651-11e3-a510-f23c9173ce4a
Updated elasticsearch entry
Processing meta for site: aa36a5a0-967a-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: 709e47a1-ca88-4c22-890f-2407e9cb131a
Updated elasticsearch entry
Processing meta for site: face0d13-b22d-48fe-bec1-d29732604133
Updated elasticsearch entry
Processing meta for site: 32383bde-7648-4abe-9dac-44701eabd72f
Updated elasticsearch entry
Processing meta for site: b0dd71a8-efe8-41eb-bab1-633ebaaa778c
Updated elasticsearch entry
Processing meta for site: ed2145ce-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: 46d55815-f927-459f-a8e2-8bbcd88008ee
Updated elasticsearch entry
Processing meta for site: ed2149d4-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: 7f3c36b0-44a6-11e4-916c-0800200c9a66
Updated elasticsearch entry
Processing meta for site: d9c86a10-3491-11e4-8c21-0800200c9a66
Updated elasticsearch entry
Processing meta for site: beeb4730-3491-11e4-8c21-0800200c9a66
Updated elasticsearch entry
Processing meta for site: e93dc809-3491-11e4-8c21-0800200c9a66
Updated elasticsearch entry
Processing meta for site: f22857f0-3491-11e4-8c21-0800200c9a66
Updated elasticsearch entry
Processing meta for site: 7445f840-44a6-11e4-916c-0800200c9a66
Updated elasticsearch entry
Processing meta for site: ed214bdc-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: ed214e2a-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: f1136e33-d227-4fbd-ae72-d3488d70ba89
Updated elasticsearch entry
Processing meta for site: 4a39b124-f594-11e3-a510-f23c9173ce4a
Updated elasticsearch entry
Processing meta for site: 03be385e-9716-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: 6f075b69-b823-4e6b-8021-dd751cc79eea
Updated elasticsearch entry
Processing meta for site: 802afb51-c5eb-4230-9b22-9a77ef7260b3
Updated elasticsearch entry
Processing meta for site: 2a31fb24-347b-4924-ab89-5c434771a2ae
Updated elasticsearch entry
Processing meta for site: ed21ae9c-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: ed21b040-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: ed21b1e4-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: ed21b360-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: ed21b4e6-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: 79ea7d0e-1da8-11e4-a510-f23c9173ce4a
Updated elasticsearch entry
Processing meta for site: 845e5e54-1da8-11e4-a510-f23c9173ce4a
Updated elasticsearch entry
Processing meta for site: 8b28b202-1da8-11e4-a510-f23c9173ce4a
Updated elasticsearch entry
Processing meta for site: 916b6e8e-1da8-11e4-a510-f23c9173ce4a
Updated elasticsearch entry
Processing meta for site: 71b0e5ec-1da8-11e4-a510-f23c9173ce4a
Updated elasticsearch entry
Processing meta for site: ed21b6d0-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Processing meta for site: ed21b7fc-9679-11e4-b100-123b93f75cba
Updated elasticsearch entry
Out[36]:
{u'_shards': {u'failed': 0, u'successful': 5, u'total': 10}}
In [21]:
df['aa369fd8-967a-11e4-b100-123b93f75cba']
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
<ipython-input-21-48043abfee2e> in <module>()
----> 1 df['aa369fd8-967a-11e4-b100-123b93f75cba']
/usr/local/lib/python2.7/dist-packages/pandas/core/frame.pyc in __getitem__(self, key)
1682 return self._getitem_multilevel(key)
1683 else:
-> 1684 return self._getitem_column(key)
1685
1686 def _getitem_column(self, key):
/usr/local/lib/python2.7/dist-packages/pandas/core/frame.pyc in _getitem_column(self, key)
1689 # get column
1690 if self.columns.is_unique:
-> 1691 return self._get_item_cache(key)
1692
1693 # duplicate columns & possible reduce dimensionaility
/usr/local/lib/python2.7/dist-packages/pandas/core/generic.pyc in _get_item_cache(self, item)
1050 res = cache.get(item)
1051 if res is None:
-> 1052 values = self._data.get(item)
1053 res = self._box_item_values(item, values)
1054 cache[item] = res
/usr/local/lib/python2.7/dist-packages/pandas/core/internals.pyc in get(self, item)
2535
2536 if not isnull(item):
-> 2537 loc = self.items.get_loc(item)
2538 else:
2539 indexer = np.arange(len(self.items))[isnull(self.items)]
/usr/local/lib/python2.7/dist-packages/pandas/core/index.pyc in get_loc(self, key)
1154 loc : int if unique index, possibly slice or mask if not
1155 """
-> 1156 return self._engine.get_loc(_values_from_object(key))
1157
1158 def get_value(self, series, key):
/usr/local/lib/python2.7/dist-packages/pandas/index.so in pandas.index.IndexEngine.get_loc (pandas/index.c:3353)()
/usr/local/lib/python2.7/dist-packages/pandas/index.so in pandas.index.IndexEngine.get_loc (pandas/index.c:3233)()
/usr/local/lib/python2.7/dist-packages/pandas/hashtable.so in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:11148)()
/usr/local/lib/python2.7/dist-packages/pandas/hashtable.so in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:11101)()
KeyError: 'aa369fd8-967a-11e4-b100-123b93f75cba'
In [54]:
res = es.get(index="solar-sites-index", doc_type='meta-data', id=site)
print(res['_source'])
{u'Status': u'OK ', u'Administrative_area': u'STERMALM', u'Operator_ID': u'h00', u'Citypart_nyko': 12303, u'Pmax': 200.0, u'startdate': u'2013-10-16 00:00', u'Country': u'SE', u'Municipality': u'STO', u'Maplink': u'http://maps.google.com/?q=59.344505,18.126523', u'Longitude': 18.126523000000002, u'Height': 212.0, u'County': 1, u'System_supplier': u'Solkompaniet', u'Adminstrative_area_nr': 15, u'Citypart': u'GA', u'data_collection_operator': u'SLB', u'Address': u'Frihamnsgatan 60', u'Latitude': 59.344505000000005, u'Yield_annual': 0.0, u'Owner': u'Stockholms hamnar', u'online_since': 1381900800000.0}
In [8]:
subq = {
"must": [
{
"match": {
"Multiciparty": "STO"
}
},
{
"match": {
"County": "10"
}
}
]
}
p = {
"query": {
"bool": subq
}
}
q2 = {'query': {'bool': {'must': [{'match': {'Country': u'SE'}}, {'match': {'County': u'10'}}, {'match': {'Multiciparty': u'STO'}}]}}}
res = es.search(index="solar-sites-index",doc_type="meta-data", body=q2)
print("Got %d Hits:" % res['hits']['total'])
reply = []
for hit in res['hits']['hits']:
site = hit["_source"]
site["UUID"] = hit["_id"]
reply.append(site)
print("Added: %(Owner)s: %(Address)s" % hit["_source"])
Got 0 Hits:
In [9]:
reply
Out[9]:
[]
In [228]:
l = ["1","2","3"]
"/".join(l)
Out[228]:
'1/2/3'
In [229]:
import os
In [230]:
for filename in os.listdir("/var/www/html/geography/SE/01/STO"):
print filename
stadsdelar.geojson
stadsdelsforvaltningar.geojson
In [25]:
df.index[10]
Out[25]:
'c6261166-f651-11e3-a510-f23c9173ce4a'
In [28]:
type(df.iloc[9].Orientation)
Out[28]:
str
In [ ]:
Content source: Anton04/SolarDataRESTfulAPI
Similar notebooks: