Meet IT Toruń #2

In [49]:

    

%matplotlib inline
from pyspark.sql.functions import *


    

In [ ]:

    

transactions = sqlContext.read.parquet("transactions_week").cache()


    

In [50]:

    

transactions.printSchema()
transactions.count()


    

    




root
 |-- date: timestamp (nullable = true)
 |-- itemId: long (nullable = true)
 |-- name: string (nullable = true)
 |-- price: decimal(10,2) (nullable = true)
 |-- seller: string (nullable = true)
 |-- categoryId: long (nullable = true)
 |-- categories: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- attributes: map (nullable = true)
 |    |-- key: string
 |    |-- value: array (valueContainsNull = true)
 |    |    |-- element: string (containsNull = true)







    
Out[50]:





3185232

In [54]:

    

transactions.groupBy('itemId') \
    .agg(count('*'), first('name')) \
    .orderBy(desc('count(1)')).show(truncate=False)


    

    




+----------+--------+--------------------------------------------------+
|itemId    |count(1)|first(name)()                                     |
+----------+--------+--------------------------------------------------+
|5969695871|770     |1000 Coinsy CSGODOUBLE! Od FIRMY! Pewniak 100%    |
|5960737558|634     |PLAYSTATION PLUS 14 DNI PS3 PS4 FIRMA AUTOMAT 24H7|
|5453310670|580     |CATSHARE.NET 30  DNI + +GWARANCJA+AUTOMAT 60SEK   |
|5968567670|522     |1000 /COINSY CSGODOUBLE /PEWNA FIRMA! CS:GO KLUCZE|
|5933181572|502     |P NIESAMOWICIE SEKSOWNE LEGGINSY PUSH UP HIT P734 |
|5872085932|409     |PROMOCJA CHOMIKUJ 5 GB TRANSFER AUTOMAT 48        |
|5836564126|407     |KOŃCÓWKI DO SZCZOTECZKI ORAL-B I 3D WHITE 8 SZTUK |
|5960570296|370     |PAYSAFECARD 50ZŁ PROMOCJA AUTOMAT 24/7 2 MINUTY ! |
|5794943389|369     |VILEDA MOP OBROTOWY Easy Wring and Clean SPIN MOP |
|5735073662|362     |ZESTAW XXL 7x SEMILAC LAMPA LED Mostek 9W - HIT   |
|5960552581|362     |PAYSAFECARD 20ZŁ PROMOCJA AUTOMAT 24/7 2 MINUTY ! |
|5972199876|346     |CS:GO GIFT STEAM COUNTER STRIKE GLOBAL OFFENSIVE  |
|5747311912|328     |ZESTAW XXXL 5x SEMILAC LAMPA UV Cleaner Aceton HIT|
|5765703250|313     |XBOX LIVE GOLD 1 Miesiąc  |  AUTOMAT 24/7  |  PL  |
|5965314797|305     |XBOX LIVE GOLD 3 MIESIĄCE PL EU US - AUTOMAT 24/7 |
|5746355357|304     |MAGICZNY kubek KOCHAM CIĘ serce prezent WALENTYNKI|
|5816298645|297     |Podwójny brelok I LOVE YOU - idealny na prezent   |
|5872180183|293     |TERMOMETR RTĘCIOWY TERMOMETR LEKARSKI             |
|5971008269|293     |VILEDA Zestaw ULTRAMAX BOX mop+wiadro+wyciskacz   |
|5825684638|282     |KINGSTON KARTA PAMIĘCI 32 GB MICRO SD CLASS 10 HD |
+----------+--------+--------------------------------------------------+
only showing top 20 rows

In [56]:

    

transactions.groupBy('categories') \
    .agg(count('*')).orderBy(desc('count(1)')).toPandas()


    

    
Out[56]:






  

    

      

      
categories
      
count(1)
    
  
  

    

      
0
      
[Dom i Ogród, Wyposażenie, Oświetlenie, Źródła...
      
21581
    
    

      
1
      
[Telefony i Akcesoria, Akcesoria GSM, Folie oc...
      
21375
    
    

      
2
      
[Dom i Ogród, Ogród, Rośliny, Nasiona, Warzywa]
      
16097
    
    

      
3
      
[Odzież, Obuwie, Dodatki, Odzież damska, Sukie...
      
15978
    
    

      
4
      
[Odzież, Obuwie, Dodatki, Odzież damska, Bluzki]
      
14157
    
    

      
5
      
[Uroda, Manicure i pedicure, Ozdoby]
      
14130
    
    

      
6
      
[Uroda, Manicure i pedicure, Lakiery hybrydowe]
      
13015
    
    

      
7
      
[Uroda, Makijaż, Twarz, Podkłady]
      
12523
    
    

      
8
      
[Telefony i Akcesoria, Akcesoria GSM, Pokrowce...
      
11852
    
    

      
9
      
[Dom i Ogród, Wyposażenie, Oświetlenie, Lampy]
      
10920
    
    

      
10
      
[Uroda, Manicure i pedicure, Akcesoria i przyb...
      
10727
    
    

      
11
      
[Dom i Ogród, Zwierzęta, Dla psów, Karmy, Such...
      
10227
    
    

      
12
      
[Odzież, Obuwie, Dodatki, Galanteria i dodatki...
      
10017
    
    

      
13
      
[Motoryzacja, Części samochodowe, Oświetlenie,...
      
9881
    
    

      
14
      
[Telefony i Akcesoria, Akcesoria GSM, Pokrowce...
      
9635
    
    

      
15
      
[Odzież, Obuwie, Dodatki, Odzież i bielizna mę...
      
9024
    
    

      
16
      
[Telefony i Akcesoria, Akcesoria GSM, Pokrowce...
      
8572
    
    

      
17
      
[Gry, Komputerowe PC, Gry akcji]
      
8476
    
    

      
18
      
[Telefony i Akcesoria, Akcesoria GSM, Baterie,...
      
8428
    
    

      
19
      
[Biżuteria i Zegarki, Zegarki, Damskie, Naręczne]
      
8409
    
    

      
20
      
[Odzież, Obuwie, Dodatki, Obuwie, Damskie, Botki]
      
8334
    
    

      
21
      
[Odzież, Obuwie, Dodatki, Bielizna damska, Maj...
      
8197
    
    

      
22
      
[Odzież, Obuwie, Dodatki, Bielizna damska, Biu...
      
8177
    
    

      
23
      
[Biżuteria i Zegarki, Biżuteria damska, Branso...
      
8055
    
    

      
24
      
[Rękodzieło, Decoupage, Przedmioty do ozdabiania]
      
7913
    
    

      
25
      
[Książki i Komiksy, Literatura piękna, popular...
      
7853
    
    

      
26
      
[Dom i Ogród, Wyposażenie, Pościel i koce, Kom...
      
7694
    
    

      
27
      
[Zdrowie, Korekcja wzroku, Soczewki kontaktowe]
      
7546
    
    

      
28
      
[Dla Dzieci, Zabawki, Figurki]
      
7536
    
    

      
29
      
[Biżuteria i Zegarki, Biżuteria damska, Kolczyki]
      
7397
    
    

      
...
      
...
      
...
    
    

      
11204
      
[Motoryzacja, Samochody, Osobowe, Nissan, Patr...
      
1
    
    

      
11205
      
[Przemysł, Wyposażenie pomieszczeń, Rolnicze, ...
      
1
    
    

      
11206
      
[Motoryzacja, Samochody, Osobowe, Honda, Accor...
      
1
    
    

      
11207
      
[Instrumenty, Gitary i akcesoria, Akustyczne, ...
      
1
    
    

      
11208
      
[Telefony i Akcesoria, Telefony komórkowe, Sam...
      
1
    
    

      
11209
      
[Dom i Ogród, Wyposażenie, Ozdoby świąteczne, ...
      
1
    
    

      
11210
      
[Telefony i Akcesoria, Telefony komórkowe, Hua...
      
1
    
    

      
11211
      
[RTV i AGD, Sprzęt car audio, Radioodtwarzacze...
      
1
    
    

      
11212
      
[Sport i Turystyka, Sporty wodne, Windsurfing,...
      
1
    
    

      
11213
      
[Telefony i Akcesoria, Telefony komórkowe, Son...
      
1
    
    

      
11214
      
[Komputery, Palmtopy, Urządzenia, Asus]
      
1
    
    

      
11215
      
[Motoryzacja, Samochody, Osobowe, Jaguar, X-Type]
      
1
    
    

      
11216
      
[Fotografia, Aparaty cyfrowe, Kompaktowe, Pola...
      
1
    
    

      
11217
      
[Instrumenty, Gitary i akcesoria, Elektryczne,...
      
1
    
    

      
11218
      
[Dla Dzieci, Odzież, Garnitury, Inny rozmiar]
      
1
    
    

      
11219
      
[Kolekcje, Numizmatyka, Literatura, Czasopisma]
      
1
    
    

      
11220
      
[Motoryzacja, Samochody, Osobowe, Audi, Pozost...
      
1
    
    

      
11221
      
[Książki i Komiksy, Ebooki, Popularnonaukowe i...
      
1
    
    

      
11222
      
[Komputery, Podzespoły bazowe, Płyty główne, S...
      
1
    
    

      
11223
      
[Motoryzacja, Części do maszyn, Części do masz...
      
1
    
    

      
11224
      
[Kolekcje, Numizmatyka, Pozostałe, Plomby]
      
1
    
    

      
11225
      
[Sport i Turystyka, Sporty wodne, Żeglarstwo, ...
      
1
    
    

      
11226
      
[Komputery, Laptopy, Uszkodzone, Packard Bell]
      
1
    
    

      
11227
      
[Wakacje, Sport i rekreacja, Pozostałe]
      
1
    
    

      
11228
      
[Motoryzacja, Samochody, Osobowe, Volvo, V60]
      
1
    
    

      
11229
      
[Sport i Turystyka, Sporty wodne, Żeglarstwo, ...
      
1
    
    

      
11230
      
[Kolekcje, Militaria, Umundurowanie i Wyposaże...
      
1
    
    

      
11231
      
[Telefony i Akcesoria, Telefony komórkowe, Nok...
      
1
    
    

      
11232
      
[Telefony i Akcesoria, Telefony komórkowe, Sam...
      
1
    
    

      
11233
      
[Motoryzacja, Samochody, Osobowe, Mercedes-Ben...
      
1
    
  

11234 rows × 2 columns

In [59]:

    

transactions \
    .where(array_contains('categories', 'Źródła światła')) \
    .withColumn('kind', col('attributes')['Rodzaj'][0]) \
    .groupBy('kind').agg(count('*'), avg('price')).show(truncate=False)


    

    




+---------------------+--------+----------+
|kind                 |count(1)|avg(price)|
+---------------------+--------+----------+
|Świetlówki           |201     |16.286567 |
|Inne                 |322     |13.544689 |
|Tradycyjne żarówki   |425     |10.380753 |
|Świetlówki liniowe   |122     |14.145328 |
|LED                  |19605   |21.941483 |
|Halogenowe           |578     |20.131453 |
|Świetlówki kompaktowe|328     |13.425610 |
+---------------------+--------+----------+

In [61]:

    

transactions.groupBy('seller') \
    .agg(count("*"), avg('price'), sum('price')) \
    .orderBy(desc('count(1)')).show(truncate=False)


    

    




+----------------+--------+----------+----------+
|seller          |count(1)|avg(price)|sum(price)|
+----------------+--------+----------+----------+
|darmarsklep     |10948   |19.952975 |218445.17 |
|kosmetyki_ck    |10059   |7.461081  |75051.01  |
|Allegro         |9487    |185.191872|1756915.29|
|Aros_pl         |8391    |17.932931 |150475.22 |
|ezebra_pl       |8122    |14.023392 |113897.99 |
|HubiWorld       |7693    |17.479511 |134469.88 |
|Swiat____Dziecka|7113    |16.023987 |113978.62 |
|leobert         |6935    |24.017246 |166559.60 |
|korob_pl        |6604    |30.573539 |201907.65 |
|uroda-i-ty      |6555    |19.249286 |126179.07 |
|telmal_store    |6498    |10.359888 |67318.55  |
|niemchem_com    |5460    |20.690936 |112972.51 |
|FH-MarTom       |5449    |10.089712 |54978.84  |
|dlaauta         |5277    |37.911300 |200057.93 |
|bdsklep_pl      |5062    |33.198621 |168051.42 |
|X-KOM_PL        |5061    |557.823630|2823145.39|
|kwiaty-Isabell  |4648    |3.425344  |15921.00  |
|Bonus-sc        |4640    |8.815336  |40903.16  |
|butiqjula       |4538    |26.919224 |122159.44 |
|m-importer      |4379    |7.914574  |34657.92  |
+----------------+--------+----------+----------+
only showing top 20 rows

In [69]:

    

transactions \
    .withColumn('main_category', col('categories')[0]) \
    .groupBy('main_category').agg(count('*')) \
    .orderBy('count(1)').toPandas() \
    .set_index('main_category').plot(y='count(1)', kind='pie', legend=False)


    

    
Out[69]:





<matplotlib.axes.AxesSubplot at 0x7fca5ad945c0>






    

In [73]:

    

transactions \
    .select(col('price').cast('integer')) \
    .where(col('price') < 100) \
    .groupBy('price').agg(count('*')) \
    .orderBy('price').toPandas() \
    .set_index('price').plot(y='count(1)')


    

    
Out[73]:





<matplotlib.axes.AxesSubplot at 0x7fca5af98f98>