In [48]:
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import LabelEncoder
import re
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
import nltk
try:
tokenizer = nltk.data.load('tokenizers/punkt/russian.pickle')
except:
print('> trying to download punkt...')
nltk.download('punkt')
nltk.data.load('tokenizers/punkt/english.pickle')
try:
from nltk.corpus import stopwords
except:
print('> trying to download stopwords...')
nltk.download('stopwords')
from nltk.corpus import stopwords
#stops = set(stopwords.words("english"))
stops = set(stopwords.words('russian'))
> trying to download punkt...
[nltk_data] Downloading package punkt to C:\Users\gtesei/nltk_data...
[nltk_data] Package punkt is already up-to-date!
In [76]:
def count_desc_len(x,remove_stopwords=False,stops=stops):
if not x:
return 0
if type(x) != str:
return 0
if len(x) == 0:
return 0
if not remove_stopwords:
return len(x.split())
else:
return len([w for w in [i.lower() for i in x.split()] if not w in stops])
In [3]:
train = pd.read_csv('data/train.csv')
train.head()
Out[3]:
item_id
user_id
region
city
parent_category_name
category_name
param_1
param_2
param_3
title
description
price
item_seq_number
activation_date
user_type
image
image_top_1
deal_probability
0
b912c3c6a6ad
e00f8ff2eaf9
Свердловская область
Екатеринбург
Личные вещи
Товары для детей и игрушки
Постельные принадлежности
NaN
NaN
Кокоби(кокон для сна)
Кокон для сна малыша,пользовались меньше месяц...
400.0
2
2017-03-28
Private
d10c7e016e03247a3bf2d13348fe959fe6f436c1caf64c...
1008.0
0.12789
1
2dac0150717d
39aeb48f0017
Самарская область
Самара
Для дома и дачи
Мебель и интерьер
Другое
NaN
NaN
Стойка для Одежды
Стойка для одежды, под вешалки. С бутика.
3000.0
19
2017-03-26
Private
79c9392cc51a9c81c6eb91eceb8e552171db39d7142700...
692.0
0.00000
2
ba83aefab5dc
91e2f88dd6e3
Ростовская область
Ростов-на-Дону
Бытовая электроника
Аудио и видео
Видео, DVD и Blu-ray плееры
NaN
NaN
Philips bluray
В хорошем состоянии, домашний кинотеатр с blu ...
4000.0
9
2017-03-20
Private
b7f250ee3f39e1fedd77c141f273703f4a9be59db4b48a...
3032.0
0.43177
3
02996f1dd2ea
bf5cccea572d
Татарстан
Набережные Челны
Личные вещи
Товары для детей и игрушки
Автомобильные кресла
NaN
NaN
Автокресло
Продам кресло от0-25кг
2200.0
286
2017-03-25
Company
e6ef97e0725637ea84e3d203e82dadb43ed3cc0a1c8413...
796.0
0.80323
4
7c90be56d2ab
ef50846afc0b
Волгоградская область
Волгоград
Транспорт
Автомобили
С пробегом
ВАЗ (LADA)
2110
ВАЗ 2110, 2003
Все вопросы по телефону.
40000.0
3
2017-03-16
Private
54a687a3a0fc1d68aed99bdaaf551c5c70b761b16fd0a2...
2264.0
0.20797
In [4]:
train.shape
Out[4]:
(1503424, 18)
In [5]:
train.deal_probability.hist(bins=30)
plt.show()
In [6]:
test = pd.read_csv('data/test.csv')
test.head()
Out[6]:
item_id
user_id
region
city
parent_category_name
category_name
param_1
param_2
param_3
title
description
price
item_seq_number
activation_date
user_type
image
image_top_1
0
6544e41a8817
dbe73ad6e4b5
Волгоградская область
Волгоград
Личные вещи
Детская одежда и обувь
Для мальчиков
Обувь
25
Отдам бесплатно
На ангарском
NaN
66
2017-04-18
Private
a8b57acb5ab304f9c331ac7a074219aed4d349d8aef386...
2020.0
1
65b9484d670f
2e11806abe57
Свердловская область
Нижняя Тура
Хобби и отдых
Велосипеды
Дорожные
NaN
NaN
Продам велосипед
Продам велосипед KAMA F200,в нормальном состо...
3000.0
4
2017-04-16
Private
NaN
NaN
2
8bab230b2ecd
0b850bbebb10
Новосибирская область
Бердск
Бытовая электроника
Аудио и видео
Телевизоры и проекторы
NaN
NaN
BBK
Продам новый телевизор BBK 32 диагональ смарт...
15000.0
15
2017-04-17
Private
8c361112cb049745ef2d1b0ae73594fc5c107286b0c942...
2960.0
3
8e348601fefc
5f1d5c3ce0da
Саратовская область
Саратов
Для дома и дачи
Бытовая техника
Для кухни
Вытяжки
NaN
Вытяжка Jetair 60
Продам новую вытяжку в упаковке,с документами....
4500.0
70
2017-04-17
Private
NaN
NaN
4
8bd2fe400b89
23e2d97bfc7f
Оренбургская область
Бузулук
Личные вещи
Товары для детей и игрушки
Детские коляски
NaN
NaN
Коляска зима-лето
Продам отличную коляску. б/у 1 год. все вопрос...
4900.0
15
2017-04-15
Private
bc3cf6deef10840fc302e38eb48fa7748aa1e28d534f8f...
1002.0
In [7]:
train.describe(include='all')
Out[7]:
item_id
user_id
region
city
parent_category_name
category_name
param_1
param_2
param_3
title
description
price
item_seq_number
activation_date
user_type
image
image_top_1
deal_probability
count
1503424
1503424
1503424
1503424
1503424
1503424
1441848
848882
640859
1503424
1387148
1.418062e+06
1.503424e+06
1503424
1503424
1390836
1.390836e+06
1.503424e+06
unique
1503424
771769
28
1733
9
47
371
271
1219
788377
1317102
NaN
NaN
21
3
1390836
NaN
NaN
top
3d7e3c37f4f6
45ba3f23bf25
Краснодарский край
Краснодар
Личные вещи
Одежда, обувь, аксессуары
Женская одежда
Обувь
Вторичка
Платье
В хорошем состоянии
NaN
NaN
2017-03-20
Private
70d2243d65d9893f2914436ae12d9efec6bb31800151c9...
NaN
NaN
freq
1
1080
141416
63638
697623
282753
226289
150450
50615
15550
2249
NaN
NaN
115190
1075706
1
NaN
NaN
mean
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
3.167081e+05
7.436740e+02
NaN
NaN
NaN
1.241932e+03
1.391306e-01
std
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
6.689154e+07
5.572522e+03
NaN
NaN
NaN
9.704641e+02
2.600785e-01
min
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
0.000000e+00
1.000000e+00
NaN
NaN
NaN
0.000000e+00
0.000000e+00
25%
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
5.000000e+02
9.000000e+00
NaN
NaN
NaN
4.250000e+02
0.000000e+00
50%
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
1.300000e+03
2.900000e+01
NaN
NaN
NaN
1.057000e+03
0.000000e+00
75%
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
7.000000e+03
8.800000e+01
NaN
NaN
NaN
2.217000e+03
1.508700e-01
max
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
NaN
7.950101e+10
2.044290e+05
NaN
NaN
NaN
3.066000e+03
1.000000e+00
In [8]:
np.sum(train.image_top_1.isnull())
Out[8]:
112588
In [9]:
train.image_top_1[train.image.isnull()][:10]
Out[9]:
19 NaN
21 NaN
32 NaN
38 NaN
55 NaN
60 NaN
68 NaN
69 NaN
74 NaN
91 NaN
Name: image_top_1, dtype: float64
In [10]:
np.sum(train.item_seq_number.isnull())
Out[10]:
0
In [11]:
for c in train.columns:
print(c,"NA:",np.sum(train[c].isnull())," -- unique:",len(train[c].unique()),"/",len(train))
item_id NA: 0 -- unique: 1503424 / 1503424
user_id NA: 0 -- unique: 771769 / 1503424
region NA: 0 -- unique: 28 / 1503424
city NA: 0 -- unique: 1733 / 1503424
parent_category_name NA: 0 -- unique: 9 / 1503424
category_name NA: 0 -- unique: 47 / 1503424
param_1 NA: 61576 -- unique: 372 / 1503424
param_2 NA: 654542 -- unique: 272 / 1503424
param_3 NA: 862565 -- unique: 1220 / 1503424
title NA: 0 -- unique: 788377 / 1503424
description NA: 116276 -- unique: 1317103 / 1503424
price NA: 85362 -- unique: 17007 / 1503424
item_seq_number NA: 0 -- unique: 28232 / 1503424
activation_date NA: 0 -- unique: 21 / 1503424
user_type NA: 0 -- unique: 3 / 1503424
image NA: 112588 -- unique: 1390837 / 1503424
image_top_1 NA: 112588 -- unique: 3063 / 1503424
deal_probability NA: 0 -- unique: 18407 / 1503424
In [12]:
train.dtypes
Out[12]:
item_id object
user_id object
region object
city object
parent_category_name object
category_name object
param_1 object
param_2 object
param_3 object
title object
description object
price float64
item_seq_number int64
activation_date object
user_type object
image object
image_top_1 float64
deal_probability float64
dtype: object
In [13]:
train.item_id.dtype == 'object'
Out[13]:
True
In [14]:
train.columns
Out[14]:
Index(['item_id', 'user_id', 'region', 'city', 'parent_category_name',
'category_name', 'param_1', 'param_2', 'param_3', 'title',
'description', 'price', 'item_seq_number', 'activation_date',
'user_type', 'image', 'image_top_1', 'deal_probability'],
dtype='object')
In [70]:
meta = {'target': 'deal_probability',
'cols': {
'item_id': 'REM',
'user_id': 'CAT',
'region': 'CAT',
'city': 'CAT',
'parent_category_name': 'CAT',
'category_name': 'CAT',
'param_1': 'CAT',
'param_2': 'CAT',
'param_3': 'CAT',
'title': 'LEN',
'description': 'LEN' ,
'price': 'NUM',
'item_seq_number': 'NUM',
'activation_date': 'DATE',
'user_type': 'CAT',
'image': 'REM',
'image_top_1': 'NUM'
}}
meta
Out[70]:
{'cols': {'activation_date': 'DATE',
'category_name': 'CAT',
'city': 'CAT',
'description': 'LEN',
'image': 'REM',
'image_top_1': 'NUM',
'item_id': 'REM',
'item_seq_number': 'NUM',
'param_1': 'CAT',
'param_2': 'CAT',
'param_3': 'CAT',
'parent_category_name': 'CAT',
'price': 'NUM',
'region': 'CAT',
'title': 'LEN',
'user_id': 'CAT',
'user_type': 'CAT'},
'target': 'deal_probability'}
In [77]:
import pandas as pd
from pandas.tseries.holiday import USFederalHolidayCalendar as calendar
def encode_dataset(train,test,meta):
y_train = train[meta['target']]
train = train.drop([meta['target']],axis=1)
assert train.shape[1] == test.shape[1]
for i in range(train.shape[1]):
assert train.columns[i] == test.columns[i]
train_obs = len(train)
#
all_data = pd.concat([train,test],axis=0)
for i,f in enumerate(meta['cols'].keys()):
print(i,f,meta['cols'][f])
if meta['cols'][f] == 'CAT':
all_data[f] = all_data[f].fillna('missing')
encoder = LabelEncoder()
encoder.fit(all_data[f])
all_data[f] = encoder.transform(all_data[f])
elif meta['cols'][f] == 'NUM':
all_data[f] = all_data[f].fillna(-1)
elif meta['cols'][f] == 'DATE':
tmp = pd.to_datetime(all_data[f])
all_data[f] = tmp.dt.weekday
cal = calendar()
holidays = cal.holidays(start=tmp.min(), end=tmp.max())
all_data[f+'_is_holiday'] = 1*tmp.isin(holidays)
elif meta['cols'][f] == 'REM':
all_data = all_data.drop(f,axis=1)
elif meta['cols'][f] == 'LEN':
all_data[f+'_len'] = all_data[f].apply(count_desc_len)
all_data = all_data.drop(f,axis=1)
else:
raise Exception(str(meta['cols'][f])+":unknown mapping")
assert train_obs == len(y_train)
return all_data , y_train
all_data , y_train = encode_dataset(train=train[:100],test=test[:100],meta=meta)
0 user_id CAT
1 region CAT
2 parent_category_name CAT
3 description LEN
4 category_name CAT
5 item_seq_number NUM
6 image REM
7 price NUM
8 param_2 CAT
9 item_id REM
10 title LEN
11 param_3 CAT
12 activation_date DATE
13 user_type CAT
14 image_top_1 NUM
15 city CAT
16 param_1 CAT
In [79]:
all_data.head(20)
Out[79]:
user_id
region
city
parent_category_name
category_name
param_1
param_2
param_3
price
item_seq_number
activation_date
user_type
image_top_1
description_len
title_len
activation_date_is_holiday
0
168
19
18
4
36
38
7
45
400.0
2
1
1
1008.0
7
3
0
1
40
17
58
2
20
17
7
45
3000.0
19
6
1
692.0
7
3
0
2
108
16
57
0
2
6
7
45
4000.0
9
0
1
3032.0
17
2
0
3
138
21
35
4
36
3
7
45
2200.0
286
5
0
796.0
3
1
0
4
181
4
14
6
0
46
10
6
40000.0
3
3
1
2264.0
4
3
0
5
135
21
77
4
36
3
7
45
1300.0
9
1
1
796.0
3
2
0
6
6
11
40
2
32
48
7
45
11000.0
125
3
1
2823.0
21
5
0
7
197
15
50
4
24
18
17
10
500.0
61
5
1
567.0
4
2
0
8
3
14
49
4
24
18
27
37
500.0
85
4
1
415.0
5
1
0
9
191
11
40
4
8
10
25
9
400.0
136
2
0
46.0
11
4
0
10
158
25
75
5
13
49
23
0
18000.0
6
5
1
1396.0
11
6
0
11
34
23
20
4
24
18
17
46
1.0
4
6
2
119.0
0
1
0
12
195
14
49
4
36
57
7
45
70.0
15
1
1
1040.0
20
7
0
13
43
16
57
0
38
32
7
45
2500.0
47
2
1
2849.0
7
3
0
14
187
1
71
3
33
36
7
45
5000.0
6
3
1
2133.0
6
4
0
15
111
21
24
4
24
18
27
23
800.0
86
0
1
408.0
31
3
0
16
0
9
28
6
0
46
3
42
140000.0
201
5
0
1118.0
61
3
0
17
84
12
44
4
36
22
7
45
500.0
9
0
1
983.0
5
3
0
18
31
13
33
4
24
18
12
24
1000.0
4
4
1
95.0
11
2
0
19
20
2
7
5
9
51
21
49
100000.0
5
1
1
-1.0
43
2
0
In [17]:
y_train.head()
Out[17]:
0 0.12789
1 0.00000
2 0.43177
3 0.80323
4 0.20797
Name: deal_probability, dtype: float64
In [18]:
len(y_train)
Out[18]:
10
In [19]:
all_data.dtypes
Out[19]:
user_id int64
region int64
city int64
parent_category_name int64
category_name int64
param_1 int64
param_2 int64
param_3 int64
price float64
item_seq_number int64
activation_date int64
user_type int64
image_top_1 float64
activation_date_is_holiday int32
dtype: object
In [20]:
most_recent_train = pd.to_datetime(train.activation_date).max()
most_recent_train
Out[20]:
Timestamp('2017-04-07 00:00:00')
In [21]:
least_recent_train = pd.to_datetime(train.activation_date).min()
least_recent_train
Out[21]:
Timestamp('2017-03-15 00:00:00')
In [22]:
most_recent_test = pd.to_datetime(test.activation_date).max()
most_recent_test
Out[22]:
Timestamp('2017-04-20 00:00:00')
In [23]:
least_recent_test = pd.to_datetime(test.activation_date).min()
least_recent_test
Out[23]:
Timestamp('2017-04-12 00:00:00')
In [24]:
auser = '45ba3f23bf25'
train[train.user_id==auser]
Out[24]:
item_id
user_id
region
city
parent_category_name
category_name
param_1
param_2
param_3
title
description
price
item_seq_number
activation_date
user_type
image
image_top_1
deal_probability
1333
1c2963f01ede
45ba3f23bf25
Иркутская область
Саянск
Бытовая электроника
Товары для компьютера
Клавиатуры и мыши
NaN
NaN
23.03/ Мышь оптическая проводная в блистере
Телефон магазина в объявлении. Уточняйте нали...
390.0
72090
2017-03-23
Shop
573ff2118089e3f5af17dd0b90200851afbbf3ba04e23f...
2826.0
0.00000
4062
d3e7c9a53892
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Планшеты и электронные книги
Планшеты
NaN
NaN
17.03/ Планшет Samsung SM-T110 8Gb
— тыловая камера 2 Мпикс
4499.0
71290
2017-03-17
Shop
a9b164750803ecabfb744b03faab1402ebc756b77c36fd...
2877.0
0.00000
5514
b787659b066d
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
LG
NaN
NaN
20.03/ LG-p713
— смартфон, Android 4.4/\n— экран 4.3", разреш...
2499.0
71448
2017-03-20
Shop
fadddb730c0468f1ee596242a232b172ffd876e97cfb7b...
2942.0
0.00000
5576
7ea6632deae5
45ba3f23bf25
Иркутская область
Саянск
Бытовая электроника
Телефоны
Alcatel
NaN
NaN
16.03/ Aлкatel 4007дотходитсзу
— смартфон, Android 2.3/\n— поддержка двух SIM...
999.0
71140
2017-03-16
Shop
c77cf41b66e9958fa4054d113ccd7e2bb781cef3f9f730...
2007.0
0.00000
6780
c03aed0f335b
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
BQ
NaN
NaN
22.03/ bqbqm-1831
— телефон/\n— поддержка двух SIM-карт/\n— экра...
899.0
71914
2017-03-22
Shop
3b0faf89ea060f3ab4d96c5c1cbbb1ea894f1ead988337...
2009.0
0.12754
7396
db71089906d0
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Аудио и видео
Акустика, колонки, сабвуферы
NaN
NaN
23.03/ Колонка игрушка "Миньон"
Каждый день сотни новых товаров в нашем магази...
799.0
72118
2017-03-23
Shop
821649244a931f4537a97ed685637ac09226934a5a608e...
3031.0
0.00000
8830
ec147d90dffa
45ba3f23bf25
Иркутская область
Братск
Бытовая электроника
Телефоны
Другие марки
NaN
NaN
23.03/ Jinga ф100
— телефон/\n— поддержка двух SIM-карт/\n— экра...
999.0
72000
2017-03-22
Shop
a24f648f2d8d98d06a32b3c79a61468f677e1eabe6d05d...
2916.0
0.00000
9286
85a4977c673d
45ba3f23bf25
Иркутская область
Зима
Бытовая электроника
Телефоны
Sony
NaN
NaN
27.03/ Sony D5503
(нет заглушки ЗУ и кнопки громкости, неиправн...
5899.0
72559
2017-03-27
Shop
8632e75cd3a1ce08816d1f6ce953310d228a4bc88257cc...
2944.0
0.00000
9378
247be24cea59
45ba3f23bf25
Иркутская область
Братск
Бытовая электроника
Телефоны
Lenovo
NaN
NaN
28.03/ LenovoS860
— смартфон, Android 4.2/\n— поддержка двух SIM...
4899.0
72835
2017-03-28
Shop
a2fd0f79bf88e903c1c42ccdb7d03aeb68ea9709d4c2a0...
760.0
0.00000
10031
bec69fc5c75d
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Micromax
NaN
NaN
27.03/ MicromaxD320
— смартфон, Android 4.4/\n— поддержка двух SIM...
2899.0
72532
2017-03-27
Shop
d3b0e14054706e07bd7ff5498f0daa5524d66c6d48ee55...
2931.0
0.00000
10479
03520fce54bb
45ba3f23bf25
Иркутская область
Вихоревка
Для дома и дачи
Ремонт и строительство
Инструменты
NaN
NaN
24.03/ Электродрель Sturm id 2175 a
Мощность, Вт 750 Тип питания сеть 220 V Тип др...
1699.0
72310
2017-03-24
Shop
85692deb61236d636992e9b542028ea5045b15520dca19...
1230.0
0.00000
11737
8b60ea34b5ec
45ba3f23bf25
Иркутская область
Иркутск
Для дома и дачи
Бытовая техника
Для дома
Утюги
NaN
17.03/ Утюг прочее royalmaster RM-600
Большой ассортимент! Скидки!
499.0
71238
2017-03-17
Shop
404ce5ddf5e7c56b436baa29fe9423b46d0bba4c34398d...
1952.0
0.00000
13268
79dc444e343e
45ba3f23bf25
Иркутская область
Тулун
Бытовая электроника
Телефоны
Samsung
NaN
NaN
28.03/ Samsunggti8580(трещинанаэкране)
— смартфон, Android 4.2/\n— экран 4.7", разреш...
2499.0
72816
2017-03-28
Shop
7789062b0f93d75fc518b2b37c225e0e9ee49a9fe99d41...
2939.0
0.00000
15696
751aecc31cb9
45ba3f23bf25
Иркутская область
Усть-Илимск
Бытовая электроника
Телефоны
Samsung
NaN
NaN
20.03/ Samsуng GT-I8190
— смартфон, Android 4.1/\n— экран 4", разрешен...
2699.0
71554
2017-03-20
Shop
1792430285a42331570d520d1afd07039cc7359d03a8c2...
2932.0
0.22186
15780
0f739f6bc54d
45ba3f23bf25
Иркутская область
Куйтун
Бытовая электроника
Телефоны
Другие марки
NaN
NaN
22.03/ qystersnovgorod
— телефон/\n— поддержка двух SIM-карт/\n— экра...
599.0
71895
2017-03-22
Shop
189b98ad7762a7fe0231187a3dc053cb35f92e73a0c71d...
2926.0
0.11749
17566
f27f7b166d99
45ba3f23bf25
Иркутская область
Тулун
Бытовая электроника
Телефоны
Samsung
NaN
NaN
23.03/ Samsung9850TV
• экран 4”, 260 тыс. цв., сенсорный; • одновре...
1099.0
71946
2017-03-22
Shop
8740f37330ad694c06df70e6c534c50d3cdd8e6d623cf1...
2931.0
0.00000
18884
12391e89f96b
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Micromax
NaN
NaN
15.03/ Micromaкс x2420
— телефон/\n— поддержка двух SIM-карт/\n— экра...
1699.0
70977
2017-03-15
Shop
a77bdd81495e88dc6da4c0588f8f8cb22610f1576760fb...
2906.0
0.00000
20026
7f816c70e472
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Аксессуары
Кабели и адаптеры
NaN
23.03/ AUX кабель Fashion Gold
Каждый день сотни новых товаров в нашем магази...
390.0
72089
2017-03-23
Shop
9cb70d399ea8dbf9aa22b1c6d9060e8fd215528ca7367b...
2907.0
0.00000
20207
9087f20e0239
45ba3f23bf25
Иркутская область
Тулун
Бытовая электроника
Телефоны
Lenovo
NaN
NaN
20.03/ lenovoA316i
— смартфон, Android 4.2/\n— поддержка двух SIM...
2699.0
71529
2017-03-20
Shop
148f05018347535bffcf19fc6dbafb7ec00a0942cf42f8...
2931.0
0.28546
20729
b2c18ff21cef
45ba3f23bf25
Иркутская область
Саянск
Бытовая электроника
Аудио и видео
MP3-плееры
NaN
NaN
23.03/ MP3 плеер Adidas (слот Micro SD+наушники)
Каждый день сотни новых товаров в нашем магази...
450.0
72100
2017-03-23
Shop
e2e503ad1328a1b0f532390547d45777ebf8d7da53ae5e...
3036.0
0.17779
20779
63919fbfd6d1
45ba3f23bf25
Иркутская область
Ангарск
Бытовая электроника
Телефоны
Другие марки
NaN
NaN
15.03/ Maксvi-c20
— телефон/\n— поддержка двух SIM-карт/\n— экра...
499.0
70955
2017-03-15
Shop
08b944cea05a49618f89628fe197df4d09b216c0ea13d2...
2923.0
0.11015
21822
43bd8bd84d7c
45ba3f23bf25
Иркутская область
Саянск
Бытовая электроника
Телефоны
Аксессуары
Гарнитуры и наушники
NaN
23.03/ Наушники HF MP3
Каждый день сотни новых товаров в нашем магази...
250.0
72055
2017-03-23
Shop
28d37dc126e1afeedb702644e51174f94825f1c4584928...
3046.0
0.00000
22216
ea741d982b16
45ba3f23bf25
Иркутская область
Тайшет
Для дома и дачи
Ремонт и строительство
Инструменты
NaN
NaN
24.03/ Рубанок Интерскол P-110-01
Мощность, Вт1100 Ширина обработки, мм110 Выбор...
4499.0
72344
2017-03-24
Shop
5037e240bfb2283fd745e4e3425a4e949c06bfc3214ff4...
1240.0
0.00000
24478
71c7384194f6
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Micromax
NaN
NaN
22.03/ mиcromax X405
SIM-карты 2 SIM Размер экрана 1.8 " (4.6 см) 4...
1299.0
71883
2017-03-22
Shop
f4255a9dc24c335d5dd9ccc4460272a56eef3f31e73276...
2931.0
0.00000
24916
7309347a657a
45ba3f23bf25
Иркутская область
Саянск
Бытовая электроника
Телефоны
Аксессуары
Чехлы и плёнки
NaN
23.03/ Чехол - Бампер-обородок задняя крышка
Каждый день сотни новых товаров в нашем магази...
160.0
72065
2017-03-23
Shop
df860e85eaa9c7669d5e9418c7d75cfca6c9e69a5a8816...
2911.0
0.00000
30608
2f812fc63ff3
45ba3f23bf25
Иркутская область
Нижнеудинск
Для дома и дачи
Ремонт и строительство
Инструменты
NaN
NaN
24.03/ Перфоратор FIT 80118
— перфоратор мощностью 900 Вт/\n— патрон SDS-P...
3299.0
72329
2017-03-24
Shop
58f1ab1b337352ca7ad8456c1f5ba995074b53b08b9f1a...
1245.0
0.00000
32208
9ea3f8e13b6f
45ba3f23bf25
Иркутская область
Тулун
Бытовая электроника
Телефоны
Highscreen
NaN
NaN
23.03/ HighscreenPureJ
— смартфон, Android 4.4/\n— поддержка двух SIM...
1299.0
71961
2017-03-22
Shop
bc74f20c4d8ffdef318a00f1437a38e7c81dabc190c84c...
2919.0
0.00000
34944
edc8b891a7bc
45ba3f23bf25
Иркутская область
Зима
Бытовая электроника
Телефоны
Samsung
NaN
NaN
27.03/ Samsunг E1080i
— телефон/\n— экран 1.43", разрешение 128x128/...
699.0
72569
2017-03-27
Shop
7573fcbe11d8f32938c73123865d5f3448007af583d766...
2920.0
0.00000
35524
5120a359d8cc
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Nokia
NaN
NaN
15.03/ nokia luмиа 920
— смартфон, MS Windows Phone 8/\n— экран 4.5",...
5099.0
71010
2017-03-15
Shop
1acbdf774ffe24060783f8fca743122bc3d67ba3ea6d62...
2933.0
0.00000
38638
34870b40c282
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Планшеты и электронные книги
Планшеты
NaN
NaN
17.03/ Планшет irbis TZ94
— тыловая камера 2 Мпикс/\n— фронтальная камер...
5099.0
71302
2017-03-17
Shop
6e04dd9f9ced0f5b5a64cd4d933ba4036bf63743e8169a...
2960.0
0.00000
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
1460371
45bad260ad53
45ba3f23bf25
Иркутская область
Ангарск
Бытовая электроника
Телефоны
Fly
NaN
NaN
27.03/ Fly ff243
— телефон/\n— поддержка двух SIM-карт/\n— экра...
1499.0
72513
2017-03-27
Shop
7d112b0e3ec66be4f16b9f50f5447477a17ddfe292da02...
2916.0
0.00000
1460962
8efcbe53afa2
45ba3f23bf25
Иркутская область
Саянск
Бытовая электроника
Товары для компьютера
Флэшки и карты памяти
NaN
NaN
23.03/ Flash USB 8192 игрушка
Каждый день сотни новых товаров в нашем магази...
890.0
72087
2017-03-23
Shop
44ff3f51505524b5f8338936451439167e336c9d965264...
2013.0
0.00000
1461462
2699b5b69d7e
45ba3f23bf25
Иркутская область
Тулун
Для дома и дачи
Бытовая техника
Для кухни
Мелкая кухонная техника
NaN
17.03/ Мультиварка Atlanta ATH-594/док
— мультиварка/\n— мощность 500 Вт/\n— объем 3 ...
2099.0
71310
2017-03-17
Shop
2d377831be87d173e4af8acbd6759957d998c515a98199...
1818.0
0.00000
1462007
f414907562c0
45ba3f23bf25
Иркутская область
Братск
Бытовая электроника
Телефоны
Samsung
NaN
NaN
27.03/ SamsungC6112
— телефон с выдвижным корпусом/\n— поддержка д...
699.0
72657
2017-03-27
Shop
56dfc9a3b43dcf916dd5cd2e17b027cf23ead9fcf157dd...
2942.0
0.00000
1462471
aaa3b7fae5a6
45ba3f23bf25
Иркутская область
Тулун
Бытовая электроника
Телефоны
Fly
NaN
NaN
28.03/ FlyFS405
— смартфон, Android 5.1/\n— поддержка двух SIM...
1699.0
72808
2017-03-28
Shop
62e87d50f834a38981ee2bf7f02adac814ec56db05712b...
2931.0
0.00000
1463435
6df26b978af8
45ba3f23bf25
Иркутская область
Братск
Бытовая электроника
Телефоны
ZTE
NaN
NaN
20.03/ ZTE LeqQ1
— смартфон, Android 4.2/\n— поддержка двух SIM...
2499.0
71563
2017-03-20
Shop
007fc7ba3591d4562e0acaab1d5449a8dd885d14019d98...
2940.0
0.09860
1463535
d797478078a5
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Samsung
NaN
NaN
20.03/ Samsung I9500
— смартфон, Android 4.4/\n— экран 5", разрешен...
3299.0
71506
2017-03-20
Shop
02f27f3273e234760b4aed5e51119477c648c60c6aa54e...
2932.0
0.27737
1465059
be2363f02df5
45ba3f23bf25
Иркутская область
Братск
Для дома и дачи
Ремонт и строительство
Инструменты
NaN
NaN
24.03/ Электродрель Makita 6408
Max размер патрона, мм10 Мощность, Вт530 Число...
1999.0
72295
2017-03-24
Shop
6e6223f1d717dcc808e1bb485ddf9523c073eeb9c4ee32...
1230.0
0.00000
1465680
7e6afd2fe1ba
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Samsung
NaN
NaN
20.03/ Samsuнг- S5292
— телефон/\n— поддержка двух SIM-карт/\n— экра...
1099.0
71620
2017-03-20
Shop
5fc57096ae3473479eb8928b06fff261e0eb1eda6db50e...
2932.0
0.00000
1466631
6036dc00dc22
45ba3f23bf25
Иркутская область
Нижнеудинск
Бытовая электроника
Аудио и видео
Видео, DVD и Blu-ray плееры
NaN
NaN
15.03/ DVD Supra DVS205X
— DVD-плеер/\n— воспроизведение с USB-накопите...
499.0
71093
2017-03-15
Shop
9e2ea07379021ae59ff03c46a8c026c4f65b8faf45009b...
3024.0
0.00000
1467421
a98dd7b9ae19
45ba3f23bf25
Иркутская область
Ангарск
Для дома и дачи
Ремонт и строительство
Инструменты
NaN
NaN
24.03/ Перфоратор Bosch GBH2-26DRE
— перфоратор мощностью 800 Вт/\n— патрон SDS-P...
3899.0
72143
2017-03-24
Shop
1b5721324f53d1876340be661cbc4eb32744036f756790...
1245.0
0.14322
1473519
644e0e0d1d7d
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Фототехника
Компактные фотоаппараты
NaN
NaN
17.03/ Фотоаппарат BenQ DC E53
(заряжается от лягушки) /\n— компактная фоток...
899.0
71423
2017-03-18
Shop
80469b2d6c9505eb4ecc122ad6be4c1f8e7dc0ce05b926...
2999.0
0.00000
1477412
fd0ba205908b
45ba3f23bf25
Иркутская область
Братск
Бытовая электроника
Настольные компьютеры
NaN
NaN
NaN
17.03/ Системный блок LG без модели Intel Pentium
2600 Мгц/2048 mb/120 Gb
3399.0
71401
2017-03-18
Shop
dcadfba881ea0c41caef142cebff0699d183d8cdf18979...
2789.0
0.00000
1478864
631138c4b7ad
45ba3f23bf25
Иркутская область
Саянск
Бытовая электроника
Аудио и видео
Акустика, колонки, сабвуферы
NaN
NaN
23.03/ Колонка световой шар YPS D107
Каждый день сотни новых товаров в нашем магази...
1390.0
72102
2017-03-23
Shop
16f25fd4d791a07d90131b7776806eaff0cb44520c0c95...
1129.0
0.00000
1481367
60b7b65bf90b
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Ноутбуки
NaN
NaN
NaN
20.ноутбукhewletpackard(HP) paviliongseries
Intel Core/2300 Мгц/4096 mb/250 Gb/SSD
5699.0
71522
2017-03-20
Shop
b9c63cafc96446e1f4166370125a5b21491301d1dccc3b...
2960.0
0.41556
1484232
cc6702dbecfb
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Планшеты и электронные книги
Планшеты
NaN
NaN
17.03/ Планшет Digma Plane 7005ST 3G
(разговор только на громкой связи) /\n— тылова...
3099.0
71239
2017-03-17
Shop
f6649789c064a217f888b5645fee0a6c791598a85d7fd4...
2876.0
0.00000
1485179
03612663da9d
45ba3f23bf25
Иркутская область
Усть-Илимск
Бытовая электроника
Телефоны
Prestigio
NaN
NaN
15.03/ presтиgiopsp3457DUO/док
— смартфон, Android 5.1/\n— поддержка двух SIM...
1599.0
71055
2017-03-15
Shop
2dceafe492b4cb23d43a7e5326c6e47afdb9b6c62ff939...
2906.0
0.30847
1485273
5bd509967850
45ba3f23bf25
Иркутская область
Братск
Бытовая электроника
Телефоны
Samsung
NaN
NaN
23.03/ Samsungb350e/док
— телефон/\n— поддержка двух SIM-карт/\n— экра...
2099.0
72012
2017-03-22
Shop
2cb8e14dab64bbde254c8d81f5365c07a45257a0b9ae2b...
2931.0
0.00000
1487323
2d12be026231
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Ноутбуки
NaN
NaN
NaN
27.03/ Ноутбук lenovo lenovo
AMD A4/1800 Мгц/4096 mb/500 Gb
14099.0
72704
2017-03-28
Shop
271a33ea2e3ecf1d92b05ce72ea627f89ef5db7bec4d8d...
2964.0
0.00000
1487897
6df3ff063418
45ba3f23bf25
Иркутская область
Братск
Бытовая электроника
Телефоны
Samsung
NaN
NaN
15.03/ самsungsgh-8100
— телефон/\n— экран 1.52", разрешение 128x128/...
699.0
71065
2017-03-15
Shop
4ee782c3d0b6a9315b432e6ea818f7c667336d5c441e93...
2932.0
0.00000
1489543
76c1f849e39b
45ba3f23bf25
Иркутская область
Саянск
Бытовая электроника
Телефоны
Samsung
NaN
NaN
20.03/саmsungC3530кнопкавклчерезразработает
— телефон/\n— экран 2.2", разрешение 320x240/\...
1099.0
71478
2017-03-20
Shop
ce17fdb60c014eb31a3930d514ae4511c925793ab1d612...
2932.0
0.00000
1490140
99d0655c1dab
45ba3f23bf25
Иркутская область
Братск
Бытовая электроника
Телефоны
Lenovo
NaN
NaN
20.03/ LenovoA2010-a*
— смартфон, Android 5.1/\n— поддержка двух SIM...
2699.0
71558
2017-03-20
Shop
f727fab95666fa13e55a287aa6b1882431d1275f423c0b...
2927.0
0.26527
1495101
aee86dbbf911
45ba3f23bf25
Иркутская область
Тулун
Бытовая электроника
Телефоны
Alcatel
NaN
NaN
23.03/ Alcatel 1020д
— телефон/\n— поддержка двух SIM-карт/\n— экра...
999.0
71957
2017-03-22
Shop
08437caa617916ee8c56ff2134403d1ad3335450633db8...
2926.0
0.00000
1496747
35b1a4d249bc
45ba3f23bf25
Иркутская область
Иркутск
Для дома и дачи
Бытовая техника
Климатическое оборудование
Обогреватели
NaN
20.03/ обогревательelenbergh-150920
— масляный радиатор/\n— мощность обогрева 2000...
1099.0
71618
2017-03-20
Shop
a86fe9dfdd8fb3ba7469f2dc048fbf23ea2cd909edfdcd...
1864.0
0.00000
1497416
a31b43e38aef
45ba3f23bf25
Иркутская область
Усть-Ордынский
Для дома и дачи
Ремонт и строительство
Инструменты
NaN
NaN
24.03/ Болгарка Makita GA9050
Диаметр диска, мм230 Мощность, Вт2000 Электр. ...
2599.0
72243
2017-03-24
Shop
82503dd019c21c7efe7267d8a410262f76b8340f768e3c...
1231.0
0.00000
1498367
06ee99cd720c
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Samsung
NaN
NaN
20.03/ Samsунг-J7
— смартфон, Android 5.1/\n— поддержка двух SIM...
1999.0
71462
2017-03-20
Shop
2ed77eb302993dd6c062886035ec59389e50303dfc9478...
2932.0
0.43177
1500508
97d083429548
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Товары для компьютера
Мониторы
NaN
NaN
16.03/ Монитор BenqT705
— ЖК-монитор с диагональю 17"/\n— тип матрицы ...
1299.0
71237
2017-03-17
Shop
df14ff255a6ae6c7af3b70ddbf069ad7aacd694fc6dc52...
2851.0
0.00000
1501205
6b9acca66d71
45ba3f23bf25
Иркутская область
Ангарск
Бытовая электроника
Телефоны
Alcatel
NaN
NaN
15.03/ Alcaтель ONE touch5035X
— смартфон, Android 4.0/\n— экран 4.5", разреш...
1599.0
70953
2017-03-15
Shop
13a11f36a86d8d57b3c98da7e532f66b8244bf55a32e9b...
2926.0
0.34389
1502084
6f636f715b54
45ba3f23bf25
Иркутская область
Зима
Бытовая электроника
Телефоны
Другие марки
NaN
NaN
28.03/ Jinga ф100
— телефон/\n— поддержка двух SIM-карт/\n— экра...
699.0
72749
2017-03-28
Shop
8e085af84247cad0699f6c7249fdc44d342a62ee9e0017...
2916.0
0.00000
1503273
f180ca1ab215
45ba3f23bf25
Иркутская область
Иркутск
Бытовая электроника
Телефоны
Huawei
NaN
NaN
15.03/ Huawei u9510-e
— смартфон, Android 4.0/\n— экран 4.5", разреш...
6599.0
71005
2017-03-15
Shop
988c5d2e3f55474ab5b9dfa7d8476e6c95a302ba16348b...
2917.0
0.00000
1080 rows × 18 columns
In [83]:
train.item_seq_number.describe()
Out[83]:
count 1.503424e+06
mean 7.436740e+02
std 5.572522e+03
min 1.000000e+00
25% 9.000000e+00
50% 2.900000e+01
75% 8.800000e+01
max 2.044290e+05
Name: item_seq_number, dtype: float64
In [84]:
len(train.item_seq_number.unique()) , len(train)
Out[84]:
(28232, 1503424)
In [85]:
np.sum(train.item_seq_number.isnull())
Out[85]:
0
In [88]:
item_seq_number_group = train.groupby('item_seq_number').apply(lambda x : len(x))
In [89]:
item_seq_number_group.head()
Out[89]:
item_seq_number
1 90378
2 58481
3 48047
4 42074
5 37679
dtype: int64
In [90]:
train[train['item_seq_number']==1]
Out[90]:
item_id
user_id
region
city
parent_category_name
category_name
param_1
param_2
param_3
title
description
price
item_seq_number
activation_date
user_type
image
image_top_1
deal_probability
34
2285e797fe2d
5977e301114d
Саратовская область
Саратов
Транспорт
Автомобили
С пробегом
Audi
80
Audi 80, 1986
Отличный надёжный немец, на очень бодром ходу!...
65000.0
1
2017-03-25
Private
9dc0755c29addc765567c613087fbcabfd62f1555772f4...
1132.0
0.67548
49
a285d4daec8a
e76f336932dc
Пермский край
Пермь
Личные вещи
Красота и здоровье
Приборы и аксессуары
NaN
NaN
Набор для маникюра
Продам набор всё для маникюра /\nИспользовала ...
5000.0
1
2017-03-17
Private
5e81097b80319562099bce5d0847433444ee5b51da1afa...
1039.0
0.15719
92
c2468f15b136
451e557a9de6
Краснодарский край
Петровская
Для дома и дачи
Продукты питания
NaN
NaN
NaN
Яйцо куриное
Яйцо домашние всегда свежее.
60.0
1
2017-03-19
Private
NaN
NaN
0.11508
94
e82d211653ae
479530574f40
Омская область
Омск
Личные вещи
Одежда, обувь, аксессуары
Женская одежда
Свадебные платья
40–42 (XS)
Новые свадебные платья
Закрыла салон в прошлом году, платья новые, п...
8500.0
1
2017-03-23
Private
23dec721e37db33b2b11ca151174fa589dc3d8040ba682...
560.0
0.00000
135
aee328ab0cf6
4013e81e0a76
Татарстан
Казань
Транспорт
Автомобили
С пробегом
ГАЗ
ГАЗель
ГАЗ ГАЗель, 2010
Газель в отличном состоянии. Двигатель от Уаза...
300000.0
1
2017-03-15
Private
8b095c09157ed9783fc3adf3eb1e8578434ed483f10988...
1055.0
0.00000
148
258b5172a67b
cdb504ba77b6
Волгоградская область
Волгоград
Недвижимость
Гаражи и машиноместа
Продам
Гараж
Металлический
Гараж, 12 м²
продаю гараж, имеется смотровая яма, погреб, э...
85000.0
1
2017-03-28
Private
NaN
NaN
0.12981
151
faca2386e135
b7d8629ae841
Нижегородская область
Сосновское
Недвижимость
Дома, дачи, коттеджи
Продам
Дом
NaN
Дом 35.9 м² на участке 30 сот.
Продаю дом в хорошем состоянии.Две светлые ком...
800000.0
1
2017-03-27
Private
4d6180fbe6033087150ca7e7c7ee82cd65a5494166ad4f...
1516.0
0.20952
174
2bef5deb2c5f
e0c3868a7615
Краснодарский край
Ильский
Услуги
Предложение услуг
Транспорт, перевозки
Переезды
NaN
Грузоперевозки
Доставка грузов по району и краю по доступным ...
350.0
1
2017-03-27
Private
64e8112d12f57e03ee21e5e9ecf0220366801523335b81...
1203.0
0.00000
184
583e51812631
5fb3ed5df853
Саратовская область
Саратов
Услуги
Предложение услуг
Ремонт, строительство
Отделочные работы
NaN
Отделка
Выполним работы по отделке квартир коттеджей и...
NaN
1
2017-03-19
Private
9849d8ec29d6202e70859f97bc1eb7aed61e0020a40e6c...
1429.0
0.00000
191
85b007444f5a
bd759bb532e6
Оренбургская область
Октябрьское
Бытовая электроника
Игры, приставки и программы
Игровые приставки
NaN
NaN
Xbox 360
+5 игар фифа15,16 мартол комбат 9, гта5,асасси...
7000.0
1
2017-03-28
Private
6a9d3c3a0af20112453b6bdf690259a3902f705ab26a6c...
2901.0
0.16555
199
0dfb9bc682af
aa521d5e3e77
Алтайский край
Рубцовск
Транспорт
Автомобили
С пробегом
ГАЗ
31105 Волга
ГАЗ 31105 Волга, 2004
тип двигателя газ,бензин,обмен на бортовой УАЗ
120000.0
1
2017-03-21
Private
d33c13bd1483314309224b9c0589a491b53fdd799ffa19...
1118.0
0.00000
202
838f294d91dc
da7a03087e12
Свердловская область
Первоуральск
Личные вещи
Одежда, обувь, аксессуары
Женская одежда
Обувь
39
Демисезонные ботиночки.размер 39
NaN
500.0
1
2017-03-28
Private
1d75aa35ab70ba9598677ea2b469310129c06df61ae6cb...
501.0
0.00000
207
44aa121e4559
6a67fb2b7d8e
Башкортостан
Стерлитамак
Услуги
Предложение услуг
Транспорт, перевозки
Коммерческие перевозки
NaN
Грузоперевозки длинномер бортовой открытый
Предлагаю услуги по перевозке грузов в любом н...
NaN
1
2017-03-15
Private
d9a6d9e9836ed94272742fa3473899692442b2bf7a49fe...
1057.0
1.00000
211
1eac7195d482
bf959f247de0
Омская область
Омск
Транспорт
Автомобили
С пробегом
Nissan
Mistral
Nissan Mistral, 1995
Отс,7мест, CD ченджер, люк, максимальная компл...
199999.0
1
2017-03-18
Private
bc9390c9ac23498491f4f34e4c08c7cacec379684527f8...
1118.0
0.07598
214
a74f5b9f170c
e4bd17c7abb0
Тюменская область
Тюмень
Бытовая электроника
Телефоны
ZTE
NaN
NaN
Zte blade a510
Телефон в хорошем состоянии, есть небольшие ск...
6000.0
1
2017-03-27
Private
188678bf64d3263cd3c39cf8d5bf22a202a13bd659eeee...
2906.0
0.07764
266
e70da3997f5e
177545486f79
Омская область
Марьяновка
Транспорт
Автомобили
С пробегом
ГАЗ
24 Волга
ГАЗ 24 Волга, 1991
Продам Волгу в хорошем состоянии, не гнилая, п...
60000.0
1
2017-03-16
Private
10d64c6dc930bffe0788a321268994266fd736773ff88e...
2264.0
0.00000
275
d166efd1a370
d3b40121a0ae
Ростовская область
Ростов-на-Дону
Транспорт
Автомобили
С пробегом
Mitsubishi
Lancer
Mitsubishi Lancer, 2003
Авто ск газовым оборудованием 3 владельца сер...
200000.0
1
2017-03-23
Private
NaN
NaN
0.02960
296
8a45c5c312b9
417c35a60fbd
Ставропольский край
Ессентуки
Недвижимость
Квартиры
Сдам
На длительный срок
2
2-к квартира, 100 м², 1/2 эт.
Сдается две двухкомнатные квартиры. С ремонтом...
20000.0
1
2017-03-17
Private
cd2601f75b255e3b4db8230e4524aac3d834e0bde1b589...
2222.0
0.05955
297
15531a26a0a2
d0e6901d0e57
Воронежская область
Воронеж
Транспорт
Автомобили
С пробегом
ВАЗ (LADA)
2106
ВАЗ 2106, 1989
Продаю ВАЗ 21063 состояние кузова можно оценит...
37000.0
1
2017-03-16
Private
922d585c405ea99884e98fc2134743fdea7cf80fee3133...
1055.0
0.10260
322
ed9e4a9214a2
349444a29977
Пермский край
Пермь
Недвижимость
Квартиры
Продам
2
Вторичка
2-к квартира, 43.9 м², 2/9 эт.
Продам 2-х комнатную квартиру от собственника ...
2700000.0
1
2017-03-20
Private
NaN
NaN
0.34241
337
8369c7120195
ff67e075621a
Краснодарский край
Краснодар
Услуги
Предложение услуг
Няни, сиделки
NaN
NaN
Няня
Присмотрю за детьми от 1-7 лет,можно оставить ...
1000.0
1
2017-03-19
Private
NaN
NaN
0.25000
340
e6b582b15b40
96f6121ad2d4
Владимирская область
Гусь-Хрустальный
Транспорт
Автомобили
С пробегом
ВАЗ (LADA)
2101
ВАЗ 2101, 1998
Все вопросы по телулефону
15000.0
1
2017-03-21
Private
13fdc980cfb30d3e7ad936d1363159bf917280211b3f41...
1108.0
0.23287
378
1fc75b9641d2
b990f6744c3c
Краснодарский край
Геленджик
Личные вещи
Одежда, обувь, аксессуары
Женская одежда
Обувь
40
Кроссовки женские новые
NaN
1000.0
1
2017-03-18
Private
82d1b606244328940b8268bc5eb54fcb1ad16c358f27aa...
478.0
0.00000
428
63cdb4538ad8
a13c82348b56
Башкортостан
Уфа
Транспорт
Автомобили
С пробегом
Daewoo
Nexia
Daewoo Nexia, 2004
продается нексия, авто в хорошем состоянии, д...
75000.0
1
2017-03-20
Private
NaN
NaN
0.18298
432
7c6a6ad658af
a376d29fa3ca
Татарстан
Казань
Услуги
Предложение услуг
IT, интернет, телеком
Cоздание и продвижение сайтов
NaN
Дизайнеров сайтов, продвижение
Индивидуальные работы для каждого клиента. /\n...
1000.0
1
2017-03-20
Private
d4a0dd2abc39400e8d7320d2a9f4c4e561902a9f08da6f...
2272.0
0.16667
476
db24fe4ec147
b48c6fb8b891
Саратовская область
Саратов
Бытовая электроника
Телефоны
iPhone
NaN
NaN
Айфон 6
6 на 16 GB с touch Id -17200/\n6 на 16 GB без ...
14999.0
1
2017-03-22
Private
14da0a9ef2dc751c2f36b05f8511a99e20b1d5866d5ee4...
2918.0
0.06936
486
cad46d564a85
e0053842ce30
Омская область
Омск
Личные вещи
Часы и украшения
Ювелирные изделия
NaN
NaN
Кольцо -печатка
Кольцо -печатка мужская , золото 585 с бриллиа...
35000.0
1
2017-03-25
Private
ae983109f2aece6232ccf479985e3cfd333915ab073c02...
19.0
0.25049
509
76865def4a09
c4fbfde8617b
Нижегородская область
Дзержинск
Недвижимость
Квартиры
NaN
NaN
NaN
2-к квартира, 44 м², 5/5 эт.
2х комнатная квартира для тех, кто хочет купит...
1400000.0
1
2017-03-27
Private
fefa0b0c96ea660e69d78adce52702ad61a9c743e599dd...
1617.0
0.00000
523
8d4cff69cb5a
814ca94fd2ef
Свердловская область
Бисерть
Недвижимость
Дома, дачи, коттеджи
Продам
Дом
NaN
Дом 44 м² на участке 13 сот.
Дом находится в экологически чистом месте,рядо...
700000.0
1
2017-03-21
Private
e8d74f160aa6c760dec90e0103b99d687f05c3415176c3...
2218.0
0.08952
566
a5cf5ec7523c
acfe47f38c18
Краснодарский край
Краснодар
Личные вещи
Товары для детей и игрушки
Товары для школы
NaN
NaN
Ручки
Продаются эко ручки белого цвета.Тираж 10 000....
NaN
1
2017-03-17
Private
b14a0e4ba4d5ab3290c02f9b5273344a9ff698915e3b9a...
1039.0
0.13858
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
1502798
eb14edf9eeff
3b2c413c55d6
Ростовская область
Ростов-на-Дону
Хобби и отдых
Спорт и отдых
Дайвинг и водный спорт
NaN
NaN
Продам комплект подводного видео света:
Продам комплект подводного видео света:/\n/\n1...
NaN
1
2017-03-26
Private
4c80d3b2e2964f96e3ef30f5cf37cebe76b07b539dce44...
1384.0
0.00000
1502801
c40cdf4949cc
d9bd37b13e9b
Краснодарский край
Геленджик
Для дома и дачи
Ремонт и строительство
Стройматериалы
NaN
NaN
Керамочерепица
Керамическая черепица Kikinda. 600кв/м
250.0
1
2017-03-15
Private
5954524b6b46f9160028e5ca2fed4b6a0217ba350928db...
1092.0
0.38925
1502826
7401cfca2f43
e5305e048a3e
Башкортостан
Янаул
Недвижимость
Дома, дачи, коттеджи
Продам
Дом
NaN
Дом 129 м² на участке 11 сот.
Продаётся дом 2-х этажный площадь дома 129.30 ...
3500000.0
1
2017-03-24
Private
74d00ca06e1c6ad0235d4b1dd25b673d3abfab380ecaf6...
2729.0
0.12895
1502872
c65ce29b46ae
c26972bca35e
Челябинская область
Челябинск
Животные
Товары для животных
NaN
NaN
NaN
Домики для кошек и собак
Порадуйте своего любимца, домики, когтеточки! ...
500.0
1
2017-03-27
Private
0d302634e1463ffb6a454d8f42f756e16338a7170e6851...
2034.0
0.31981
1502914
3eccb1f62fc6
a82e82be6d92
Алтайский край
Заринск
Бытовая электроника
Товары для компьютера
Комплектующие
Блоки питания
NaN
Блок питания 12в 15А
NaN
700.0
1
2017-03-25
Private
48b4f0d798ba3d61b65b434b4ae55f6c7151c2f27e221e...
2784.0
0.00000
1502924
89186d80d51a
61b3beb756bd
Тюменская область
Тюмень
Личные вещи
Детская одежда и обувь
Для девочек
Верхняя одежда
98-104 см (2-4 года)
Курточка демисезонная colabear на 106 рост
Продам демисезонную курточку для модницы COLA...
800.0
1
2017-03-25
Private
80277f4c870ed6085aa8e06b2f97d40c4f3e92c2a032de...
646.0
0.00000
1502934
b35e261e062a
234d37d4426c
Ставропольский край
Ставрополь
Бытовая электроника
Игры, приставки и программы
Игровые приставки
NaN
NaN
Sony Playstation 2
В хорошем состоянии, прошитая, полный комплект...
2500.0
1
2017-03-28
Private
0ac94bd1da8848ee2b98435f53fb5dd8bf526b79b34211...
2899.0
0.76786
1502935
562b381b7cdc
ae9d8c22fcd4
Ставропольский край
Ставрополь
Недвижимость
Квартиры
Продам
2
Вторичка
2-к квартира, 51 м², 2/9 эт.
Срочно продаю двухкомнатную квартиру. Санузел ...
1550000.0
1
2017-03-18
Private
NaN
NaN
0.15884
1502940
f209204e301f
e99f6f458e0c
Самарская область
Сызрань
Транспорт
Автомобили
С пробегом
ВАЗ (LADA)
Priora
LADA Priora, 2011
Продам машину в отличном состоянии! Никаких вл...
227000.0
1
2017-03-17
Private
e45a4eb733ea8d78c1aee4132faaf9f6bde34ab740b11a...
2264.0
0.73760
1502944
8bd0f9178e2c
dda2cac2708b
Ростовская область
Ростов-на-Дону
Услуги
Предложение услуг
Ремонт, строительство
Ремонт кухни
NaN
Столешница из искусственного мрамора
Продам столешницу с влитой мойкой из искусстве...
6000.0
1
2017-03-21
Private
ba46aa657fd209acf3dd0f42be9ad4dd1fff583cce34db...
1497.0
0.00000
1502946
c0ff44d48a1c
b0fa4faba661
Волгоградская область
Волгоград
Транспорт
Автомобили
С пробегом
Mitsubishi
Galant
Mitsubishi Galant, 1997
Галант в хорошем состоянии.кузов требует вложе...
95000.0
1
2017-03-26
Private
6752d9c77a680efa5fd0bc95e7f40a026127c66581063f...
2264.0
0.73760
1502950
ccab2308fa45
264f9a5a5296
Алтайский край
Ребриха
Личные вещи
Одежда, обувь, аксессуары
Женская одежда
Платья и юбки
48–50 (XL)
Платье из шифона
Красивое платье нежно фиолетового цвета, отлич...
1000.0
1
2017-03-24
Private
357d9b1b5c033cd174a52f8ba07e249b850c028d72506f...
2721.0
0.00000
1502981
d2cf327a2e28
b363b1a37bbb
Краснодарский край
Краснодар
Животные
Товары для животных
NaN
NaN
NaN
Овес для кормов
реализуем овес для кормов, самовывоз. все вопр...
7.0
1
2017-03-16
Private
NaN
NaN
0.00000
1503063
ae090061190b
b0dc731da63b
Красноярский край
Канск
Личные вещи
Детская одежда и обувь
Для девочек
Платья и юбки
122-128 см (6-8 лет)
Платье на выпускной в сад
Платье немного б/у с обручем
600.0
1
2017-03-18
Private
13980d3bad73a28dbe1ae5b530a7d154646654bbd89f1d...
82.0
0.00000
1503068
de230493760f
7feaeb314305
Омская область
Омск
Личные вещи
Товары для детей и игрушки
Детская мебель
NaN
NaN
Коврик для малыша
NaN
800.0
1
2017-03-16
Private
0909703d6d3dcb001524947822ddd5f665040b40415af1...
882.0
0.00000
1503121
9974db20a5b5
6938082c9459
Пермский край
Пермь
Личные вещи
Одежда, обувь, аксессуары
Мужская одежда
Рубашки
42–44 (XS)
Рубашка Polo by Ralph Lauren
Рубашка Polo by Ralph Lauren (в клетку)
1200.0
1
2017-03-20
Private
ea11b8ef74ad1c31721676821bc8a5f611b0c7a01e2f87...
635.0
0.00000
1503130
ffee1f8bcde8
e3bc4b31721f
Ростовская область
Ростов-на-Дону
Транспорт
Автомобили
С пробегом
ТагАЗ
Road Partner
ТагАЗ Road Partner, 2009
Машина в хорошем техн. состоянии. Так же отдаю...
450000.0
1
2017-03-17
Private
864ca384d877a40e09ebcc6142e0dcdbe17c21fc15ed64...
2262.0
0.05118
1503154
d0b98b0d382a
e325364bcde6
Свердловская область
Екатеринбург
Личные вещи
Товары для детей и игрушки
Детские коляски
NaN
NaN
Продам коляску-трость Chicco
Продам коляску бу в хорошем состоянии. Все исп...
4000.0
1
2017-03-19
Private
97effbbd4d9ab57c1402ea6d72b2cde9a0473e38d98681...
1002.0
0.27307
1503170
1c67916a0631
bd34c1fe42e4
Ростовская область
Ростов-на-Дону
Услуги
Предложение услуг
Ремонт и обслуживание техники
Компьютерная техника
NaN
Скорый и качественный ремонт компьютеров
Приветствую дорогие горожане!/\nПредлагаю Вам ...
300.0
1
2017-03-23
Private
c37be26943600d278c8e3f594605dc74546c1b06a1f7eb...
2270.0
0.00000
1503186
f4c5a2424fda
58da6789fe40
Воронежская область
Хохольский
Личные вещи
Одежда, обувь, аксессуары
Женская одежда
Свадебные платья
48–50 (XL)
Свадебное платье
Продается свадебное платье. Цвет: брызги шампа...
15000.0
1
2017-03-17
Private
8a240fb608e55006c51b36f59492f1ee2c07449f34782f...
560.0
0.00000
1503189
96a30883e2c0
bf749b13837a
Тюменская область
Тобольск
Недвижимость
Квартиры
Сдам
На длительный срок
Студия
Студия, 50 м², 7/9 эт.
Предлагаю Вашему вниманию отличную 1-ю квартир...
23000.0
1
2017-03-24
Private
852ab1cf0bd7a83f4dafb02e40822254fe77af68b3aa34...
1191.0
0.31551
1503195
e8f49056a2ac
607d312ef7bf
Пермский край
Пермь
Недвижимость
Квартиры
Продам
2
Вторичка
2-к квартира, 42 м², 1/3 эт.
Квартира в центре города,все в шаговой доступн...
1900000.0
1
2017-03-16
Private
NaN
NaN
0.00000
1503237
a3e52bfa2b6d
2090407326b6
Челябинская область
Челябинск
Личные вещи
Одежда, обувь, аксессуары
Женская одежда
Обувь
37
Продам полусапожки
Продам весенние полусапожки,состояние идеально...
1500.0
1
2017-03-19
Private
d88ea88f929aa7a64bb00c1f25af5bcd1c83d8540e1901...
494.0
0.12579
1503310
185020914886
0b527263b8dd
Омская область
Омск
Личные вещи
Одежда, обувь, аксессуары
Женская одежда
Верхняя одежда
42–44 (S)
Кожаная куртка
Куртка в хорошем состоянии. Размер S (XS).
850.0
1
2017-03-24
Private
9ec9d7a4ce6d0c96ba73c49fe5aabd8750e21148993135...
527.0
0.00000
1503347
017f12ee8020
b02298a81967
Новосибирская область
Новосибирск
Личные вещи
Товары для детей и игрушки
Детская мебель
NaN
NaN
Детский спортивный комплекс
NaN
4500.0
1
2017-03-23
Private
7c2fe8a7c7ffd44202cfe16274f8e149c66a3171c6fca9...
2711.0
0.00000
1503351
293a4786255b
98c24c8cf3ea
Татарстан
Бугульма
Бытовая электроника
Планшеты и электронные книги
Планшеты
NaN
NaN
Продаю планшет на запчасти, DNS Air Tab p71qg
На запчасти
1500.0
1
2017-03-28
Private
d359c99bcbc08f03fb26212b02bb494aeebf07af91c580...
2926.0
0.00000
1503366
6d8dbba37337
62fc044fcf71
Самарская область
Тольятти
Недвижимость
Квартиры
Сдам
На длительный срок
1
1-к квартира, 38 м², 2/9 эт.
Новая мебель. Чистая. Удобное расположение.Ряд...
12000.0
1
2017-03-15
Private
003b58aa543abda7e332541898821d852838d4cb18f7e5...
1377.0
0.45704
1503386
01fc2619efcf
41d3352ae654
Башкортостан
Дюртюли
Личные вещи
Детская одежда и обувь
Для девочек
Платья и юбки
110-116 см (4-6 лет)
Платье
Б/у одевали один раз....
400.0
1
2017-03-23
Private
4287ca326d98bc0e917bbcd9b3ad9f1f8c026b9809f067...
82.0
0.00000
1503404
732b69fced92
94a9c852a234
Самарская область
Самара
Транспорт
Автомобили
С пробегом
Mercedes-Benz
M-класс
Mercedes-Benz M-класс, 2008
В отличном состоянии, вложений не требует, 100...
1300000.0
1
2017-03-28
Private
4d3f4f83f0c065f26ec64fac298936e3a4b0b505402fb0...
1055.0
0.01232
1503420
d1f0910d2126
dc23ef451c8a
Краснодарский край
Краснодар
Услуги
Предложение услуг
Ремонт, строительство
Ремонт квартиры
NaN
Натяжной потолок
Произведем бесплатный замер, изготовим и устан...
200.0
1
2017-03-28
Private
33e13a67b441486ebe48e1459382caa620c4d1802aad1c...
1191.0
0.60000
90378 rows × 18 columns
In [91]:
train = pd.read_csv('data/train.csv')
In [97]:
train[['item_seq_number','deal_probability']].plot.scatter(x='item_seq_number',y='deal_probability')
plt.show()
In [98]:
is_min = train.item_seq_number.min()
is_max = train.item_seq_number.max()
is_min , is_max
Out[98]:
(1, 204429)
In [103]:
nbins = 1000
step = int((is_max-is_min)/nbins)
step
Out[103]:
204
In [120]:
ba = is_min
bin_list = []
item_seq_number_avg = []
deal_prob_list = []
for i in range(nbins):
tt = train[(train["item_seq_number"]>ba) & (train["item_seq_number"]<(ba+step)) ]
bin_list.append(i)
item_seq_number_avg.append(tt.item_seq_number.mean())
deal_prob_list.append(tt.deal_probability.mean())
ba = ba + step
In [123]:
bindf = pd.DataFrame({'bin': bin_list , 'item_seq_number_avg': item_seq_number_avg , 'deal_prob_list': deal_prob_list})
bindf.head()
Out[123]:
bin
deal_prob_list
item_seq_number_avg
0
0
0.142173
41.230119
1
1
0.105941
284.915060
2
2
0.097128
497.175825
3
3
0.088799
709.826550
4
4
0.082126
911.890633
In [125]:
bindf.plot(x='bin', y='deal_prob_list')
plt.show()
In [ ]:
Content source: gtesei/fast-furious
Similar notebooks: