In [4]:
import requests
import json
url_book = 'https://api.douban.com/v2/book/'
url_search = 'https://api.douban.com/v2/book/search'
In [5]:
keyword = 'python'
start_number = 0
search_payload = {'q': keyword,
'start': start_number,
'count': 100}
books = []
while 1:
res = requests.get(url_search, params=search_payload)
if res.json()['count'] != 0:
for book in res.json()['books']:
books.append(book)
search_payload['start'] += 100
print(search_payload)
else:
break
#if start_number <= 40:
# break
{'count': 100, 'start': 100, 'q': 'python'}
{'count': 100, 'start': 200, 'q': 'python'}
{'count': 100, 'start': 300, 'q': 'python'}
{'count': 100, 'start': 400, 'q': 'python'}
{'count': 100, 'start': 500, 'q': 'python'}
{'count': 100, 'start': 600, 'q': 'python'}
{'count': 100, 'start': 700, 'q': 'python'}
{'count': 100, 'start': 800, 'q': 'python'}
{'count': 100, 'start': 900, 'q': 'python'}
{'count': 100, 'start': 1000, 'q': 'python'}
{'count': 100, 'start': 1100, 'q': 'python'}
{'count': 100, 'start': 1200, 'q': 'python'}
{'count': 100, 'start': 1300, 'q': 'python'}
{'count': 100, 'start': 1400, 'q': 'python'}
In [6]:
# save text
with open('douban.txt', 'w') as f:
f.write('id^title^pubdate^publisher^pages^price^rating\n')
for book in books:
f.write(book['id'] + '^' + \
book['title'] + ' ' + book['subtitle'] + '^' + \
book['pubdate'] + '^' + \
book['publisher'] + '^' + \
book['pages'] + '^' + \
book['price'] + '^' + \
book['rating']['average'] + \
'\n')
In [7]:
import pandas as pd
douban_books = pd.read_table('douban.txt', sep='^', na_filter=False)
In [8]:
douban_books.head()
Out[8]:
id
title
pubdate
publisher
pages
price
rating
0
24133123
Python Visual QuickStart Guide
2013-7-15
Peachpit Press
224
USD 34.99
0.0
1
26917066
Python An Introduction to Programming
2016-11-30
Mercury Learning & Information
600
USD 64.95
0.0
2
26697627
Python Crash Course - The Ultimate Beginner's ...
2015-12-3
CreateSpace Independent Publishing Platform
134
USD 9.99
0.0
3
25789709
Python Visual QuickStart Guide
2013-7-1
Peachpit Press Publications
0.0
4
27036778
Python Data Analytics and Visualization
2017-4-11
Packt Publishing
866
USD 99.99
0.0
In [9]:
douban_books.sort_values(by="rating", ascending=False)
Out[9]:
id
title
pubdate
publisher
pages
price
rating
33
26278021
Fluent Python
2015-8-20
O'Reilly Media
768
USD 39.99
9.5
60
20491078
Python Cookbook
2013-5-29
O'Reilly Media
706
USD 49.99
9.3
1221
26840215
Hands-On Machine Learning with Scikit-Learn an...
2017-1-25
O'Reilly Media
450
USD 49.99
9.3
98
27028517
流畅的Python
2017-5-15
人民邮电出版社
628
139元
9.2
124
3098386
Problem Solving with Algorithms and Data Struc...
2005-9-1
Franklin Beedle & Associates
357
USD 45.00
9.2
45
26836700
Python编程快速上手 让繁琐工作自动化
2016-7-1
人民邮电出版社
390
CNY 69.00
9.2
102
21325184
Problem Solving with Algorithms and Data Struc...
2011-8-22
Franklin, Beedle & Associates
438
USD 45.00
9.1
92
26284938
Automate the Boring Stuff with Python Practica...
2015-2-25
No Starch Press
448
USD 29.95
9.1
75
22139956
Learning Python
2013-7-6
O'Reilly Media
1600
USD 64.99
9.0
1187
2209702
Programming Collective Intelligence Building S...
2007-8-26
O'Reilly Media
362
USD 39.99
9.0
82
26381341
Python Cookbook 中文版，第 3 版
2015-5-1
人民邮电出版社
684
108.00元
8.9
1199
3617254
The Definitive Guide to Django, 2nd Edition We...
2009-7-7
Apress
536
USD 44.99
8.9
89
1482162
Beginning Python From Novice to Professional (...
2005-09-26
Apress
610
USD 44.99
8.8
1192
3056375
集体智慧编程
2008-3-1
东南大学出版社
334
58.00元
8.8
14
5948760
A Byte of Python 简明 Python 教程
2008-10-1
Lulu Marketplace
149
USD 27.98
8.8
29
26829016
Python编程：从入门到实践 从入门到实践
2016-7-1
人民邮电出版社
459
CNY 89.00
8.8
1209
26348921
集体智慧编程
2015-3
电子工业出版社
356
79.00元
8.8
78
25892709
Python for Informatics Exploring Information
2013-9-2
CreateSpace Independent Publishing Platform
244
USD 9.99
8.8
38
4915945
Python Algorithms Mastering Basic Algorithms i...
2010-11-24
Apress
336
USD 49.99
8.8
1215
3120623
Hello World! Computer Programming for Kids and...
2009-5-5
Manning Publications
440
USD 34.99
8.7
113
22925199
Introduction to Computation and Programming Us...
2013-7
The MIT Press
320
USD 25.00
8.7
116
5363255
Invent Your Own Computer Games with Python, 2n...
May 1, 2010
Albert\Sweigart
438
$ 28.26
8.7
136
3666230
Think Python An Introduction to Software Desig...
2009-02-27
CreateSpace
240
USD 22.95
8.7
19
26274202
Flask Web开发：基于Python的Web应用开发实战
2014-12
人民邮电出版社
224
59.00元
8.7
6
3117898
Python源码剖析 深度探索动态语言核心技术
2008-6
电子工业出版社
480
69.80元
8.7
36
3142908
Python Tutorial
April 2000
Iuniverse Inc
140
USD 12.95
8.6
77
26709315
Effective Python 编写高质量Python代码的59个有效方法
2016-1
机械工业出版社
59
8.6
88
6892016
深入浅出Python（影印版）
2011-5
东南大学出版社
457
88.00元
8.6
1193
1798896
The Definitive Guide to Django Web Development...
2007-12-06
Apress
447
CAD 45.14
8.6
18
4828875
Python Cookbook （第2版）中文版
2010-5-1
人民邮电出版社
756
99.00元
8.6
...
...
...
...
...
...
...
...
571
4881348
White Python
2003-6
324
$ 34.97
0.0
570
5333005
Python UNIX 和Linux 系统管理指南
2009
机械工业出版社
65.00
0.0
569
11723012
Python Swallowed Whole Core Developers Define ...
576
0.0
568
11975936
Monty Python The Case Against
96
0.0
567
12011703
Grey Hat Python Python Programming for Hackers
540
0.0
566
11930683
Python Visual Quickstart Guide
472
0.0
565
7908398
Python First
2007-3
512
$ 29.32
0.0
564
7912763
Monty Python's Tunisian Holiday
$ 73.44
0.0
563
10110719
Python
24
$ 25.54
0.0
562
10473169
Python Programming Language, including Python ...
2011-8-31
Hephaestus Books
114
USD 19.75
0.0
561
10207275
Python
24
$ 7.91
0.0
576
3263956
Monty Python's Tunisian Holiday My Life with B...
2008-10-28
Thomas Dunne Books
320
USD 25.95
0.0
577
1748391
Python Developer's Handbook
2000-12-12
Sams
960
USD 44.99
0.0
578
2384717
Python
Biblo-Moser
616
32
0.0
587
4082027
Pythonチュートリアル
0.0
593
3922883
Using Python 3 And Installing Modules (Python ...
2009-03-20
CreateSpace
294
USD 22.95
0.0
592
4804370
Python Scripting for Computational Science 3e
2009-12-09
Springer Berlin Heidelberg
784
USD 69.95
0.0
591
4802055
Python/C API Manual - PYTHON 2.6
2009-4-13
CreateSpace Independent Publishing Platform
334
USD 22.95
0.0
590
4754890
Python 3 - Intensivkurs Projekte erfolgreich r...
2010-4-16
Springer
500
USD 69.95
0.0
589
4239919
Scientific Scripting with Python
2009-11-13
lulu.com
USD 34.90
0.0
588
4128722
Monty Python. Über den Sinn des Lebens.
1997-06-01
Heyne
0.0
586
3796495
Monty Python Live!
2009-09-22
Hyperion
240
USD 24.99
0.0
579
2748456
Monty Python's Flying Circus
2005-2
Wayne State Univ Pr
112
$ 18.02
0.0
585
4058726
Python 3 Reference Manual
2009-3-20
CreateSpace Independent Publishing Platform
242
USD 21.95
0.0
584
4388712
The Book of Python
648
59.95
0.0
583
2509288
The Very Best of Monty Python
Consortium Book Sales & Dist
328
16.95
0.0
582
2522579
The Guide to Owning a Ball Python
2003-3
TFH Publications
64
USD 9.95
0.0
581
2519016
Monty Python's Spamalot 2005 Tony Award Winne...
2006-05-01
Hal Leonard Corporation
72
USD 14.95
0.0
580
2552663
The Ball Python (Herpetocultural Library)
2005-02
Advanced Vivarium Systems
76
USD 8.95
0.0
1378
26295288
Giant Constrictors Biological and Management P...
2014-3
CreateSpace Independent Publishing Platform
320
USD$17.99
0.0
1379 rows × 7 columns
In [10]:
douban_books['title'][:5]
Out[10]:
0 Python Visual QuickStart Guide
1 Python An Introduction to Programming
2 Python Crash Course - The Ultimate Beginner's ...
3 Python Visual QuickStart Guide
4 Python Data Analytics and Visualization
Name: title, dtype: object
In [11]:
douban_books.iloc[:5, 1:3]
Out[11]:
title
pubdate
0
Python Visual QuickStart Guide
2013-7-15
1
Python An Introduction to Programming
2016-11-30
2
Python Crash Course - The Ultimate Beginner's ...
2015-12-3
3
Python Visual QuickStart Guide
2013-7-1
4
Python Data Analytics and Visualization
2017-4-11
In [12]:
douban_books.loc[:5, ['title', 'rating']]
Out[12]:
title
rating
0
Python Visual QuickStart Guide
0.0
1
Python An Introduction to Programming
0.0
2
Python Crash Course - The Ultimate Beginner's ...
0.0
3
Python Visual QuickStart Guide
0.0
4
Python Data Analytics and Visualization
0.0
5
Python A Study of the Delphic Myth and Its Origin
0.0
In [13]:
douban_books[douban_books.rating > 5.0][:10]
Out[13]:
id
title
pubdate
publisher
pages
price
rating
6
3117898
Python源码剖析 深度探索动态语言核心技术
2008-6
电子工业出版社
480
69.80元
8.7
7
4866934
Python基础教程
2010年7月
人民邮电出版社
471
69.00元
7.9
8
25779298
利用Python进行数据分析
2013-11-18
机械工业出版社
464
89.00
8.5
9
3112503
Python核心编程（第二版）
2008-06
人民邮电出版社
654
89.00元
7.7
10
1440658
Dive Into Python
19 July, 2004
Apress
414
$39.99
8.2
11
3948354
Python学习手册 （第3版）
2009-8
机械工业出版社
656
89.00元
8.1
12
3884108
可爱的Python
2009-9
电子工业出版社
484
55.00元
7.4
13
26264642
笨办法学Python
2014-11-1
人民邮电出版社
249
CNY 49.00
8.0
14
5948760
A Byte of Python 简明 Python 教程
2008-10-1
Lulu Marketplace
149
USD 27.98
8.8
15
10561367
Head First Python（中文版）
2012-3-1
中国电力出版社
457
68.00元
7.9
In [14]:
douban_books[douban_books.publisher.isin(['电子工业出版社', '人民邮电出版社'])]
Out[14]:
id
title
pubdate
publisher
pages
price
rating
6
3117898
Python源码剖析 深度探索动态语言核心技术
2008-6
电子工业出版社
480
69.80元
8.7
7
4866934
Python基础教程
2010年7月
人民邮电出版社
471
69.00元
7.9
9
3112503
Python核心编程（第二版）
2008-06
人民邮电出版社
654
89.00元
7.7
12
3884108
可爱的Python
2009-9
电子工业出版社
484
55.00元
7.4
13
26264642
笨办法学Python
2014-11-1
人民邮电出版社
249
CNY 49.00
8.0
17
6025284
Python灰帽子 黑客与逆向工程师的Python编程之道
2011-3
电子工业出版社
216
39.00元
7.5
18
4828875
Python Cookbook （第2版）中文版
2010-5-1
人民邮电出版社
756
99.00元
8.6
19
26274202
Flask Web开发：基于Python的Web应用开发实战
2014-12
人民邮电出版社
224
59.00元
8.7
22
4212921
Python高级编程
2010-1
人民邮电出版社
306
45.00元
7.7
29
26829016
Python编程：从入门到实践 从入门到实践
2016-7-1
人民邮电出版社
459
CNY 89.00
8.8
30
26740503
Python网络数据采集
2016-3-1
人民邮电出版社
200
CNY 59.00
7.8
41
25728189
像计算机科学家一样思考Python
2013-8
人民邮电出版社
328
49
8.2
42
26852057
Python Web开发实战
2016-9-15
电子工业出版社
504
105
7.0
44
26919485
从Python开始学编程
2016-11-24
电子工业出版社
208
CNY 49.00
8.5
45
26836700
Python编程快速上手 让繁琐工作自动化
2016-7-1
人民邮电出版社
390
CNY 69.00
9.2
46
5401851
Python参考手册（第4版）
2010-12
人民邮电出版社
540
89.00元
7.5
53
26702570
python绝技：运用python成为顶级黑客 运用Python成为顶级黑客
2016-1
电子工业出版社
264
79.00元
6.8
56
26670241
Python金融大数据分析
2015-12
人民邮电出版社
511
CNY 99.00
8.4
58
26590145
python黑帽子 黑客与渗透测试编程之道
2015-8-1
电子工业出版社
205
55
7.7
64
26389274
Python高手之路
2015-5
人民邮电出版社
202
49.00元
7.7
67
20773481
真实世界的Python仪器监控 数据采集与控制系统自动化
2013-1
电子工业出版社
571
89.00元
7.5
72
25837145
趣学Python编程
2014-3
人民邮电出版社
268
45.00元
8.2
73
26675127
Python语言及其应用 Python语言及其应用
2015-12
人民邮电出版社
383
79.00元
8.5
76
2240226
征服Python 语言基础与典型应用
2007年9月
人民邮电出版社
471
59.0
6.4
79
26869992
用Python写网络爬虫
2016-8-1
人民邮电出版社
157
CNY 45.00
7.5
82
26381341
Python Cookbook 中文版，第 3 版
2015-5-1
人民邮电出版社
684
108.00元
8.9
85
25906843
Python计算机视觉编程
2014-6-10
人民邮电出版社
284
69.00
7.6
90
25773122
Python编程入门（第3版）
2013-11
人民邮电出版社
212
39.00
7.3
91
25916599
Python自然语言处理
2014-6-25
人民邮电出版社
508
89.00
6.7
93
25880219
Python开发实战
2014-6
人民邮电出版社
378
79.00元
6.6
...
...
...
...
...
...
...
...
1014
26368668
编程导论
2015-4
人民邮电出版社
284
59.00元
8.6
1017
26340992
贝叶斯思维 统计建模的Python学习法
2015-3
人民邮电出版社
200
49.00
7.4
1018
26005639
图灵程序设计丛书·父与子的编程之旅 与小卡特一起学Python
2014-10-1
人民邮电出版社
427
CNY 69.00
8.5
1021
26838547
深入理解 Flask 掌握用Python创建强大动态Web应用的技术
2016-7-1
电子工业出版社
256
79.00
8.3
1023
25716519
NumPy攻略 Python科学计算与数据分析
2013-10
人民邮电出版社
188
49.00
5.8
1024
26713240
Selenium 2自动化测试实战 基于Python语言
2016-1-1
电子工业出版社
324
CNY 59.00
7.5
1029
26859012
数据科学实战手册 数据科学实战手册（R+Python）
2016-8-1
人民邮电出版社
326
59.00元
0.0
1031
27008701
Web接口开发与自动化测试 基于Python语言
2017-4
电子工业出版社
288
59
5.8
1185
24703171
机器学习实战
2013-6
人民邮电出版社
332
69.00元
8.1
1186
5338024
与孩子一起学编程
2010-11
人民邮电出版社
388
65.00元
8.5
1191
1940567
大型多人在线游戏开发
2006-12
人民邮电出版社
386
59.00元
7.8
1201
26593179
Spark机器学习
2015-9-1
人民邮电出版社
224
CNY 59.00
7.5
1209
26348921
集体智慧编程
2015-3
电子工业出版社
356
79.00元
8.8
1210
26979890
算法图解
2017-3
人民邮电出版社
196
49.00元
7.6
1212
26652166
写给程序员的数据挖掘实践指南
2015-10-24
人民邮电出版社
400
59.00
8.0
1213
26374647
Open Stack设计与实现
2015-5
电子工业出版社
380
79.00元
8.0
1216
26741078
数据科学入门
2016-3
人民邮电出版社
304
69.00元
7.2
1225
26387975
命令行中的数据科学
2015-5
人民邮电出版社
188
49.00元
7.9
1226
26929874
贝叶斯方法 概率编程与贝叶斯推断
2017-1-1
人民邮电出版社
214
59元
0.0
1230
25929433
敏捷数据科学 用Hadoop创建数据分析应用
2014-7
电子工业出版社
184
49.00元
6.9
1231
26613247
零基础学Minecraft编程 零基础学Minecraft编程（图文版）
2015-9-7
人民邮电出版社
230
79
0.0
1232
26699570
奔跑吧Ansible
2016-1
电子工业出版社
318
79.00
7.4
1239
26593825
统计思维 程序员数学之概率统计（第2版）
2015-9
人民邮电出版社
204
49.00元
0.0
1240
26667987
机器学习算法原理与编程实践 算法原理与编程实践
2015-11
电子工业出版社
432
88.00
5.4
1245
26270372
寻路大数据 海量数据与大规模分析
2014-11
电子工业出版社
244
59.00
7.2
1249
26394556
Storm技术内幕与大数据实践
2015-5
人民邮电出版社
192
49
6.7
1256
26998034
全栈数据之门
2017-4
电子工业出版社
368
79
7.5
1261
20438801
云端代码 Google App Engine编程指南
2013-1
人民邮电出版社
215
45.00元
0.0
1263
1096066
Zope指南
2002-1
人民邮电出版社
308
35.00
0.0
1264
25839989
Hadoop实战手册
2014-3
人民邮电出版社
242
59.00元
0.0
127 rows × 7 columns
In [15]:
douban_books[douban_books.rating!=0]
Out[15]:
id
title
pubdate
publisher
pages
price
rating
6
3117898
Python源码剖析 深度探索动态语言核心技术
2008-6
电子工业出版社
480
69.80元
8.7
7
4866934
Python基础教程
2010年7月
人民邮电出版社
471
69.00元
7.9
8
25779298
利用Python进行数据分析
2013-11-18
机械工业出版社
464
89.00
8.5
9
3112503
Python核心编程（第二版）
2008-06
人民邮电出版社
654
89.00元
7.7
10
1440658
Dive Into Python
19 July, 2004
Apress
414
$39.99
8.2
11
3948354
Python学习手册 （第3版）
2009-8
机械工业出版社
656
89.00元
8.1
12
3884108
可爱的Python
2009-9
电子工业出版社
484
55.00元
7.4
13
26264642
笨办法学Python
2014-11-1
人民邮电出版社
249
CNY 49.00
8.0
14
5948760
A Byte of Python 简明 Python 教程
2008-10-1
Lulu Marketplace
149
USD 27.98
8.8
15
10561367
Head First Python（中文版）
2012-3-1
中国电力出版社
457
68.00元
7.9
16
7175280
Python科学计算
2012-1
清华大学出版社
621
98.00元
8.0
17
6025284
Python灰帽子 黑客与逆向工程师的Python编程之道
2011-3
电子工业出版社
216
39.00元
7.5
18
4828875
Python Cookbook （第2版）中文版
2010-5-1
人民邮电出版社
756
99.00元
8.6
19
26274202
Flask Web开发：基于Python的Web应用开发实战
2014-12
人民邮电出版社
224
59.00元
8.7
20
1239501
Python语言入门
2001-4
中国电力出版社
393
55.00元
7.4
21
6049132
Python学习手册（第4版）
2011-4
机械工业出版社
889
119.00元
7.8
22
4212921
Python高级编程
2010-1
人民邮电出版社
306
45.00元
7.7
23
1418172
Python Cookbook
2005-3-18
O'Reilly Media
848
USD 49.95
8.4
24
10760444
Python for Data Analysis Data Wrangling with P...
2012-11-1
O'Reilly Media
466
USD 39.99
8.2
25
25910544
编写高质量代码：改善Python程序的91个建议
2014-6
机械工业出版社
272
59.00元
7.6
26
5336893
Python自然语言处理
2010-6
东南大学出版社
479
64.00元
8.2
27
5363753
Learn Python The Hard Way, 1st Edition
2010
Lulu.com
163
$29.99
8.1
28
1915868
Python编程（第三版·英文影印版）
2006
东南大学出版社
1596
138.00元
8.3
29
26829016
Python编程：从入门到实践 从入门到实践
2016-7-1
人民邮电出版社
459
CNY 89.00
8.8
30
26740503
Python网络数据采集
2016-3-1
人民邮电出版社
200
CNY 59.00
7.8
31
3696989
Natural Language Processing with Python Analyz...
2009-7-10
O'Reilly Media
504
USD 44.99
8.2
32
11941213
Learn Python the Hard Way A Very Simple Introd...
2013-10-11
Addison-Wesley Professional
320
USD 39.99
8.4
33
26278021
Fluent Python
2015-8-20
O'Reilly Media
768
USD 39.99
9.5
34
10773324
Python标准库
2012-6-15
机械工业出版社华章公司
1040
139.00元
8.5
35
4031965
Python UNIX 和Linux 系统管理指南
2009-9
机械工业出版社
417
65.00元
7.6
...
...
...
...
...
...
...
...
1221
26840215
Hands-On Machine Learning with Scikit-Learn an...
2017-1-25
O'Reilly Media
450
USD 49.99
9.3
1222
26304113
Advanced Analytics with Spark Patterns for Lea...
2015-4-20
O'Reilly Media
276
USD 49.99
7.6
1223
25879705
机器学习实践指南 案例应用解析
2014-4-1
机械工业出版社
323
69.00
6.6
1224
3807431
Programming Google App Engine Build and Run Sc...
2009-11-30
O'Reilly Media
400
USD 44.99
8.1
1225
26387975
命令行中的数据科学
2015-5
人民邮电出版社
188
49.00元
7.9
1227
24246865
Two Scoops of Django Best Practices For Django...
2013-4-16
CreateSpace Independent Publishing Platform
306
USD 29.95
8.4
1228
24525190
Learning IPython for Interactive Computing and...
2013-4-25
Packt Publishing
138
USD 29.99
7.5
1229
3571979
Programming the Semantic Web
2009-7-24
O'Reilly Media, Inc.
302
USD 39.99
7.2
1230
25929433
敏捷数据科学 用Hadoop创建数据分析应用
2014-7
电子工业出版社
184
49.00元
6.9
1232
26699570
奔跑吧Ansible
2016-1
电子工业出版社
318
79.00
7.4
1233
26295827
Ansible Up and Running
2015-5-24
O'Reilly Media
200
CAD 41.99
7.5
1234
5988563
21 Recipes for Mining Twitter Distilling Rich ...
2011-3-17
O'Reilly Media
72
£17.24
7.6
1235
26578004
Two Scoops of Django Best Practices for Django...
2015-5-15
Two Scoops Press
532
USD 44.95
8.4
1236
26250831
Cython
2015-1-31
O'Reilly Media
254
USD 29.99
7.9
1237
4722716
软件开发成功路线图
2010-3
机械工业出版社
241
45.00元
7.6
1238
26281221
Mastering Machine Learning With scikit-learn
2014-10-29
Packt Publishing
238
USD 40.49
8.0
1240
26667987
机器学习算法原理与编程实践 算法原理与编程实践
2015-11
电子工业出版社
432
88.00
5.4
1242
26312249
大数据技术丛书 Storm分布式实时计算模式
2015-1-1
机械工业出版社
252
CNY 59.00
7.5
1243
26708820
Learning Scrapy
2016-1-30
Packt Publishing - ebooks Account
270
USD 34.99
7.3
1245
26270372
寻路大数据 海量数据与大规模分析
2014-11
电子工业出版社
244
59.00
7.2
1247
3142778
The Definitive Guide to Pylons
2008
Apress
536
USD 46.99
8.1
1248
3817202
Practical Django Projects, Second Edition
2009
Apress
272
44.99
7.8
1249
26394556
Storm技术内幕与大数据实践
2015-5
人民邮电出版社
192
49
6.7
1252
3033852
Essential SQLAlchemy
2008-06-05
O'Reilly Media, Inc.
216
USD 34.99
7.2
1254
19986436
虚拟化技术原理与实现 虚拟化技术原理与实现
2012-10
285
59.00元
6.6
1256
26998034
全栈数据之门
2017-4
电子工业出版社
368
79
7.5
1262
26269829
MongoDB大数据处理权威指南（第2版）
2015-1-1
清华大学出版社
284
49.80元
6.7
1278
5904105
wxPython 2.8 Application Development Cookbook ...
308
7.2
1284
26679450
django by examples
2015-11-1
Packt Publishing - ebooks Account
361
USD 45
8.4
1285
3644995
Django 1.0 Website Development
2009-03-10
Packt Publishing
272
USD 39.99
7.7
265 rows × 7 columns
In [16]:
douban_books.mean()
Out[16]:
id 1.669104e+07
rating 1.487020e+00
dtype: float64
In [17]:
# 使用html形式爬取数据
from bs4 import BeautifulSoup as bs
import re
url = 'https://book.douban.com/subject/'
for html in (url + str(book_id) for book_id in douban_books.loc[1:3, 'id']):
res = requests.get(html)
#print(html)
soup = bs(res.text, 'lxml')
#title = soup.find('h1 > span')[0].text
# print(title)
In [21]:
res = requests.get('https://book.douban.com/subject/26917066')
soup = bs(res.text, 'lxml')
title = soup.select('h1 > span')[0].text
info = soup.select('div #info')[0]
regex = re.compile(r'副标题:</span>([^<]*)<br')
sub = regex.search(str(info)).groups()[0]
press = re.search(r'出版社:</span>([^<]*)<br', str(info)).groups()[0]
Out[21]:
' Mercury Learning & Information'
In [ ]:
Content source: bobobo80/python-crawler-test
Similar notebooks: