In [8]:

    

from selenium import webdriver
from bs4 import BeautifulSoup
import time


    

In [11]:

    

driver = webdriver.PhantomJS(executable_path='/usr/bin/phantomjs')
driver.get("http://pythonscraping.com/pages/javascript/ajaxDemo.html")
time.sleep(3)
bs_page = BeautifulSoup(driver.page_source, 'lxml')
print(bs_page.find(id='content').get_text())
driver.close()


    

    




This is some content that will appear on the page while it's loading. You don't care about scraping this.

In [13]:

    

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.PhantomJS(executable_path='/usr/bin/phantomjs')
driver.get("http://pythonscraping.com/pages/javascript/ajaxDemo.html")
try:
    element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "loadedButton")))
finally:
    print(driver.find_element_by_id('content').text)
    driver.close()


    

    




Here is some important text you want to retrieve!
A button to click!

In [19]:

    

# jd page
driver = webdriver.PhantomJS(executable_path='/usr/bin/phantomjs')
driver.get("https://list.jd.com/list.html?cat=9987,653,655")
time.sleep(1)
bs_page = BeautifulSoup(driver.page_source, 'lxml')
items = bs_page.findAll('li', {'class': 'gl-item'})
# print(driver.find_element_by_class_name('p-price').text)
driver.close()
# loop all items
for item in items:
    item_name = item.find('div', {'class': 'p-name'}).find('em').get_text()
    item_price = item.find('div', {'class': 'p-price'}).find('i').get_text()
    item_url = item.find('div', {'class': 'p-name'}).find('a', {'target': '_blank'})
    print(item_name, ':', item_price, ':', item_url['href'])


    

    




小米 红米Note4X 全网通版 3GB+32GB 香槟金 移动联通电信4G手机 : 999.00 : //item.jd.com/3846673.html
小米 红米 4X 全网通版 2GB+16GB 香槟金 移动联通电信4G手机 : 699.00 : //item.jd.com/4510588.html
小米 红米 4A 全网通 2GB内存 16GB ROM 香槟金色 移动联通电信4G手机 双卡双待 : 599.00 : //item.jd.com/3553539.html
荣耀8青春版 全网通 标配版 3GB+32GB 流光金 : 1099.00 : //item.jd.com/3882469.html
金立S10C 暗夜黑 4GB+32GB版 移动联通电信4G手机 双卡双待 : 1599.00 : http://ccc-x.jd.com/dsp/nc?ext=aHR0cHM6Ly9pdGVtLmpkLmNvbS80MzczNzQzLmh0bWw&log=F9oCg7nqIf6kTjEodNyBxseIU-DFcbQZZJPRlJ38-hGnLVc64QhNg1VuSvO-V7_-vhp7YfukPhqe5Y7IyyGUj784oFq7sMXaXHG-aF8BYY4eADwwTfpiWFr_bVPu0jpUHIVPBrxW2O5i7olbcv0mDq9EBWuc2Z3PLewwxHU0skeKvTSyeZOMGM-kUJm9Ei_PbwSAT_4fIMQu-M2bXcVuBqq8i4JHVzm1vA1gQf0VymCwGAxtf-wpO9BhQ0hK98_u_DXG_p-tqFd_-mHM5mkqDQPSYYH0hcOuiYEQF01cWYYOsiTHJZBRF-SWhBqBBp1rZBfKUgKqZREiAo3n4QyUneUYy-jERRtOWNX4lg1hXiw&v=404
Apple iPhone 6 32GB 金色 移动联通电信4G手机 : 2499.00 : //item.jd.com/4586850.html
荣耀 畅玩6X 4GB 32GB 全网通4G手机 高配版 铂光金 : 1299.00 : //item.jd.com/3652063.html
小米6 全网通 6GB+128GB 陶瓷黑尊享版 移动联通电信4G手机 双卡双待 : 2999.00 : //item.jd.com/4099139.html
荣耀8 4GB+64GB 全网通4G手机 魅海蓝 : 2099.00 : //item.jd.com/2967929.html
华为 畅享6 金色 移动联通电信4G手机 双卡双待 : 899.00 : //item.jd.com/3888216.html
Apple iPhone 6s Plus (A1699) 32G 玫瑰金色 移动联通电信4G手机 : 3999.00 : //item.jd.com/3726830.html
魅族 魅蓝Note5 全网通公开版 3GB+32GB 月光银 移动联通电信4G手机 双卡双待 : 1099.00 : //item.jd.com/3728971.html
荣耀 V9 全网通 标配版 4GB+64GB 极光蓝 移动联通电信4G手机 双卡双待 : 2599.00 : //item.jd.com/4645296.html
OPPO R11 全网通4G+64G 双卡双待手机 红色 全网通(4G RAM+64G ROM)标配 : 3199.00 : http://ccc-x.jd.com/dsp/nc?ext=aHR0cHM6Ly9pdGVtLmpkLmNvbS8xMzQ0MDk4MzAyNC5odG1s&log=F9oCg7nqIf6kTjEodNyBxseIU-DFcbQZZJPRlJ38-hG4izyYczVXVMat-bXFocWDjXghR-981JRnF17AYcqQbp-rOMKAMUe2hGybJ4x_34tl1dclpzw65ABBAMq7oN-F3fitM3I515YjuMSF-ztqpXzN3Pv5WXjU5uIMzDjtQSFX6eXP_b0L1_UoWK4rmE8CB1dGs-PMSOQwmJ_MuIg6N_xdQWTWga26wbPHwQCizEi45mZHbWVlK1zmzXPnkfcO1bHosNvleSqGrx0LSG70z3HFeJUoo_gYOGBfR87B-JWZgu9U1ZQT261utXKpKgmZNxyo0OKEn4zfnb2l5xdnUZ3Q0xjHBjp1zt0hrOvGYBg&v=404
Apple iPhone 7 (A1660) 32G 黑色 移动联通电信4G手机 : 4999.00 : //item.jd.com/3133817.html
荣耀 畅玩6A 2GB+16GB 金色 全网通4G手机 双卡双待 : 799.00 : //item.jd.com/5143886.html
小米Max2 全网通 4GB+64GB 金色 移动联通电信4G手机 双卡双待 : 1699.00 : //item.jd.com/5159242.html
华为 Mate 9 4GB+32GB版 月光银 移动联通电信4G手机 双卡双待 : 3099.00 : //item.jd.com/3888280.html
荣耀 V8 4GB+32GB 铂光金 移动联通4G手机 双卡双待双通 : 1599.00 : //item.jd.com/3046724.html
华为 P9 全网通 3GB+32GB版 流光金 移动联通电信4G手机 双卡双待 : 2488.00 : //item.jd.com/2600210.html
小米5s 全网通 高配版 3GB内存 64GB ROM 哑光金 移动联通电信4G手机 : 1999.00 : //item.jd.com/3701781.html
小米5s Plus 电信定制全网通版 标准版 4GB内存 64GB ROM 拉丝金色 移动联通电信4G手机 : 2299.00 : //item.jd.com/4425839.html
vivo X9s Plus 全网通 4GB+64GB 移动联通电信4G手机 双卡双待 金色 : 2998.00 : http://ccc-x.jd.com/dsp/nc?ext=aHR0cHM6Ly9pdGVtLmpkLmNvbS8xMzM2NjQ4ODk3Mi5odG1s&log=F9oCg7nqIf6kTjEodNyBxseIU-DFcbQZZJPRlJ38-hG1PV2-KuIfJ9Fi99FAXpri0Ic6O92CvEiY2Q7KeTBEe6XBtJ4cEZJiXrpc5-dkm0-EDxneGEP5IxQ8rkYKNjEJDBcnk0CzsPqegZz3XXg8yJ4Qpq_ag8yyvw8-oopjv6Th69cjotJ4cybKwBv5qciTZrjDF6_zohN-w0GkIr0VSc2L6SAekQvtZhybZ2VNzdJ2Bcn1Ite-Ssy0EX64hcVCNRsyLwKbEyBvMDS2CPxRhAUK0ngz4yW_7xfPsp5GANDJ7CF9VKYSOZWhL0dC2pe7Ss2IFXIGKUnI0A4sOjbfvyyN6tT83Q7m7CjtW-vOkXQ&v=404
OPPO R11 全网通4G+64G  双卡双待手机 玫瑰金色 : 2999.00 : //item.jd.com/5188000.html
华为 HUAWEI P10 全网通 4GB+64GB 曜石黑 移动联通电信4G手机 双卡双待 : 3788.00 : //item.jd.com/4483094.html
一加手机5 (A5000) 6GB+64GB 月岩灰 全网通 双卡双待 移动联通电信4G手机 : 2999.00 : //item.jd.com/4345173.html
华为 麦芒5 全网通 4GB+64GB版 香槟金 移动联通电信4G手机 双卡双待 : 2299.00 : //item.jd.com/3234250.html
华为畅享7 2GB+16GB 香槟金 移动联通电信4G手机 双卡双待 : 899.00 : //item.jd.com/4154611.html
小米Note2 全网通 标准版 4GB内存 64GB ROM 亮黑色 移动联通电信4G手机 : 2799.00 : //item.jd.com/3984684.html
【简约套装版】魅族 魅蓝5 全网通公开版 2GB+16GB 香槟金 移动联通电信4G手机 双卡双待 : 788.00 : //item.jd.com/4094700.html
小米 红米Note4 全网通版 3GB+32GB 金色 移动联通电信4G手机 : 1099.00 : //item.jd.com/3553571.html
小辣椒 红辣椒Q5+  全网通4G手机 双卡双待 黑色 : 399.00 : http://ccc-x.jd.com/dsp/nc?ext=aHR0cHM6Ly9pdGVtLmpkLmNvbS8xMzY3MDk0MTI4OS5odG1s&log=F9oCg7nqIf6kTjEodNyBxseIU-DFcbQZZJPRlJ38-hG9EAknyh9t8Dkcb-1W6NcK5tAmrzlP-yG6g34DDY3LyDTioZFQxDdW7WWSq3yTI6s62ExcwgbLegeNEWJqqemq9jMSpkx13O2-Xae01ZDkFLZq8D7cU7xgMsD6tH1NEU-jaqckzvsEb2jRKHiZzVJcagbW9BJnJrnaT9ZtIEfr51m1N6aTHTZ_-aqb7kVeJC3yWiNQU9Yl3Gs-yTQY_j8MByTHw-iewE1Nq_HSz3c596NyAvIFOegRS3_gmtM8UWA-Xf82RZGjd8eJxQlhtsQj6zfC8GBQTQe_1kruDNDgG3SuFMhxzss6OX4ZsL1hOOQ&v=404
Apple iPhone 5s (A1530) 16GB 金色 移动联通4G手机 : 1499.00 : //item.jd.com/1057746.html
小米MIX 全网通 尊享版 6GB内存 256GB ROM 陶瓷黑 移动联通电信4G手机 : 3999.00 : //item.jd.com/3984704.html
华为畅享7 Plus 4GB+64GB 香槟金 移动联通电信4G手机 双卡双待 : 1699.00 : //item.jd.com/4884236.html
荣耀 NOTE 8 4GB+64GB 全网通4G手机 铂光金 : 2499.00 : //item.jd.com/3367822.html
华为 G9 青春版 金色 移动联通电信4G手机 双卡双待  : 999.00 : //item.jd.com/2600248.html
小米 红米Note4X 全网通版 3GB+16GB 香槟金 移动联通电信4G手机 : 899.00 : //item.jd.com/5045080.html
三星 Galaxy S7 edge（G9350）32GB 星钻黑 全网通4G手机 双卡双待 : 3899.00 : //item.jd.com/2385677.html
华为 HUAWEI P10 Plus 6GB+64GB 曜石黑 移动联通电信4G手机 双卡双待 : 4388.00 : //item.jd.com/4483072.html
vivo X9s 全网通 4GB+64GB 移动联通电信4G手机 双卡双待 金色 标准版 : 2698.00 : http://ccc-x.jd.com/dsp/nc?ext=aHR0cHM6Ly9pdGVtLmpkLmNvbS8xMzczMDEzNzkxMC5odG1s&log=F9oCg7nqIf6kTjEodNyBxseIU-DFcbQZZJPRlJ38-hF_fdxWJiJEzhxp61JP-T_JBwI5Vm1fMppJpFb2mFOcB-VRthvMMc0M4N3ln43hvY52cqKai3WR1YxiKh_nI9VO1uBwEyJtBWrij4fGL1gzAuJUEt_c_SjuF1pqJWnnywRrAG4o0hj_yUPbuI39cetYamUgmXc8lpU71mm-8pmECQxRgOcglVC6r7h7TiOU04z5HYmwn9twdds6iN9wCRJ-CvT2bouijkHPo6ExdbVmKpUbgR3MiBUI6L4EIll_A3T6yfjZAh12BnmFe0-sRpA2hljmSESuBqy4hYWYSlUcMBvt3cZY-6SpFmQSssdk3mU&v=404
荣耀 畅玩5X 暗夜灰 电信4G手机 双卡双待 : 899.00 : //item.jd.com/2321852.html
魅族 魅蓝X 3GB+32GB 全网通公开版 珠光白 移动联通电信4G手机 双卡双待 : 1699.00 : //item.jd.com/4112338.html
华为 畅享6S 金色 移动联通电信4G手机 双卡双待 : 1299.00 : //item.jd.com/4207732.html
华为 HUAWEI nova 4GB+64GB版 玫瑰金 移动联通电信4G手机 双卡双待 : 1599.00 : //item.jd.com/3355175.html
华为 HUAWEI nova 青春版 4GB+64GB 樱语粉 移动联通电信4G手机 双卡双待 : 1999.00 : //item.jd.com/3893501.html
Apple iPhone SE (A1723) 16G 金色 移动联通电信4G手机 : 2299.00 : //item.jd.com/1856651.html
诺基亚（NOKIA）105 （RM-1134） 黑色 移动联通2G手机 老人手机 : 149.00 : //item.jd.com/2122925.html
【移动购机专享】小米6 6GB+128GB 亮黑色 移动联通电信4G手机 双卡双待 : 3199.00 : //item.jd.com/4124981.html
詹姆士R19 plus 全网通4G 高端商务智能手机 双卡双待 6+128GB 蓝宝石屏幕 珍藏版 玫瑰金鳄鱼皮（可私人订制） : 14999.00 : http://ccc-x.jd.com/dsp/nc?ext=aHR0cDovL2l0ZW0uamQuY29tLzExMjc3ODA5MzYwLmh0bWw&log=F9oCg7nqIf6kTjEodNyBxseIU-DFcbQZZJPRlJ38-hEAemesvO-30qUHjFfOoN2pE8DoJitvS_SQ8KJOF1O5WkhIMqyZtID2RpOHqgjQdswlkoNBkr4F79iyk21WKcEVUZs9913Ih4iYybbHq7xYCF0ND9P9v7YnpWsIv7dTcohIjmVqNl9HrDJUGFKxRNLJJK5LEiQvw-MMq8LRBtmuirEfn3281tgF1Y6l6lDTYUmeJlYi4OtPTUyuxmbNkroZmeTosRqNJlwVPWW-VQi_cPCEnuLE82WTratjdbPFU9HmAuoTWgo3rHc58F3k4p1l2CXd41yuwQepkiClWmR94KyQjPuxb0jt7CeyZD8GIEw&v=404
vivo X9 全网通 4GB+64GB 移动联通电信4G手机 双卡双待 玫瑰金 : 2598.00 : //item.jd.com/10941037481.html
360手机 N5S 全网通 6GB+32GB 幻影黑 移动联通电信4G手机 双卡双待 : 1399.00 : //item.jd.com/4461939.html
华为 HUAWEI nova 2 4GB+64GB 玫瑰金 移动联通电信4G手机 双卡双待 : 2499.00 : //item.jd.com/5007538.html
锤子 坚果Pro 64GB 碳黑色 全网通 移动联通电信4G手机 双卡双待 : 1799.00 : //item.jd.com/3867555.html
魅族 魅蓝E2 3GB+32GB 全网通公开版 曜石黑 移动联通电信4G手机 双卡双待 : 1299.00 : //item.jd.com/5001130.html
三星 Galaxy A9（SM-A9100）魔幻金 全网通4G手机 双卡双待 : 2299.00 : //item.jd.com/2569127.html
华为 Mate 9 Pro 6GB+128GB版 银钻灰 移动联通电信4G手机 双卡双待 : 5299.00 : //item.jd.com/3749095.html
【简约套装版】魅族 魅蓝5s 全网通公开版 3GB+16GB 月光银 移动联通电信4G手机 双卡双待 : 888.00 : //item.jd.com/3901917.html
荣耀8青春版手机 幻海蓝 全网通(4+64G)顶配 : 1549.00 : //item.jd.com/11384983200.html
360手机 N5S 全网通 6GB+64GB 幻影黑 移动联通电信4G手机 双卡双待 : 1699.00 : //item.jd.com/5097448.html