In [12]:

    

import requests
import re
from bs4 import BeautifulSoup

base_url = 'http://www.66ip.cn/areaindex_1/'
ip_check = re.compile(r'^(?:\d{1,3}\.){3}\d{1,3}:\d{1,5}$')


html = BeautifulSoup(requests.get(base_url+'1.html').content, 'lxml')
try:
    ip_table = html.find('table', bordercolor='#6699ff')
except Exception as e:
    print(e)

ip_table


    

    
Out[12]:





<table border="2px" bordercolor="#6699ff" cellspacing="0px" width="100%">
<tr><td>ip</td><td>端口号</td><td>代理位置</td><td>代理类型</td><td>验证时间</td></tr>
<tr><td>111.155.116.196</td><td>8123</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日08时 验证</td></tr><tr><td>117.78.35.194</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日08时 验证</td></tr><tr><td>111.155.116.209</td><td>8123</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日07时 验证</td></tr><tr><td>222.128.189.115</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日07时 验证</td></tr><tr><td>120.132.71.212</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日06时 验证</td></tr><tr><td>111.155.116.235</td><td>8123</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日06时 验证</td></tr><tr><td>218.241.234.48</td><td>8080</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日05时 验证</td></tr><tr><td>111.13.7.123</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日05时 验证</td></tr><tr><td>111.13.7.123</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日04时 验证</td></tr><tr><td>219.141.189.236</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日04时 验证</td></tr><tr><td>211.159.171.58</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日03时 验证</td></tr><tr><td>219.235.251.15</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日03时 验证</td></tr><tr><td>111.155.116.237</td><td>8123</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日02时 验证</td></tr><tr><td>221.219.30.214</td><td>8118</td><td>北京市海淀区</td><td>高匿代理</td><td>2017年08月17日02时 验证</td></tr><tr><td>111.13.2.138</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日01时 验证</td></tr><tr><td>111.155.116.236</td><td>8123</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日01时 验证</td></tr><tr><td>111.155.116.207</td><td>8123</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日00时 验证</td></tr><tr><td>111.155.124.94</td><td>8123</td><td>北京市</td><td>高匿代理</td><td>2017年08月17日00时 验证</td></tr></table>

In [10]:

    

for ip_tr in ip_table.find_all('tr')[1:]:
    tds = ip_tr.find_all('td')
    print(tds[0].text, tds[1].text)


    

    




111.155.116.196 8123
117.78.35.194 3128
111.155.116.209 8123
222.128.189.115 3128
120.132.71.212 80
111.155.116.235 8123
218.241.234.48 8080
111.13.7.123 80
111.13.7.123 80
219.141.189.236 3128
211.159.171.58 80
219.235.251.15 3128
111.155.116.237 8123
221.219.30.214 8118
111.13.2.138 80
111.155.116.236 8123
111.155.116.207 8123
111.155.124.94 8123

In [25]:

    

import json

with open('proxies.json') as f:
    j = json.load(f)
   
import random
p = j[random.randrange(len(j))]
p


    

    
Out[25]:





{'http': 'http://111.13.7.122:80'}