用pandas做数据分析

关于数据分析

根据jetbrains公司2018年对python开发人员的调查, 从事数据分析的python使用者超过了 web开发和自动化测试.

在诸多数据科学的框架和库中,numpy pandas是最流行的

而numpy为pandas提供了基础的底层数据结构和处理函数, 用ndarray和ufunc解决了性能问题.

pandas的核心数据结构 Series 和 DataFrame

Series 是个定长的字典序列, 可以看成是只有一列的Excel, 或者数据库表里面的一行记录 Series有两个基本属性：index 和 values index如果不指定默认是[0,1,2,3...] 也可以自己指定索引 index=['a', 'b', 'c', 'd']



In [45]:

    
import pandas as pd
x1 = pd.Series([1,2,3,4])
x2 = pd.Series(data=[1,2,3,4], index=['a', 'b', 'c', 'd'])
print("x1".center(100,"*"))
print(x1)
print("x2".center(100,"*"))
print(x2)









    



*************************************************x1*************************************************
0    1
1    2
2    3
3    4
dtype: int64
*************************************************x2*************************************************
a    1
b    2
c    3
d    4
dtype: int64

但是这是根据list构建的, 如果我现在已经有的是一个dict, 不用转换,直接用dict构建



In [46]:

    
d = {'a':1, 'b':2, 'c':3, 'd':4}
x3 = pd.Series(d)
print(x3)









    



a    1
b    2
c    3
d    4
dtype: int64

Dataframe 则类似于excel里面的一张表,或者数据库的一张表. 可以看出是一组相同的index组成的Series组成的一个dict. 或者说一个多列的excel表



In [49]:

    
data = {'Chinese': [66, 95, 93, 90,80],'English': [65, 85, 92, 88, 90],'Math': [30, 98, 96, 77, 90]}
df1 = pd.DataFrame(data)
df2 = pd.DataFrame(data, 
                   index=['ZhangFei', 'GuanYu', 'ZhaoYun', 'HuangZhong', 'DianWei'], 
                   columns=['English', 'Math', "Chinese"])
print("df1".center(100,"*"))
print(df1)
print("df2".center(100,"*"))
print(df2)









    



************************************************df1*************************************************
   Chinese  English  Math
0       66       65    30
1       95       85    98
2       93       92    96
3       90       88    77
4       80       90    90
************************************************df2*************************************************
            English  Math  Chinese
ZhangFei         65    30       66
GuanYu           85    98       95
ZhaoYun          92    96       93
HuangZhong       88    77       90
DianWei          90    90       80

数据的导入和输出

pandas提供了非常简单的方式来读取excel csv 数据库 html pickle 甚至是剪贴板中的的数据成为pandas中的DataFrame类型, 也可以很方便的将DataFrame转换成dict list json 数据库甚至是html里面



In [50]:

    
print("列出当前路径".center(100,"*"))
!ls
print("用pandas读取csv".center(100,"*"))
df = pd.read_csv("肉类热量表.csv")
print(df)









    



***********************************************列出当前路径***********************************************
menzhen_jk.json                url黑白_from_s.csv
python lib.png                 用pandas做数据分析.ipynb
python what to do.png          肉类热量表.csv
url黑白.csv
********************************************用pandas读取csv********************************************
         食品           数量  热量(大卡)
0       瘦火腿    2 片 (60克)      70
1   烤猪扒(连肥)    1 件 (90克)     300
2   烤猪扒(去肥)    1 件 (60克)     135
3       煎猪扒  2 件 (100 克)     450
4   烧牛肉(薄瘦)   3 片 (90 克)     175
5       烤牛扒          1 件     155
6       午餐肉        1/4 罐     350
7    煎香肠(牛)          2 条     375
8    煎香肠(猪)          2 条     440
9     意大利香肠          2 片     150
10      热狗肠          1 条     150
11     德国香肠          2 条      90
12      蒸腊肠          2 条     310
13     莎乐美肠          4 片     195
14      烧鸡脾         1 只      215
15     白切鸡脾  1 只 (100 克)     200
16       烧鸭  1 份 (120 克)     356



In [51]:

    
df.to_excel("pandas导出的肉类热量表.xlsx")
!ls









    



menzhen_jk.json                     url黑白.csv
pandas导出的肉类热量表.xlsx         url黑白_from_s.csv
python lib.png                      用pandas做数据分析.ipynb
python what to do.png               肉类热量表.csv



In [53]:

    
# 为了保证程序能像预料中那样再次运行, 删除掉生成的excel
!rm pandas导出的肉类热量表.xlsx
!ls
df









    



rm: pandas导出的肉类热量表.xlsx: No such file or directory
menzhen_jk.json                url黑白_from_s.csv
python lib.png                 用pandas做数据分析.ipynb
python what to do.png          肉类热量表.csv
url黑白.csv






    Out[53]:







  
    
      
      食品
      数量
      热量(大卡)
    
  
  
    
      0
      瘦火腿
      2 片 (60克)
      70
    
    
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
    
    
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
    
    
      3
      煎猪扒
      2 件 (100 克)
      450
    
    
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
    
    
      5
      烤牛扒
      1 件
      155
    
    
      6
      午餐肉
      1/4 罐
      350
    
    
      7
      煎香肠(牛)
      2 条
      375
    
    
      8
      煎香肠(猪)
      2 条
      440
    
    
      9
      意大利香肠
      2 片
      150
    
    
      10
      热狗肠
      1 条
      150
    
    
      11
      德国香肠
      2 条
      90
    
    
      12
      蒸腊肠
      2 条
      310
    
    
      13
      莎乐美肠
      4 片
      195
    
    
      14
      烧鸡脾
      1 只
      215
    
    
      15
      白切鸡脾
      1 只 (100 克)
      200
    
    
      16
      烧鸭
      1 份 (120 克)
      356

数据清洗

比方说有以下场景

删除不必要的行 pandas提供了一个drop方法



In [54]:

    
df["测试"] = "啦啦啦"
df.loc["冰淇淋"] = "乱入"
df









    Out[54]:







  
    
      
      食品
      数量
      热量(大卡)
      测试
    
  
  
    
      0
      瘦火腿
      2 片 (60克)
      70
      啦啦啦
    
    
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
      啦啦啦
    
    
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
      啦啦啦
    
    
      3
      煎猪扒
      2 件 (100 克)
      450
      啦啦啦
    
    
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
      啦啦啦
    
    
      5
      烤牛扒
      1 件
      155
      啦啦啦
    
    
      6
      午餐肉
      1/4 罐
      350
      啦啦啦
    
    
      7
      煎香肠(牛)
      2 条
      375
      啦啦啦
    
    
      8
      煎香肠(猪)
      2 条
      440
      啦啦啦
    
    
      9
      意大利香肠
      2 片
      150
      啦啦啦
    
    
      10
      热狗肠
      1 条
      150
      啦啦啦
    
    
      11
      德国香肠
      2 条
      90
      啦啦啦
    
    
      12
      蒸腊肠
      2 条
      310
      啦啦啦
    
    
      13
      莎乐美肠
      4 片
      195
      啦啦啦
    
    
      14
      烧鸡脾
      1 只
      215
      啦啦啦
    
    
      15
      白切鸡脾
      1 只 (100 克)
      200
      啦啦啦
    
    
      16
      烧鸭
      1 份 (120 克)
      356
      啦啦啦
    
    
      冰淇淋
      乱入
      乱入
      乱入
      乱入



In [55]:

    
df.drop(index=["冰淇淋"], inplace=True)
print("删除index".center(100,"*"))
print(df)
df.drop(columns=["测试"], inplace=True)
print("删除columns".center(100,"*"))
print(df)









    



**********************************************删除index***********************************************
         食品           数量 热量(大卡)   测试
0       瘦火腿    2 片 (60克)     70  啦啦啦
1   烤猪扒(连肥)    1 件 (90克)    300  啦啦啦
2   烤猪扒(去肥)    1 件 (60克)    135  啦啦啦
3       煎猪扒  2 件 (100 克)    450  啦啦啦
4   烧牛肉(薄瘦)   3 片 (90 克)    175  啦啦啦
5       烤牛扒          1 件    155  啦啦啦
6       午餐肉        1/4 罐    350  啦啦啦
7    煎香肠(牛)          2 条    375  啦啦啦
8    煎香肠(猪)          2 条    440  啦啦啦
9     意大利香肠          2 片    150  啦啦啦
10      热狗肠          1 条    150  啦啦啦
11     德国香肠          2 条     90  啦啦啦
12      蒸腊肠          2 条    310  啦啦啦
13     莎乐美肠          4 片    195  啦啦啦
14      烧鸡脾         1 只     215  啦啦啦
15     白切鸡脾  1 只 (100 克)    200  啦啦啦
16       烧鸭  1 份 (120 克)    356  啦啦啦
*********************************************删除columns**********************************************
         食品           数量 热量(大卡)
0       瘦火腿    2 片 (60克)     70
1   烤猪扒(连肥)    1 件 (90克)    300
2   烤猪扒(去肥)    1 件 (60克)    135
3       煎猪扒  2 件 (100 克)    450
4   烧牛肉(薄瘦)   3 片 (90 克)    175
5       烤牛扒          1 件    155
6       午餐肉        1/4 罐    350
7    煎香肠(牛)          2 条    375
8    煎香肠(猪)          2 条    440
9     意大利香肠          2 片    150
10      热狗肠          1 条    150
11     德国香肠          2 条     90
12      蒸腊肠          2 条    310
13     莎乐美肠          4 片    195
14      烧鸡脾         1 只     215
15     白切鸡脾  1 只 (100 克)    200
16       烧鸭  1 份 (120 克)    356

对列名或者行名进行重命名操作, pandas提供了rename方法



In [56]:

    
df.rename(columns={"食品":"食品名称","数量":"计量单位"},inplace=True)
df









    Out[56]:







  
    
      
      食品名称
      计量单位
      热量(大卡)
    
  
  
    
      0
      瘦火腿
      2 片 (60克)
      70
    
    
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
    
    
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
    
    
      3
      煎猪扒
      2 件 (100 克)
      450
    
    
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
    
    
      5
      烤牛扒
      1 件
      155
    
    
      6
      午餐肉
      1/4 罐
      350
    
    
      7
      煎香肠(牛)
      2 条
      375
    
    
      8
      煎香肠(猪)
      2 条
      440
    
    
      9
      意大利香肠
      2 片
      150
    
    
      10
      热狗肠
      1 条
      150
    
    
      11
      德国香肠
      2 条
      90
    
    
      12
      蒸腊肠
      2 条
      310
    
    
      13
      莎乐美肠
      4 片
      195
    
    
      14
      烧鸡脾
      1 只
      215
    
    
      15
      白切鸡脾
      1 只 (100 克)
      200
    
    
      16
      烧鸭
      1 份 (120 克)
      356

有时候数据可能有重复的值, 可以使用drop_duplicates方法来去除



In [57]:

    
df.loc[17] = ["烧鸭","1 份 (120 克)",356]
df









    Out[57]:







  
    
      
      食品名称
      计量单位
      热量(大卡)
    
  
  
    
      0
      瘦火腿
      2 片 (60克)
      70
    
    
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
    
    
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
    
    
      3
      煎猪扒
      2 件 (100 克)
      450
    
    
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
    
    
      5
      烤牛扒
      1 件
      155
    
    
      6
      午餐肉
      1/4 罐
      350
    
    
      7
      煎香肠(牛)
      2 条
      375
    
    
      8
      煎香肠(猪)
      2 条
      440
    
    
      9
      意大利香肠
      2 片
      150
    
    
      10
      热狗肠
      1 条
      150
    
    
      11
      德国香肠
      2 条
      90
    
    
      12
      蒸腊肠
      2 条
      310
    
    
      13
      莎乐美肠
      4 片
      195
    
    
      14
      烧鸡脾
      1 只
      215
    
    
      15
      白切鸡脾
      1 只 (100 克)
      200
    
    
      16
      烧鸭
      1 份 (120 克)
      356
    
    
      17
      烧鸭
      1 份 (120 克)
      356



In [58]:

    
df.drop_duplicates(subset="食品名称",inplace=True)
df









    Out[58]:







  
    
      
      食品名称
      计量单位
      热量(大卡)
    
  
  
    
      0
      瘦火腿
      2 片 (60克)
      70
    
    
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
    
    
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
    
    
      3
      煎猪扒
      2 件 (100 克)
      450
    
    
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
    
    
      5
      烤牛扒
      1 件
      155
    
    
      6
      午餐肉
      1/4 罐
      350
    
    
      7
      煎香肠(牛)
      2 条
      375
    
    
      8
      煎香肠(猪)
      2 条
      440
    
    
      9
      意大利香肠
      2 片
      150
    
    
      10
      热狗肠
      1 条
      150
    
    
      11
      德国香肠
      2 条
      90
    
    
      12
      蒸腊肠
      2 条
      310
    
    
      13
      莎乐美肠
      4 片
      195
    
    
      14
      烧鸡脾
      1 只
      215
    
    
      15
      白切鸡脾
      1 只 (100 克)
      200
    
    
      16
      烧鸭
      1 份 (120 克)
      356

排序可以用sort_values



In [59]:

    
df.sort_values("热量(大卡)", inplace=True, ascending=False)
df









    Out[59]:







  
    
      
      食品名称
      计量单位
      热量(大卡)
    
  
  
    
      3
      煎猪扒
      2 件 (100 克)
      450
    
    
      8
      煎香肠(猪)
      2 条
      440
    
    
      7
      煎香肠(牛)
      2 条
      375
    
    
      16
      烧鸭
      1 份 (120 克)
      356
    
    
      6
      午餐肉
      1/4 罐
      350
    
    
      12
      蒸腊肠
      2 条
      310
    
    
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
    
    
      14
      烧鸡脾
      1 只
      215
    
    
      15
      白切鸡脾
      1 只 (100 克)
      200
    
    
      13
      莎乐美肠
      4 片
      195
    
    
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
    
    
      5
      烤牛扒
      1 件
      155
    
    
      9
      意大利香肠
      2 片
      150
    
    
      10
      热狗肠
      1 条
      150
    
    
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
    
    
      11
      德国香肠
      2 条
      90
    
    
      0
      瘦火腿
      2 片 (60克)
      70

做数据清洗的时候,可能由于是爬回来的数据, 数据不完整,有空的情况



In [61]:

    
import numpy as np
df.loc[15,"计量单位"] = np.nan
df.isnull()
df









    Out[61]:







  
    
      
      食品名称
      计量单位
      热量(大卡)
    
  
  
    
      3
      煎猪扒
      2 件 (100 克)
      450
    
    
      8
      煎香肠(猪)
      2 条
      440
    
    
      7
      煎香肠(牛)
      2 条
      375
    
    
      16
      烧鸭
      1 份 (120 克)
      356
    
    
      6
      午餐肉
      1/4 罐
      350
    
    
      12
      蒸腊肠
      2 条
      310
    
    
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
    
    
      14
      烧鸡脾
      1 只
      215
    
    
      15
      白切鸡脾
      NaN
      200
    
    
      13
      莎乐美肠
      4 片
      195
    
    
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
    
    
      5
      烤牛扒
      1 件
      155
    
    
      9
      意大利香肠
      2 片
      150
    
    
      10
      热狗肠
      1 条
      150
    
    
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
    
    
      11
      德国香肠
      2 条
      90
    
    
      0
      瘦火腿
      2 片 (60克)
      70



In [62]:

    
df = df.reset_index()
df









    Out[62]:







  
    
      
      index
      食品名称
      计量单位
      热量(大卡)
    
  
  
    
      0
      3
      煎猪扒
      2 件 (100 克)
      450
    
    
      1
      8
      煎香肠(猪)
      2 条
      440
    
    
      2
      7
      煎香肠(牛)
      2 条
      375
    
    
      3
      16
      烧鸭
      1 份 (120 克)
      356
    
    
      4
      6
      午餐肉
      1/4 罐
      350
    
    
      5
      12
      蒸腊肠
      2 条
      310
    
    
      6
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
    
    
      7
      14
      烧鸡脾
      1 只
      215
    
    
      8
      15
      白切鸡脾
      NaN
      200
    
    
      9
      13
      莎乐美肠
      4 片
      195
    
    
      10
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
    
    
      11
      5
      烤牛扒
      1 件
      155
    
    
      12
      9
      意大利香肠
      2 片
      150
    
    
      13
      10
      热狗肠
      1 条
      150
    
    
      14
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
    
    
      15
      11
      德国香肠
      2 条
      90
    
    
      16
      0
      瘦火腿
      2 片 (60克)
      70

做数据清洗的时候, 有时候可能想根据原有的列,做计算, 然后增加新列. 我们模拟一下场景



In [63]:

    
size = np.random.randint(1,20,size=17)
df["份数"] = size
df









    Out[63]:







  
    
      
      index
      食品名称
      计量单位
      热量(大卡)
      份数
    
  
  
    
      0
      3
      煎猪扒
      2 件 (100 克)
      450
      11
    
    
      1
      8
      煎香肠(猪)
      2 条
      440
      13
    
    
      2
      7
      煎香肠(牛)
      2 条
      375
      2
    
    
      3
      16
      烧鸭
      1 份 (120 克)
      356
      18
    
    
      4
      6
      午餐肉
      1/4 罐
      350
      17
    
    
      5
      12
      蒸腊肠
      2 条
      310
      9
    
    
      6
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
      15
    
    
      7
      14
      烧鸡脾
      1 只
      215
      6
    
    
      8
      15
      白切鸡脾
      NaN
      200
      2
    
    
      9
      13
      莎乐美肠
      4 片
      195
      14
    
    
      10
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
      18
    
    
      11
      5
      烤牛扒
      1 件
      155
      15
    
    
      12
      9
      意大利香肠
      2 片
      150
      1
    
    
      13
      10
      热狗肠
      1 条
      150
      2
    
    
      14
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
      9
    
    
      15
      11
      德国香肠
      2 条
      90
      17
    
    
      16
      0
      瘦火腿
      2 片 (60克)
      70
      9

我们希望计算出一列总热量来



In [64]:

    
df["总热量"] = df["热量(大卡)"] * df["份数"]
df









    Out[64]:







  
    
      
      index
      食品名称
      计量单位
      热量(大卡)
      份数
      总热量
    
  
  
    
      0
      3
      煎猪扒
      2 件 (100 克)
      450
      11
      4950
    
    
      1
      8
      煎香肠(猪)
      2 条
      440
      13
      5720
    
    
      2
      7
      煎香肠(牛)
      2 条
      375
      2
      750
    
    
      3
      16
      烧鸭
      1 份 (120 克)
      356
      18
      6408
    
    
      4
      6
      午餐肉
      1/4 罐
      350
      17
      5950
    
    
      5
      12
      蒸腊肠
      2 条
      310
      9
      2790
    
    
      6
      1
      烤猪扒(连肥)
      1 件 (90克)
      300
      15
      4500
    
    
      7
      14
      烧鸡脾
      1 只
      215
      6
      1290
    
    
      8
      15
      白切鸡脾
      NaN
      200
      2
      400
    
    
      9
      13
      莎乐美肠
      4 片
      195
      14
      2730
    
    
      10
      4
      烧牛肉(薄瘦)
      3 片 (90 克)
      175
      18
      3150
    
    
      11
      5
      烤牛扒
      1 件
      155
      15
      2325
    
    
      12
      9
      意大利香肠
      2 片
      150
      1
      150
    
    
      13
      10
      热狗肠
      1 条
      150
      2
      300
    
    
      14
      2
      烤猪扒(去肥)
      1 件 (60克)
      135
      9
      1215
    
    
      15
      11
      德国香肠
      2 条
      90
      17
      1530
    
    
      16
      0
      瘦火腿
      2 片 (60克)
      70
      9
      630

数据统计

pandas 带了好多数据统计函数, 如果是不能执行的,比如算平均数不是数字的行会自动忽略



In [66]:

    
print("count".center(100, "*"))
print(df.count())
print("min".center(100, "*"))
print(df.min())
print("sum".center(100, "*"))
print(df.sum())
print("describe".center(100, "*"))
print(df.describe())
print(df["热量(大卡)"].min())









    



***********************************************count************************************************
index     17
食品名称      17
计量单位      16
热量(大卡)    17
份数        17
总热量       17
dtype: int64
************************************************min*************************************************
index       0
食品名称      午餐肉
热量(大卡)     70
份数          1
总热量       150
dtype: object
************************************************sum*************************************************
index                                                   136
食品名称      煎猪扒煎香肠(猪)煎香肠(牛)烧鸭午餐肉蒸腊肠烤猪扒(连肥)烧鸡脾白切鸡脾莎乐美肠烧牛肉(薄...
热量(大卡)                                                 4116
份数                                                      178
总热量                                                   44788
dtype: object
**********************************************describe**********************************************
           index         份数
count  17.000000  17.000000
mean    8.000000  10.470588
std     5.049752   6.073690
min     0.000000   1.000000
25%     4.000000   6.000000
50%     8.000000  11.000000
75%    12.000000  15.000000
max    16.000000  18.000000
70

数据表合并

DataFrame就类似于数据库的表, 有时候希望做一些join操作



In [67]:

    
df1 = pd.DataFrame({'name':['ZhangFei', 'GuanYu', 'a', 'b', 'c'], 'data1':range(5)})
df2 = pd.DataFrame({'name':['ZhangFei', 'GuanYu', 'A', 'B', 'C'], 'data2':range(5)})
print("df1".center(100, "*"))
print(df1)
print("df2".center(100, "*"))
print(df2)









    



************************************************df1*************************************************
       name  data1
0  ZhangFei      0
1    GuanYu      1
2         a      2
3         b      3
4         c      4
************************************************df2*************************************************
       name  data2
0  ZhangFei      0
1    GuanYu      1
2         A      2
3         B      3
4         C      4

针对指定列进行连接



In [68]:

    
df3 = pd.merge(df1, df2, on='name')
df3

内连接, 左连接, 右连接 , 内连接



In [69]:

    
print("inner".center(100,"*"))
df3 = pd.merge(df1, df2, how='inner')
print(df3)
print("left".center(100,"*"))
df3 = pd.merge(df1, df2, how='left')
print(df3)
print("right".center(100,"*"))
df3 = pd.merge(df1, df2, how='right')
print(df3)
print("outer".center(100,"*"))
df3 = pd.merge(df1, df2, how='outer')
print(df3)









    



***********************************************inner************************************************
       name  data1  data2
0  ZhangFei      0      0
1    GuanYu      1      1
************************************************left************************************************
       name  data1  data2
0  ZhangFei      0    0.0
1    GuanYu      1    1.0
2         a      2    NaN
3         b      3    NaN
4         c      4    NaN
***********************************************right************************************************
       name  data1  data2
0  ZhangFei    0.0      0
1    GuanYu    1.0      1
2         A    NaN      2
3         B    NaN      3
4         C    NaN      4
***********************************************outer************************************************
       name  data1  data2
0  ZhangFei    0.0    0.0
1    GuanYu    1.0    1.0
2         a    2.0    NaN
3         b    3.0    NaN
4         c    4.0    NaN
5         A    NaN    2.0
6         B    NaN    3.0
7         C    NaN    4.0

用sql操作pandas



In [70]:

    
import pandas as pd
from pandas import DataFrame
from pandasql import sqldf
df1 = DataFrame({'name':['ZhangFei', 'GuanYu', 'a', 'b', 'c'], 'data1':range(5)})
print("df1".center(100, "*"))
print(df1)
sql = "select * from df1 where name ='ZhangFei'"
print("执行sql".center(100, "*"))
print(sqldf(sql, globals()))









    



************************************************df1*************************************************
       name  data1
0  ZhangFei      0
1    GuanYu      1
2         a      2
3         b      3
4         c      4
***********************************************执行sql************************************************
       name  data1
0  ZhangFei      0

将json导入到mysql



In [23]:

    
df = pd.read_json("menzhen_jk.json")
df









    Out[23]:







  
    
      
      临床表现
      健康教育
      名称
      治疗原则
      疾病概述
      病因
    
  
  
    
      0
      临床表现1.一般特点男性多于女性,患者多伴有高血压、动脉粥样硬化、糖尿病、高血脂等。2.颈内...
      ###健康教育1.体息与活动指导急性期卧床休息,患者枕头不宜太高,以免影响头部的血液供应;仰...
      短暂性脑缺血发作
      治疗原则」1.病因治疗控制高血压、糖尿病、高脂血症。2.预防性药物治疗(1)抗血小板聚集药:...
      短暂性脑缺血发作疾病概述:短暂性脑缺血发作(TA)是由颅内动脉病变引起的一过性或短暂性、局灶...
      病因及多种途径有关。
    
    
      1
      临床表现本病好发于中老年人,多见于50~-60岁以上的动脉硬化者,男性稍多于女性。通常患者可...
      ###健康教育1.休息与活动指导急性期卧床休息,恢复期可适当活动,如慢跑、散步等。合理休息,...
      脑血栓形成
      治疗原则急性期尽早进行溶栓、调整血压、防治脑水肿、抗凝扩张脑血管,改善微循环和抗血小板聚集等...
      脑血栓形成疾病概述:脑血栓形成(CT)是脑血管疾病中最常见的一种疾病,是指颅内外供应脑组织的...
      病因。
    
    
      2
      临床表现起病突然,多在体力活动或情绪激动时发病,有头痛、头晕、呕吐、意识障碍、肢体瘫痪失语、...
      ###健康教育1.休息与活动指导急性期卧床休息2~4周,抬高床头15°~30°,以减轻脑水肿...
      脑出血
      治疗原则①保持安静,防止继续出血;②积极抗脑水肿,减低颇内压;③调整血压,改善循环;④加强护...
      脑出血疾病概述:脑出血是指原发性非外伤性脑实质内出血,也称自发性脑出血,占急性脑血管病的20...
      病因。其他还有先天性脑血管畸形、血液病、抗凝或溶栓治疗等。
    
    
      3
      临床表现运动神经元病由于累及上和(或)下运动神经元的不同,出现不同的临床类型。1.肌萎缩侧索...
      ###健康教育1.休息与活动指导运动神经元病患者劳累后加重,休息后减轻,因此要注意休息,避免...
      运动神经元病
      治疗原则运动神经元病包括病因治疗、对症治疗和各种非药物治疗。必须是多种方法的联合用。
      运动神经元病疾病概述:运动神经元病是一组病因未明的选择性侵犯脊髓前角细胞、脑干运动神经元、皮...
      病因】5%~10%的患者有遗传性,尚未发现确切的环境因素,可能与下列因素有关:中毒因素、免疫...
    
    
      4
      临床表现阿尔茨海默病通常是隐匿起病,病程为持续进行性,无缓解,停止进展的平稳期即使有也极罕见...
      ###健康教育1.休息与活动指导休息或进行户外活动,生活不能自理者要专人看护,切忌让老年人单...
      阿尔海默病
      治疗原则查清病因,及时治疗,愈早愈好。1.非药物治疗音乐治疗和群体治疗等。2.药物治疗①改善...
      阿尔海默病疾病概述:阿尔茨海默病是发生于老年和老年前期,以进行性认知功能障碍和行为损害为特征...
      病因阿尔茨海默病可分为家族性阿尔茨海默病和散发性阿尔茨海默病。家族性阿尔茨海默病呈常染色体显...
    
    
      5
      临床表现一般为急性起病,无季节性,无地区性,可见于任何年龄。病前有上呼吸道感染及肠道感染史,...
      ###健康教育1.休息与活动指导注意休息,适当运动,增强抵抗力,防止感冒。第二章神经內科疾病...
      病毒性脑炎
      治疗原则本病的治疗应包括抗病毒的病因治疗;针对高热、抽搐、精神错乱、颅内压增高等对症治疗及全...
      病毒性脑炎疾病概述:病毒性脑膜炎是一组由各种病毒感染引起的脑膜急性炎症性疾病,临床以发热、头...
      病因单纯疱疹病毒属DNA病毒。成人病例90%系由I型单纯疱疹病毒感染,以口、眼、脑的感染为主...
    
    
      6
      临床表现)常为急性或亚急性起病,慢性病程。早期表现为发热、头痛、呕吐和体重减轻,通常持续1~...
      ###健康教育1.休息与活动指导注意休息,适当运动,增强抵抗力,防止感冒2.饮食指导给予高蛋...
      结核性脑膜炎
      治疗原则是早期、合理、联合和系统的抗结核治疗
      结核性脑膜炎疾病概述:结核性脑膜炎是结核分枝杆菌引起的脑膜和脊膜非化脓性炎症性疾病。
      病因结核分枝杆菌感染经血播散后在软脑膜下种植,形成结核结节;结核结节破溃后大量结核分枝杆菌进...
    
    
      7
      临床表现本病起病隐袭,进展缓慢,早期有不规则的低热或间歇性头痛,后变为持续性并进行性加重;免...
      ###健康教育1.休息与活动指导早期卧床休息,床头抬高15°~30°,恢复期根据病情可适当下...
      新型隐球菌性脑膜炎
      治疗原则抗真菌治疗和对症、全身支持治疗
      新型隐球菌性脑膜炎疾病概述:新型隐球菌性脑膜炎是由新型隐球菌感染所引起的亚急性或慢性脑膜炎,...
      病因新型隐球菌在自然界分布广泛,为条件致病菌,当宿主免疫力低下时致病。新型隐球菌感染可单独发...
    
    
      8
      临床表现)典型的病程是缓解与复发交替发生,总趋势是病情逐步恶化。多在20~40岁发病,女性略...
      ###健康教育休息与活动指导发病期卧床休息恢复期鼓励做适当的体育锻炼,但不宜做剧烈运动2.饮...
      多发性硬化
      治疗原则1.急性活动期抑制其炎性脱髓鞘过程,遏制病情的发展。2.尽量预防能促使复发的外因,以...
      多发性硬化疾病概述:多发性硬化是以中枢神经系统白质炎性脱髓鞘病变为主要特点的自身免疫病。本病...
      病因不明,可能与遗传因素、所处的地理位置、病毒感染、自身免疫反应等有一定关系。
    
    
      9
      临床表现1.发病年龄以20-40岁最多,儿童和老年人发病少见,男女均可发病。2.双侧同时或相...
      ###健康教育休息与活动指导病情稳定后适当锻炼。避免受凉、疲劳等。2.饮食指导多吃富含维生素...
      视神经脊髓炎
      治疗原则首选甲泼尼龙大剂量冲击疗法,500-100mgd,静脉滴注,连用3~5天,再改为泼尼...
      视神经脊髓炎疾病概述:视神经脊髓炎是视神经与脊髓同时或相继受累的急性或亚急性脱髓鞘病变。其临...
      病因及发病机制尚不清楚。
    
    
      10
      临床表现起病隐袭,缓慢发展,逐渐加剧。主要症状有静止性震颤、肌张力高、运动迟缓等。初发症状以...
      ###健康教育休息与活动指导鼓励适当活动,避免过度劳累。生活不能自理者,由家属协助2.饮食指...
      帕金森病
      治疗原则目前仍以药物治疗为主,疾病早期无须特殊治疗。药物治疗应遵循的原则是:从小剂量开始,缓...
      帕金森病疾病概述:帕金森病又名震颤麻痹,是一种常见于中老年人的神经变性疾病,临床上以静止性震...
      病因迄今未明,故称原发性帕金森病。
    
    
      11
      临床表现本病多发生于5~15岁的儿童及少年,男女之比约为1:3,无季节、种族差异。病前有上呼...
      ###健康教育1.休息与活动指导绝对卧床休息,避免声、光及噪声的刺激。不自主运动基本消失、红...
      小舞蹈病
      治疗原则对症治疗、对因治疗、免疫治疗。
      小舞蹈病疾病概述:小舞蹈病又称 Sydenham舞蹈病、风湿性舞蹈病,是风湿热在神经系统的常...
      病因本病是由A组β链球菌感染引起的自身免疫反应所致。
    
    
      12
      临床表现70%~80%的病例发生在40岁以上,女性稍多于男性,多为一侧发病。临床特点:面部又...
      ###健康教育1.休息与活动指导保持良好的作息与睡眠,适当活动。2.饮食指导食物宜咀嚼,忌生...
      三叉神经痛
      治疗原则迅速有效止痛是治疗的关键,首选卡马西平,轻者亦可服用解热镇痛药。
      三叉神经痛疾病概述:叉神经痛是一种原因未明的三又神经分布区内闪电样反复发作的剧痛,又称原发性...
      病因不明,可能为三又神经脱髓鞘产生异位冲动或伪突触传递所致。继发性三又神经痛为脑桥小脑角占位...
    
    
      13
      临床表现】任何年龄均可发病,多见于20~40岁,男性多于女性。急性起病,数小时至数天达到高峰...
      ###健康教育1.休息与活动指导急性期注意休息,防风防寒,适当活动。2.饮食指导进食清淡饮食...
      特发性面神经麻痹
      治疗原则】改善局部血液循环,减轻面神经水肿,缓解神经受压,促进神经功能恢复。
      特发性面神经麻痹疾病概述:特发性面神经麻痹是由颈乳孔内面神经非特异性炎症所致的周围性面瘫,或...
      病因尚未明确。一般认为骨质内的面神经管刚能容纳面神经,各种原因如受寒、病毒感染和自主神经不稳...
    
    
      14
      临床表现为病变以下肢体瘫痪、感觉缺失和括约肌功能障碍。严重者出现脊髓休克,即横断面以下节段脊...
      ###健康教育1.休息与活动指导急性期卧床休息,加强皮肤护理,预防压疮、烫伤、冻伤。2.饮食...
      急性脊髓炎
      治疗原则减轻症状,防治并发症;加强功能训练,促进康复。
      急性脊髓炎疾病概述:急性脊髓炎是指各种感染后引起自身免疫反应所致的急性横贯性脊髓炎性病变,又...
      病因不明,多数为病毒感染或疫苗接种后引起的机体自身免疫反应。脊髓血管缺血或病毒感染后,免疫复...
    
    
      15
      临床表现多种多样,如上睑下垂、视物重影、四肢无力、吞咽困难,严重者可出现呼吸肌麻痹,但晨轻暮...
      ###健康教育1.体息与活动指导发作期卧床休息,恢复期按时作息,避免疲劳。2.饮食指导给予高...
      重症肌无力
      治疗原则1.药物治疗①抗胆碱酯酶药物:;②糖皮质激素;③免疫治疗;④大量免疫球蛋白的应用;⑤...
      重症肌无力疾病概述:重症肌无力是一种神经肌肉接头传递功能障碍的获得性自身免疫性疾病。主要由于...
      病因胸腺由于病毒感染或遗传因素的影响而发生了异常改变,10%~20%的患者伴胸腺瘤,70%~...
    
    
      16
      临床表现好发于青壮年,女性多见,常呈急性、亚急性起病。半数患者伴有皮肤改变,如红斑、水肿等,...
      ###健康教育1.休息与活动指导急性期卧床休息,并适当进行肢体被动运动,防止肌肉萎缩及关节僵...
      多发性肌炎
      治疗原则治疗以使用糖皮质激素为主。如果用激素无效,可用其他免疫抑制剂。个别进展迅速、影响呼吸...
      多发性肌炎疾病概述:多发性肌炎是一组多种病因引起的弥漫性骨骼肌炎症性疾病。
      病因有不少迹象表明,本病与自身免疫有关。【
    
    
      17
      临床表现1.假肥大型肌营养不良走路缓慢,脚尖着地,易摔跤。面肩肱型肌营养不良面部表情少,眼睑...
      ###健康教育1.休息与活动指导适当进行肢体被动运动,防止肌肉菱缩及关节强直,症状控制后适当...
      进行性肌营养不良
      治疗原则迄今无特异性治疗,只对症治疗及支持治疗,如加强营养,适当运动。
      进行性肌营养不良疾病概述:进行性肌营养不良是一组遗传性肌肉变性疾病,临床特征主要为缓慢进行性...
      病因主要是常染色体显性、隐性和X连锁隐性遗传。
    
    
      18
      临床表现任何年龄均可发病,以20~40岁男性多见,常见诱因有疲劳、饱餐、寒冷、酗酒、精神刺激...
      ###健康教育休息与活动指导急性期卧床休息,勿受凉和剧烈运动。2.饮食指导日常生活中应避免摄...
      四、周期性瘫痪
      治疗原则发作时给予10%氯化钾或10%枸櫞酸钾40~50ml顿服,24小时内再分次口服,一天...
      四、周期性瘫痪疾病概述:周期性瘫痪是一组反复发作的骨骼肌弛缓性瘫痪为特征的肌病,与钾代谢异常...
      病因低钾型周期性瘫痪为常染色体显性遗传疾病,其致病基因主要是位于1号染色体长臂能与骨骼肌细胞...
    
    
      19
      临床表现按照有关神经元的部位和放电扩散的范围,功能失常可能表现为运动、感觉、意识、行为、自主...
      ###健康教育1.休息与活动指导发作时和发作后卧床休息。发作间歇期适量活动,注意劳逸结合,保...
      癫痫
      治疗原则】1.预防措施预防各种已知的致病因素(如产伤和颅脑外伤)以及多种牵涉脑部感染性疾病(...
      癫痫疾病概述:癫痫是多种原因导致的脑部神经元高度同步化异常放电的临床综合征,临床表现具有发作...
      病因有两大类:一类为特发性癲痫,与遗传因素有密切关系;一类为症状性癫痫,由多种脑部病损和代谢...
    
    
      20
      临床表现1.稳定型心绞痛以发作性胸痛为主要表现。特点为(1)诱因:体力劳动、情绪激动、饱餐、...
      ###健康教育1.休息与活动指导缓解期患者一般不需要卧床休息,可适当活动。心绞痛发作时患者应...
      心绞痛
      治疗原则是避免诱发因素;改善冠状动脉的血供和降低心肌的耗氧,减轻症状和缺血发作;治疗动脉粥样...
      心绞痛疾病概述:心绞痛分为稳定型心绞痛和不稳定型心绞痛。稳定型心绞痛亦称稳定型劳力性心绞痛,...
      病因是冠状动脉粥样硬化。【病理生理1.稳定型心绞痛当冠状动脉粥样硬化致冠状动脉狭窄或部分分支...
    
    
      21
      临床表现1.发病前数日有乏力、胸部不适、活动时心悸、气急、烦躁及心绞痛等前驱症状。2.发病时...
      ###健康教育1.休息与活动指导发病12小时内应绝对卧床休息,保持环境安静,休息可以降低心肌...
      二、急性心肌梗死
      治疗原则是尽早使心肌血液再灌注,以挽救濒死的心肌,防止梗死面积扩大和缩小心肌缺血范围,保护和...
      二、急性心肌梗死疾病概述:在冠状动脉病变的基础上,发生冠状动脉血供急剧减少或中断,使相应心肌...
      病因是冠状动脉粥样硬化,偶为冠状动脉栓塞痉挛等所致。
    
    
      22
      临床表现突发严重呼吸困难,呼吸频率可达30-40次/分,端坐呼吸,频繁咳嗽,咳粉红色泡沫样痰...
      ###健康教育1.休息与活动指导协助患者取坐位,双腿下垂,以减少静脉回流,减轻心脏负荷。如果...
      急性心力衰竭
      治疗原则急性左心衰竭时的缺氧和严重呼吸困难是致命的威胁,必须尽快解决。患者取半卧位或端坐位,...
      急性心力衰竭疾病概述:急性心力衰竭是指心力衰竭的症状和体征急性发作或急性加重的一种临床综合征...
      病因使心输出量急剧降低和肺静脉压突然升高均可发生急性左心衰竭。1.急性心肌梗死和(或)损伤如...
    
    
      23
      临床表现1.左心衰竭以肺淤血和心输出量降低的表现为主。(1)程度不同的呼吸困难是左心衰竭的最...
      ###健康教育1.休息与活动指导(1)根据心功能情况合理安排休息及活动。根据心功能分级制订活...
      慢性心力衰竭
      治疗原则防止和延缓心力衰竭的发生,缓解临床心力衰竭患者的症状,提高运动耐量和生活质量,改善其...
      慢性心力衰竭疾病概述:慢性心力衰竭是大多数心血管疾病的最终归宿,也是最主要的死亡原因。在我国...
      病因】1.原发性心肌损害冠心病心肌缺血或心肌梗死是引起心力衰竭的最常见的原因之病毒性心肌炎、...
    
    
      24
      临床表现1.室性前收缩也称室性早搏,可见于正常人和心脏病患者、电解质素乱、洋地黄中毒等,表现...
      ###健康教育1.休息与活动指导保持良好的心情,改善生活方式,注意生活细节,促进身心健康。无...
      心律失常
      治疗原则】1.室性早搏治疗应首先了解早搏的类型、症状及原有心脏病变,然后根据情况予以治疗,常...
      心律失常疾病概述:心律失常是指心脏激动的起源、频率、节律、传导速度和传导顺序等异常。在多数情...
      病因各种器质性心脏病、自主神经功能失调、电解质紊乱和酸碱平衡失调、各种全身感染、中毒、缺血、...
    
    
      25
      临床表现1.二尖瓣狭窄正常二尖瓣口面积4-6cm2,瓣口面积1.5cm2以上为轻度狭窄,1-...
      ###健康教育休息与活动指导根据心功能情况,合理安排休息、活动及工作。轻者注意休息,劳逸结合...
      心脏瓣膜病
      治疗原则】1.内科治疗积极预防和治疗风湿活动,改善心功能,防治并发症,包括避免剧烈活动、积极...
      心脏瓣膜病疾病概述:心脏瓣膜病是由于炎症、黏液样变性、退行性改变、先天性畸形、缺血性坏死、创...
      病因风湿热是最常见的原因,风湿热是继发于链球菌感染后的异常免疫反应。约半数患者无急性风湿热史...
    
    
      26
      临床表现)根据起病病情进展的缓急及病程的长短,原发性高血压可分为缓进型(良性)和急进型(恶性...
      ###健康教育1.休息与活动指导保证合理的休息和睡眠,做到劳逸结合。轻度高血压可以参加正常的...
      原发性高血压
      治疗原则】治疗高血压的主要目的是最大限度地降低心血管疾病的发病和死亡危险。早期无并发症者可行...
      原发性高血压疾病概述:原发性高血压是一种原因不明,以血压增高为主要临床表现的综合征,通常简称...
      病因1.遗传因素原发性高血压有明显的家族聚集性。双亲均有高血压,子女的发病概率高达46%,约...
    
    
      27
      临床表现】起病缓慢,早期可无症状,患者多在临床症状明显时才就诊,如气急、水肿、肝大和端坐呼吸...
      ###健康教育1.休息与活动指导病情较重的心力衰竭患者以卧床体息为主,经药物治疗症状缓解后,...
      心肌病扩张型心肌病
      治疗原则无特异性治疗方法,治疗目标是控制充血性心力衰竭和心律失常,缓解心肌损害,延长寿命。
      心肌病扩张型心肌病疾病概述:扩张型心肌病主要特征以心腔扩张为主(一侧或双侧心腔扩大),室壁多...
      病因迄今不明,除特发性、家族遗传性以外,近年来认为与病毒感染、自身体液免疫反应有关。
    
    
      28
      临床表现部分患者可无自觉症状,因猝死或体检才被发现。许多患者有心悸、胸痛、劳力性呼吸困难。起...
      ###健康教育1.休息与活动指导病情较重的心力衰竭患者以卧床休息为主,经药物治疗症状缓解后可...
      肥厚型心肌病
      治疗原则延缓和逆转心肌肥厚,延长寿命。以β受体阻滞药及钙通道阻滞药最常用,以减慢心率降低心肌...
      肥厚型心肌病疾病概述:肥厚型心肌病是以心肌非对称性肥厚(左、右心室和室间隔增厚),心室腔变小...
      病因肥厚型心肌病常有明显家族史(约占13),目前认为是常染色体显性遗传病。
    
    
      29
      临床表现常取决于病变的广泛程度与部位。轻者无症状,重者可致猝死。多数患者在发病前有发热、全身...
      ###健康教育1.休息与活动指导无并发症者急性期应卧床休息、1个月,重症患者应卧床休息3个月...
      病毒性心肌炎
      治疗原则目前不主张早期使用糖皮质激素,房室传导阻滞、难治性心力衰竭、重症患者或考虑有自身免疫...
      病毒性心肌炎疾病概述:心肌炎指心肌本身的炎症病变,有局灶性或弥漫性,可分感染性和非感染性两大...
      病因几乎所有的人类病毒感染均可累及心脏,引起病毒性心肌炎。其中以肠道病毒包括柯萨奇A、B组病...
    
    
      ...
      ...
      ...
      ...
      ...
      ...
      ...
    
    
      378
      临床表现本病常表现为急性炎症过程,起病急,发展快,若不能及时有效控制感染,可导致感染扩散,引...
      ###健康教育1.疾病预防指导对于颌面部感染,应以预防为主:增强体质;治疗龋齿及牙周病,防止...
      颌面部感染
      治疗原则】口腔颌面部的治疗主要包括局部和全身两个方面1.局部治疗保持局部清洁,减少局部活动度...
      颌面部感染疾病概述:口腔颌面部感染以牙源性感染为最多见,正常时颌面部即有大量的微生物存在,在...
      病因】感染可以由一种致病菌引起,也可由多种细菌所引起。感染的发生一方面取决于细菌的种类、数量...
    
    
      379
      临床表现1.疼痛早期一般无痛或仅有局部摩擦感,如出现溃破则会有明显疼痛,肿瘤进一步侵犯附近神...
      ###健康教育1.饮食指导饮食应少量多餐,进食高蛋白、高热量、高维生素、易消化食物,忌生、冷...
      口腔癌
      治疗原则治疗方式分为手术切除、放射线治疗、化学治疗、中药治疗。早期的口腔癌如未见颈部淋巴转移...
      口腔癌疾病概述:口腔癌是发生在口腔的恶性肿瘤的总称,包括牙龈癌、舌癌、软硬腭癌、颌骨癌、口底...
      病因至今尚未明确,目前认为与下列因素有关:①长期嗜好烟、酒;②不注意口腔卫生,口腔内滋生和繁...
    
    
      380
      临床表现】唇裂的主要表现为上唇部裂开。根据裂隙的部位和裂开的程度可分为三度:一度唇裂仅为红唇...
      ###健康教育1.术前准备指导①手术前应无发热、咳嗽和流涕等上呼吸道感染症状,尽量排除各种不...
      唇裂、腭裂
      治疗原则唇裂修复是一种要求极高的手术,手术效果的优劣直接会影响患者的身心健康与生存质量,故需...
      唇裂、腭裂疾病概述:唇、腭裂是口腔颌面外科最常见的先天性畸形。胎儿在发育过程中,特别是前12...
      病因引起唇、腭裂的确切原因和发病机制目前尚未完全明了,可能为多种因素在同一时期或不同时期内发...
    
    
      381
      临床表现牙体缺损表现为单个牙或多颗牙的牙体组织完整性的破坏,其形态多样,可为龋洞、劈裂、残冠...
      ###健康教育1.有牙齿疾病及早就医患者常因痛苦小,对生活质量影响小,而忽视了牙体缺损的危害...
      牙体缺损
      治疗原则是尽量保存剩余的牙体组织,恢复牙齿的咀嚼、美观、发声功能,并且修复体不能对周围组织造...
      牙体缺损疾病概述:牙体缺损是指各种牙体硬组织不同程度的质地和生理解剖外形的损坏或异常。
      病因牙体缺损的常见原因有牙发育障碍、龋病、外伤、严重磨耗、楔状缺损、酸蚀等。【
    
    
      382
      临床表现牙列缺损表现为牙列中一颗或多颗牙的缺失,导致牙列不完整。【治疗原则牙列缺损的
      ###健康教育1.认真听取医生的意见不同的义齿修复方案,达到的效果也不同,各有利弊。患者就诊...
      牙列缺损
      治疗原则是尽量保存剩余的牙齿,恢复牙齿的咀嚼、美观、发声功能,且修复体不能对周围组织造成损害...
      牙列缺损疾病概述:牙列缺损是指部分牙齿缺失导致的恒牙牙列不完整。
      病因牙列缺损可由先天发育异常、龋病、外伤、牙周病、外科手术等原因引起。
    
    
      383
      临床表现牙列缺失表现为无牙。
      ###健康教育1.全口义齿的日常维护①全口义齿使用者应保持义齿的卫生,每天使用牙膏或专用55...
      牙列缺失
      治疗原则对于牙列缺失,只能采用全口义齿修复,以尽量恢复牙齿的美观以及咀嚼、发声功能传统的全口...
      牙列缺失疾病概述:牙列缺失是指各种原因导致的上颌和(或)下颌牙齿全部缺失。
      病因】牙列缺失多见于中老年人,最常见的原因是牙周病引起的牙齿脱落
    
    
      384
      临床表现错殆畸形的表现多种多样,包括:①个别牙齿错位。②牙弓形态和牙齿排列异常:常见牙弓狭窄...
      ###健康教育1.孕婴期预防畸形要从母亲妊娠初期开始,孕期要注意营养,预防母体疾病和意外伤害...
      错颌畸形
      治疗原则正畸矫治是治疗错殆畸形的有效方法。1.预防矫治自胚胎第6周至恒牙列完成前的这段时间,...
      错颌畸形疾病概述:错颌畸形是指儿童在生长发育过程中,由先天遗传因素或后天环境因素(如疾病、口...
      病因错综复杂,其发生过程受遗传因素和环境因素影响。1.遗传因素目前的研究表明,错粭畸形具有多...
    
    
      385
      临床表现1.母乳性黄疸黄疸开始时间为生后4~7天,持续2个月左右,无临床症状。2.生理性黄疸...
      ###健康教育1.怀孕期间饮食有节,不食生冷食物,不过饥过饱,并忌酒和辛辣食物,以防损伤脾胃...
      新生儿黄疸
      治疗原则是:①光照疗法;②酶诱导剂;③交换输血:换血是治疗高胆红素血症最迅速的方法。
      新生儿黄疸疾病概述:医学上把未满月(出生28天内)新生儿的黄疸,称为新生儿黄疸。新生儿黄疸是...
      病因素(20%)、细菌感染(20%)、药物因素(15%)等。
    
    
      386
      临床表现患儿多于出生后第2或第3周出现幽门梗阻表现。1.反胃和呕吐患儿进食后立刻或10分钟后...
      ###健康教育1.术前准备指导术前需入院禁饮食、静脉补液,以纠正患儿全身状况,每天评估患儿体...
      新生儿幽门狭窄
      治疗原则1.内科治疗对诊断未能确定,症状轻微或发病较晚的病例,给予胃肠减压、禁饮食静脉高营养...
      新生儿幽门狭窄疾病概述:新生儿幽门狭窄是指幽门括约肌高度肥厚增生,硬似软骨,形如橄榄,幽门管...
      病因不明,可能与下列因素有关:①遗传因素;②幽门环肌原发性肥厚或受食物刺激导致幽门水肿,进一...
    
    
      387
      临床表现患儿出生后唾液不能下咽,有大量黏液的泡沫状唾液经鼻孔、口腔溢出2.每次哺乳时,患儿会...
      ###健康教育1.术前准备指导对于先天性食管闭锁患儿,应积极进行充分的术前准备,提高患儿的手...
      先天性食管闭锁
      治疗原则患儿病情允许下应尽早行手术治疗。
      先天性食管闭锁疾病概述:先天性食管闭锁是新生儿食管最常见的发育畸形,在胚胎3~4周发生。本病...
      病因】胚胎初期食管与气管都由原始前肠发生。食管经过一个实变阶段,由食管内上皮细胞繁殖增生,导...
    
    
      388
      临床表现1.有难产史或患儿有出生后抢救史。2.患肢肿胀畸形,拒动;触动患肢,患儿有哭闹。【
      ###健康教育1.肢体固定八字绷带固定时绷带必须松紧适宜,每小时观察患儿手臂有无肿胀,手指有...
      产伤骨折
      治疗原则1.产伤锁骨骨折一般不需要特殊治疗,行八字绷带固定(绷带绕经两侧腋窝于背部交叉,固定...
      产伤骨折疾病概述:产伤骨折是指小儿在出生过程中酿成的骨折,多因胎儿体重过大、臀位产、剖官产以...
      病因新生儿产伤骨折多见于:①巨大儿、早产儿;②异常胎位;③产钳或助产操作欠规范。【
    
    
      389
      临床表现阵发性腹痛为最早症状,患儿常表现为突然性、阵发性哭闹,间歇期表现如健康2.呕吐在腹痛...
      ###健康教育1.术前准备指导患儿在添加辅食时应缓慢添加,不可一次添加多种。进食时应细嚼慢咽...
      肠套叠
      治疗原则1.非手术治疗适于早期肠套叠,行空气灌肠复位,早期复位率较高。2.手术治疗肠套叠手法...
      肠套叠疾病概述:肠套叠是指某一段肠管及附近的肠系膜套入邻近肠腔内所造成的急性肠梗阻,为婴儿期...
      病因本病多见于2岁以下的小儿,4~10个月是发病的高峰期,春季较为多见,为小儿外科常见病、多...
    
    
      390
      临床表现】1.胃肠道症状腹痛、恶心、呕吐、腹泻。由于病史询问和叙述困难,常得不到典型的转移性...
      ###健康教育1.术前准备指导①观察患儿体温变化,超过38.5℃时给予物理降温或药物降温;②...
      急性阑尾炎
      治疗原则1.保守治疗症状体征不明显及阑尾脓肿未形成前不适宜引流者,应进行保守治疗禁饮食、静脉...
      急性阑尾炎疾病概述:急性阑尾炎是由于阑尾腔梗阻和细菌入侵引起的一种小儿常见的急腹症,发病率虽...
      病因】急性阑尾炎发病的主要原因是阑尾腔堵塞梗阻、细菌感染、血流障碍及神经反射等因素相互作用、...
    
    
      391
      临床表现)1.通过外观即可诊断,即胸骨肋骨凹陷,漏斗状,腹前凸,颈肩前倾,背圆或平,年长患儿...
      ###健康教育1.术前准备指导①保持室内空气清洁,防寒保暖,避免感冒;②教会患儿深呼吸和有效...
      漏斗胸
      治疗原则漏斗胸需要通过手术治疗,如胸骨翻转术、胸骨上举法、Nuss微创漏斗胸矫正术。
      漏斗胸疾病概述:漏斗胸是小儿最常见的胸壁畸形,占前胸壁畸形的90%以上,是胸骨连同肋骨向后向...
      病因尚不完全清楚。有学者认为此病是先天发育异常,也有学者认为与膈肌中心腱过短、牵拉胸骨末端和...
    
    
      392
      临床表现】1.急性脓胸症状高热38.5℃以上、脉速、咳嗽、胸痛、食欲缺乏,严重时可出现呼吸困...
      ###健康教育1.术前准备指导①患儿应卧床休息,避免剧烈活动。宜取半卧位,以利于呼吸及弓流。...
      急性脓胸
      治疗原则1.急性脓胸①胸腔穿刺排脓;②胸腔闭式引流;③根据细菌培养及敏感试验结果,选择适宜广...
      急性脓胸疾病概述:急性脓胸是胸膜的急性化脓性感染,导致胸膜腔积聚脓液,是冬春季的常见病之一。...
      病因肺内感染灶的致病菌直接或经淋巴管侵袭胸膜而引起。多数慢性脓胸是因急性脓胸就诊过迟,未能及...
    
    
      393
      临床表现1.患儿出生后呼吸困难、发绀,且呈进行性加重。2.患侧呼吸运动减弱或消失,心尖冲动向...
      ###健康教育1.术前准备指导①观察患儿有无呼吸困难、面色青紫等,在患儿哭闹或喂奶时是否56...
      先天性膈疝
      治疗原则新生儿发病,若有明显呼吸困难应急诊行膈疝修补术,无明显呼吸困难则应择期手术。
      先天性膈疝疾病概述:先天性膈疝是由于膈肌发育缺损或发育不全,腹腔脏器经过这些膈肌缺损处进入胸...
      病因胸腔和腹腔于胚胎期是一个相互贯通的体腔,在胚胎的第8~10周才形成膈,从而将胸腔与腹腔分...
    
    
      394
      临床表现小的支气管囊肿可无任何症状,仅在X线胸部检査时才被发现。当囊性病变与小支气管沟通时,...
      ###健康教育1.术前准备指导①术前对患儿进行呼吸功能训练,教患儿有效咳嗽;②嘱患儿避免剧烈...
      先天性肺囊性病
      治疗原则在无急性炎性反应的情况下,诊断明确后应早期手术。手术方式应根据病变部位、病变大小、感...
      先天性肺囊性病疾病概述:先天性肺囊性病是肺内充满气体、液体或气体液体混合性的囊性占位性疾病,...
      病因先天性肺囊性病是在胚胎发育时期,因气管、支气管异常的萌芽或分支异常发育所致。
    
    
      395
      临床表现患侧阴囊空虚,不能扪及睾丸。
      ###健康教育1.术前准备指导①观察患儿阴囊有无空虚,睾丸有无滑动,注意保护患儿隐私;②非手...
      隐睾
      治疗原则隐睾一旦确诊,就应及时治疗。观察疗法小于6个月的患儿,每个月门诊随访。2.内分泌疗法...
      隐睾疾病概述:隐睾即阴囊内无睾丸,是小儿常见病,包括睾丸下降不全或未降,睾丸缺如及异位睾丸,...
      病因睾丸正常下降的机制还不清楚,可能是由于睾丸下降过程中的某一环节出现故障或多种因素的共同作...
    
    
      396
      临床表现1.疼痛患儿多数表现为突然发生的患侧阴囊部位的剧烈疼痛,有的患儿会有反射性呕吐2.阴...
      ###健康教育1.术前准备指导①用小软枕托起阴囊以减轻患儿疼痛;②观察阴囊血液供应状况,主要...
      睾丸扭转
      治疗原则)1.对怀疑有睾丸扭转的患儿,宜尽早行阴囊探查术2.对睾丸已坏死的患儿,应行坏死侧睾...
      睾丸扭转疾病概述:睾丸扭转是比较常见的阴囊急症,患儿会阴部遭受暴力、突然改变体位、提睾肌收缩...
      病因目前尚不清楚,可能与以下因素有关:①睾丸的解剖异常,但是许多睾丸扭转的患儿并无解剖异常;...
    
    
      397
      临床表现1.肾结石常继发于肾盂输尿管连接部梗阻。多数患儿有典型的肾绞痛,继而出现镜下血尿或肉...
      ###健康教育1.非手术治疗健康指导①加强运动,选择跳跃性运动可促进结石排除。②多饮水,保持...
      尿路结石症
      治疗原则1.一般防治最简单而有效的防治方法是大量饮水,稀释尿可延缓尿石生长及防止尿石再发。改...
      尿路结石症疾病概述:小儿尿路结石主要是膀胱及尿道结石,多见于4岁以下,肾及输尿管结石无明显年...
      病因小儿尿路结石形成有多种因素:①解剖异常、尿路梗阻、感染;②继发于代谢性疾病;③生活习惯;...
    
    
      398
      临床表现以一侧多见,阴囊内有囊性肿块,呈慢性无痛性逐渐增大。少量积液可无症状;当积液量逐渐增...
      ###健康教育1.术前准备指导若发现患儿阴囊异常,及时就诊。阴囊肿胀明显的患儿,应当卧床休息...
      鞘膜积液
      治疗原则】1.非手术治疗鞘膜积液的危害在于它的存在对睾丸血供和温度的影响,应积极治疗原发病。...
      鞘膜积液疾病概述:婴幼儿睾丸鞘膜积液是由于腹鞘膜突在出生前后未能闭合而形成一个鞘膜腔,导致液...
      病因先天性鞘膜积液是胎儿出生前,鞘状突在不同的部位闭合不全导致。临床表现鞘膜积液的
    
    
      399
      临床表现】1.轻者可无任何不适感。2.阴囊内肿物,无压痛。3.重者患侧阴囊或睾丸可发生坠胀、...
      ###健康教育1.术前准备指导①保护好患儿隐私;②观察阴囊的血运情况,主要是观察阴囊局部皮肤...
      精索静脉曲张
      治疗原则手术治疗为最佳治疗方法。
      精索静脉曲张疾病概述:精索静脉曲张是由于精索的静脉回流受阻、瓣膜失效、血液反流,引起血液淤积...
      病因1.主要发生在精素内静脉,约95%发生于左侧,因为左精索内多了一个中转,左肾静脉可被乙状...
    
    
      400
      临床表现】一般表现局部疼痛、肿胀和功能障碍。2.特有体征畸形、异常活动、骨擦音或骨擦感。【治疗原则
      ###健康教育1.体位与活动指导儿童骨折常需卧床并保持正确的特定体位,才能保证骨折顺利565...
      小儿骨折
      治疗原则有:①复位;(②固定;③功能锻炼。
      小儿骨折疾病概述:骨折是指骨结构的连续性完全或部分断裂。儿童的骨骼在不断生长发育,其生理功能...
      病因包括:①直接暴力;②间接暴力;③积累性劳损。【
    
    
      401
      临床表现1.小儿诉肘部疼痛不肯用该手取物和活动肘部,拒绝别人触摸。2.检查所见体征很少,无肿...
      ###健康教育1.牵拉(提)小儿手部时,应同时牵拉衣袖。2.防止跌扑。3.成年人与小几嬉闹时...
      桡骨头半脱位
      治疗原则手法复位。
      桡骨头半脱位疾病概述:患儿肘关节处于伸直,前臂旋前位突然受到牵拉而发病致伤。当伸肘、前臂旋前...
      病因桡骨头向远端滑移,恢复原位时,环状韧带的上半部来不及退缩,被卡压在肱桡关节内成为桡骨头半脱位。
    
    
      402
      临床表现)1.特发性斜颈斜颈的特征是向一侧倾斜20°并呈轻度屈曲,为“雄性知更鸟”姿势,长期...
      ###健康教育1.休息与活动指导牵引期间绝对卧床,以保证牵引的持续性。卧床期间鼓励患儿四肢多...
      寰枢关节脱位
      治疗原则儿童寰枢关节半脱位常由病毒性疾病引起,并且是自限性的,可采用保守治疗。治疗方法的选择...
      寰枢关节脱位疾病概述:寰枢关节脱位包括寰枢关节固定于生理旋转范围内,以及在水平方向完全旋转脱...
      病因包括:①生理因素;②局部炎性刺激;③创伤。
    
    
      403
      临床表现婴儿出生1个月后,被发现一侧胸锁乳突肌有梭形肿块,较硬,不活动,至5个月后逐渐消退,...
      ###健康教育1.非手术治疗对于不满半周岁的婴儿,应积极采用保守治疗,以促进血肿早期吸收,防...
      斜颈
      治疗原则1.非手术治疗对于半岁以内的患儿,采取非手术治疗均可获得满意的疗效。方法包括局部热敷...
      斜颈疾病概述:小儿斜颈,医学上称先天性肌性斜颈(俗称“歪脖子”),是由于一侧胸锁乳突肌纤维性...
      病因目前仍未明。大多数学者认为,子宫内压力异常或胎儿胎位不正是产生先天性肌性斜颈的主要原因。...
    
    
      404
      临床表现1.手指弹响伴明显疼痛,严重者患指屈曲不敢活动。2.疼痛常在掌指关节掌侧,体检时可在...
      ###健康教育术前准备指导早发现、早治疗。2.术后康复指导①术后患儿可采取自由体位;②根据患...
      腱鞘炎
      治疗原则本病保守治疗无效,应采取手术治疗。
      腱鞘炎疾病概述:狭窄性腱鞘炎是一种常见的腱鞘疾病,发生在拇短伸肌和拇长展肌腱鞘,称为桡骨茎突...
      病因尚不清楚,局部组织退行性变及手指过度屈伸活动的机械性刺激可能是其原因之一,多为先天性。【
    
    
      405
      临床表现1.毛细血管型血管瘤表现为鲜红或紫红色斑块,与皮肤表面平齐或稍隆起,边界清楚,形状不...
      ###健康教育1.术前准备指导①发现患儿有血管瘤要及时向专业医生询诊,确定血管瘤类型,做好日...
      小儿肿瘤血管瘤
      治疗原则血管瘤的治疗方法很多,应根据肿瘤的类型、部位、深浅及病员的年龄等因素而定。常用的方法...
      小儿肿瘤血管瘤疾病概述:血管瘤是先天性良性肿瘤或血管畸形,多见于婴儿出生时或出生后不久,它起...
      病因血管瘤由大量增生的血管组成。目前有两种学说解释本病:①胚胎残留学说;②雌激素学说,血清雌...
    
    
      406
      临床表现由于淋巴系统的分布特点,恶性淋巴瘤虽然发生于淋巴结,但是几乎可以侵犯全身任何组织和器...
      ###健康教育1.体位与活动放、化疗后康复期,保持积极的心态,可适当参加社交活动及身体锻炼,...
      淋巴瘤
      治疗原则是:①放射治疗;②化学药物治疗;③骨髓移植;④手术治疗(仅限于活组织检查或并发症处理...
      淋巴瘤疾病概述:淋巴瘤可分为非霍奇金淋巴瘤(NHL)和霍奇金病(HL)两类,是起源于淋巴造血...
      病因不清,一般认为,可能和基因突变、病毒及其他病原体感染、放射线、化学药物合并自身免疫病等有关
    
    
      407
      临床表现有一定的差异。1.内畸胎瘤由于颅内畸胎瘤通常位于中线部位,所以常无明显脑定位体征。多...
      ###健康教育1.术前准备指导应早发现、早诊断、早治疗,避免疾病进展发生转移或恶变。571第...
      畸胎瘤
      治疗原则无论哪种类型的畸胎瘤,手术都是首选的治疗方法。
      畸胎瘤疾病概述:畸胎瘤是一种常见的卵巢生殖细胞肿瘤,来源于生殖细胞,分为成熟畸胎瘤(即良性畸...
      病因不清,可能与胚胎期生殖细胞异常分化等因素有关。临床表现根据畸胎瘤发生的部位、大小不同
    
  

408 rows × 6 columns



In [71]:

    
from sqlalchemy import create_engine

# mac下安装mysqlclient失败了, 至今没有装好, 不过可以用pymysql
SQLALCHEMY_DATABASE_URI = 'mysql+pymysql://root:123456@localhost:3306/data_analyze?charset=utf8mb4'
conn= create_engine(SQLALCHEMY_DATABASE_URI)

df.to_sql("menzhen_jk", con=conn,if_exists='replace',index=False, chunksize=100)

练习

现在有两个csv, 一个是从s查询的结果, 有两列一个是url , 另一个是黑白 . 另一个csv是从url_detect接口查出来的. 一列是url 另一列是检出威胁的引擎的列表用逗号隔开的字符串, 有可能是空字符串或者Nan. 现在要求汇总这两个csv. 如果url_detect接口里面的结果不是Nan或者是空字符串或者是字符串safe, 不是这三种情况结果就按黑, 否则就按s的结果.



In [74]:

    
!ls
!head url黑白.csv









    



menzhen_jk.json                url黑白_from_s.csv
python lib.png                 用pandas做数据分析.ipynb
python what to do.png          肉类热量表.csv
url黑白.csv
url,黑白
http://0.gravatar.com/avatar/02c7f0cde2ace8a4c739da763248765f?s=80&amp;d=mm&amp;r=g,
http://0.gravatar.com/avatar/?s=48&amp;d=mm&amp;r=g,
http://0.gravatar.com/avatar/68bcea4063e3d4672e55ddf299901922?s=48&amp;d=mm&amp;r=g,
http://0.gravatar.com/avatar/31512b88dd6cd7443107841833e95612?s=80&amp;d=mm&amp;r=g,
http://0.gravatar.com/avatar/67d0956e9de9e20496278c318c59c788?s=26&amp;d=mm&amp;r=g,
http://0.gravatar.com/avatar/3d9250a0bf6201feec8bd1961df105c5?s=80&amp;d=mm&amp;r=g,
http://0.gravatar.com/avatar/3229c1b7955d064ff534807aaf619fea?s=48&amp;d=mm&amp;r=g,
http://0.gravatar.com/avatar/3c4260c4b26558d534157a3a91858a09?s=80&amp;d=mm&amp;r=g,
http://0.gravatar.com/avatar/34526b94adebe16fd69cc5bf1662152b?s=48&amp;d=mm&amp;r=g,



In [75]:

    
df_url_detect = pd.read_csv("url黑白.csv")
df_url_detect









    Out[75]:







  
    
      
      url
      黑白
    
  
  
    
      0
      http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...
      NaN
    
    
      1
      http://0.gravatar.com/avatar/?s=48&amp;d=mm&am...
      NaN
    
    
      2
      http://0.gravatar.com/avatar/68bcea4063e3d4672...
      NaN
    
    
      3
      http://0.gravatar.com/avatar/31512b88dd6cd7443...
      NaN
    
    
      4
      http://0.gravatar.com/avatar/67d0956e9de9e2049...
      NaN
    
    
      5
      http://0.gravatar.com/avatar/3d9250a0bf6201fee...
      NaN
    
    
      6
      http://0.gravatar.com/avatar/3229c1b7955d064ff...
      NaN
    
    
      7
      http://0.gravatar.com/avatar/3c4260c4b26558d53...
      NaN
    
    
      8
      http://0.gravatar.com/avatar/34526b94adebe16fd...
      NaN
    
    
      9
      http://0.gravatar.com/avatar/695cce6ae0ad641ad...
      NaN
    
    
      10
      http://0.gravatar.com/avatar/97aaff6371583bce6...
      NaN
    
    
      11
      http://0.gravatar.com
      safe
    
    
      12
      http://0.gravatar.com/avatar/0d1613ce075d3047a...
      NaN
    
    
      13
      http://0.gravatar.com/avatar/007cef2f3e91982e0...
      NaN
    
    
      14
      http://0.gravatar.com/avatar/0bb7d56d7c5b80220...
      NaN
    
    
      15
      http://0.gravatar.com/avatar/6447554718f316edb...
      NaN
    
    
      16
      http://0.gravatar.com/avatar/c75b4602ee4346ac1...
      NaN
    
    
      17
      http://0.gravatar.com/avatar/c4421af62e824fe97...
      NaN
    
    
      18
      http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...
      NaN
    
    
      19
      http://0.gravatar.com/avatar/f54a7a25b70806167...
      NaN
    
    
      20
      http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...
      NaN
    
    
      21
      http://0.gravatar.com/avatar/f75697b7646dfbc31...
      NaN
    
    
      22
      http://0.gravatar.com/avatar/9a09e4802f5bff3a7...
      NaN
    
    
      23
      http://0.gravatar.com/avatar/f69dd720dbf3b270f...
      NaN
    
    
      24
      http://0.gravatar.com/avatar/f08dbeb903bbb24a1...
      NaN
    
    
      25
      http://0.gravatar.com/avatar/f877bbee390022be4...
      NaN
    
    
      26
      http://0.gravatar.com/avatar/fa06547ad29189aab...
      NaN
    
    
      27
      http://0.gravatar.com/avatar/f8af44bdc069d275b...
      NaN
    
    
      28
      http://0.gravatar.com/avatar/fe1eb47379e85e263...
      NaN
    
    
      29
      http://0.gravatar.com/avatar/c9e9e200d0a215a5d...
      NaN
    
    
      ...
      ...
      ...
    
    
      47574
      http://zx.10jqka.com.cn/hsgt/shareinfo/getdata...
      NaN
    
    
      47575
      http://zx.cp.ifeng.com
      safe
    
    
      47576
      http://zx.sina.cn
      safe
    
    
      47577
      http://zwdt.sh.gov.cn/zwdtSW/dphead/foot/foot....
      NaN
    
    
      47578
      http://zuul.aikucun.com
      NaN
    
    
      47579
      http://zxbjapi.home.fang.com
      safe
    
    
      47580
      http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....
      NaN
    
    
      47581
      http://zxh277100963.iteye.com/blog/1008165
      NaN
    
    
      47582
      http://zxl.eceibs20.com
      NaN
    
    
      47583
      http://zy.static.xywy.com
      safe
    
    
      47584
      http://zz.bdstatic.com
      NaN
    
    
      47585
      http://zyxing.xmjcyly33.cn/huangshan
      NaN
    
    
      47586
      http://zxservicecdn.xibei.com.cn
      NaN
    
    
      47587
      http://zzd.sm.cn
      NaN
    
    
      47588
      http://zyguwen.oss-cn-hangzhou.aliyuncs.com
      compromised
    
    
      47589
      http://zz.news.fang.com/dg/2019-04-01/31998359...
      NaN
    
    
      47590
      http://zz.blibee.com
      NaN
    
    
      47591
      http://zxgk.court.gov.cn/zhzxgk/
      NaN
    
    
      47592
      http://zz.pcauto.com.cn
      safe
    
    
      47593
      http://zzgq.hnair.com
      NaN
    
    
      47594
      http://zzcc.uoozz.com/index.php/Admin/login/in...
      NaN
    
    
      47595
      http://zz.blibee.net
      NaN
    
    
      47596
      http://zzk.cnblogs.com
      safe
    
    
      47597
      http://zzhz.zjol.com.cn
      safe
    
    
      47598
      http://zzq.dragonest.com
      NaN
    
    
      47599
      http://zzl8806259548.cn.gtobal.com/contactus.html
      NaN
    
    
      47600
      http://zzy.quyaoya.com
      NaN
    
    
      47601
      http://zzy1.quyaoya.com
      NaN
    
    
      47602
      http://zzhzbbs.zjol.com.cn
      safe
    
    
      47603
      http://zzx.zgys.net
      NaN
    
  

47604 rows × 2 columns



In [76]:

    
df_s = pd.read_csv("url黑白_from_s.csv")
df_s









    Out[76]:







  
    
      
      url
      黑白
    
  
  
    
      0
      http://0.gravatar.com/avatar/007cef2f3e91982e0...
      白
    
    
      1
      http://0.gravatar.com/avatar/31512b88dd6cd7443...
      白
    
    
      2
      http://0.gravatar.com/avatar/0d1613ce075d3047a...
      白
    
    
      3
      http://0.gravatar.com
      未知
    
    
      4
      http://0.gravatar.com/avatar/0bb7d56d7c5b80220...
      白
    
    
      5
      http://0.gravatar.com/avatar/?s=48&amp;d=mm&am...
      白
    
    
      6
      http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...
      白
    
    
      7
      http://0.gravatar.com/avatar/3d9250a0bf6201fee...
      白
    
    
      8
      http://0.gravatar.com/avatar/34526b94adebe16fd...
      白
    
    
      9
      http://0.gravatar.com/avatar/3229c1b7955d064ff...
      白
    
    
      10
      http://0.gravatar.com/avatar/3c4260c4b26558d53...
      白
    
    
      11
      http://0.gravatar.com/avatar/6447554718f316edb...
      白
    
    
      12
      http://0.gravatar.com/avatar/67d0956e9de9e2049...
      白
    
    
      13
      http://0.gravatar.com/avatar/68bcea4063e3d4672...
      白
    
    
      14
      http://0.gravatar.com/avatar/695cce6ae0ad641ad...
      白
    
    
      15
      http://0.gravatar.com/avatar/c75b4602ee4346ac1...
      白
    
    
      16
      http://0.gravatar.com/avatar/f08dbeb903bbb24a1...
      白
    
    
      17
      http://0.gravatar.com/avatar/c4421af62e824fe97...
      白
    
    
      18
      http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...
      白
    
    
      19
      http://0.gravatar.com/avatar/9a09e4802f5bff3a7...
      白
    
    
      20
      http://0.gravatar.com/avatar/97aaff6371583bce6...
      白
    
    
      21
      http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...
      白
    
    
      22
      http://0.gravatar.com/avatar/c9e9e200d0a215a5d...
      白
    
    
      23
      http://0.gravatar.com/avatar/f54a7a25b70806167...
      白
    
    
      24
      http://0.gravatar.com/avatar/f69dd720dbf3b270f...
      白
    
    
      25
      http://0.gravatar.com/avatar/f55dee0df316acb37...
      白
    
    
      26
      http://0.gravatar.com/avatar/f877bbee390022be4...
      白
    
    
      27
      http://0.gravatar.com/avatar/f75697b7646dfbc31...
      白
    
    
      28
      http://0.gravatar.com/avatar/f8af44bdc069d275b...
      白
    
    
      29
      http://0.gravatar.com/avatar/fa06547ad29189aab...
      白
    
    
      ...
      ...
      ...
    
    
      47574
      http://zwdtmob.sh.gov.cn/zwdtSW/bsfw/showDetai...
      白
    
    
      47575
      http://zuul.aikucun.com
      白
    
    
      47576
      http://zx.sina.cn
      白
    
    
      47577
      http://zx.lingyunqi.cn
      白
    
    
      47578
      http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....
      白
    
    
      47579
      http://zxbjapi.home.fang.com
      白
    
    
      47580
      http://zxh277100963.iteye.com/blog/1008165
      白
    
    
      47581
      http://zxl.eceibs20.com
      白
    
    
      47582
      http://zxservicecdn.xibei.com.cn
      白
    
    
      47583
      http://zxgk.court.gov.cn/zhzxgk/
      白
    
    
      47584
      http://zx.cp.ifeng.com
      白
    
    
      47585
      http://zy.static.xywy.com
      白
    
    
      47586
      http://zyguwen.oss-cn-hangzhou.aliyuncs.com
      黑
    
    
      47587
      http://zz.bdstatic.com
      白
    
    
      47588
      http://zz.blibee.com
      白
    
    
      47589
      http://zz.blibee.net
      白
    
    
      47590
      http://zzcc.uoozz.com/index.php/Admin/login/in...
      白
    
    
      47591
      http://zyxing.xmjcyly33.cn/huangshan
      白
    
    
      47592
      http://zz.news.fang.com/dg/2019-04-01/31998359...
      白
    
    
      47593
      http://zz.pcauto.com.cn
      白
    
    
      47594
      http://zzhz.zjol.com.cn
      白
    
    
      47595
      http://zzd.sm.cn
      白
    
    
      47596
      http://zzl8806259548.cn.gtobal.com/contactus.html
      白
    
    
      47597
      http://zzq.dragonest.com
      白
    
    
      47598
      http://zzgq.hnair.com
      白
    
    
      47599
      http://zzx.zgys.net
      白
    
    
      47600
      http://zzk.cnblogs.com
      白
    
    
      47601
      http://zzy.quyaoya.com
      白
    
    
      47602
      http://zzy1.quyaoya.com
      白
    
    
      47603
      http://zzhzbbs.zjol.com.cn
      白
    
  

47604 rows × 2 columns



In [79]:

    
import pandas as pd
import numpy as np

new_df = pd.merge(df_url_detect, df_s, on="url")
# new_df

new_df.rename(columns={"黑白_x": "url_detect", "黑白_y": "s"}, inplace=True)


def new_bw(df):
    df["黑白"] = df["s"]
    if df["黑白"] != "黑":
        if not (df["url_detect"] is np.nan or df["url_detect"] == "" or df["url_detect"] == "safe"):
            df["黑白"] = "黑"
    if df["黑白"] == "未知":
        df["黑白"] = "白"
    return df


new_df = new_df.apply(new_bw, axis=1)
new_df









    Out[79]:







  
    
      
      url
      url_detect
      s
      黑白
    
  
  
    
      0
      http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...
      NaN
      白
      白
    
    
      1
      http://0.gravatar.com/avatar/?s=48&amp;d=mm&am...
      NaN
      白
      白
    
    
      2
      http://0.gravatar.com/avatar/68bcea4063e3d4672...
      NaN
      白
      白
    
    
      3
      http://0.gravatar.com/avatar/31512b88dd6cd7443...
      NaN
      白
      白
    
    
      4
      http://0.gravatar.com/avatar/67d0956e9de9e2049...
      NaN
      白
      白
    
    
      5
      http://0.gravatar.com/avatar/3d9250a0bf6201fee...
      NaN
      白
      白
    
    
      6
      http://0.gravatar.com/avatar/3229c1b7955d064ff...
      NaN
      白
      白
    
    
      7
      http://0.gravatar.com/avatar/3c4260c4b26558d53...
      NaN
      白
      白
    
    
      8
      http://0.gravatar.com/avatar/34526b94adebe16fd...
      NaN
      白
      白
    
    
      9
      http://0.gravatar.com/avatar/695cce6ae0ad641ad...
      NaN
      白
      白
    
    
      10
      http://0.gravatar.com/avatar/97aaff6371583bce6...
      NaN
      白
      白
    
    
      11
      http://0.gravatar.com
      safe
      未知
      白
    
    
      12
      http://0.gravatar.com/avatar/0d1613ce075d3047a...
      NaN
      白
      白
    
    
      13
      http://0.gravatar.com/avatar/007cef2f3e91982e0...
      NaN
      白
      白
    
    
      14
      http://0.gravatar.com/avatar/0bb7d56d7c5b80220...
      NaN
      白
      白
    
    
      15
      http://0.gravatar.com/avatar/6447554718f316edb...
      NaN
      白
      白
    
    
      16
      http://0.gravatar.com/avatar/c75b4602ee4346ac1...
      NaN
      白
      白
    
    
      17
      http://0.gravatar.com/avatar/c4421af62e824fe97...
      NaN
      白
      白
    
    
      18
      http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...
      NaN
      白
      白
    
    
      19
      http://0.gravatar.com/avatar/f54a7a25b70806167...
      NaN
      白
      白
    
    
      20
      http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...
      NaN
      白
      白
    
    
      21
      http://0.gravatar.com/avatar/f75697b7646dfbc31...
      NaN
      白
      白
    
    
      22
      http://0.gravatar.com/avatar/9a09e4802f5bff3a7...
      NaN
      白
      白
    
    
      23
      http://0.gravatar.com/avatar/f69dd720dbf3b270f...
      NaN
      白
      白
    
    
      24
      http://0.gravatar.com/avatar/f08dbeb903bbb24a1...
      NaN
      白
      白
    
    
      25
      http://0.gravatar.com/avatar/f877bbee390022be4...
      NaN
      白
      白
    
    
      26
      http://0.gravatar.com/avatar/fa06547ad29189aab...
      NaN
      白
      白
    
    
      27
      http://0.gravatar.com/avatar/f8af44bdc069d275b...
      NaN
      白
      白
    
    
      28
      http://0.gravatar.com/avatar/fe1eb47379e85e263...
      NaN
      白
      白
    
    
      29
      http://0.gravatar.com/avatar/c9e9e200d0a215a5d...
      NaN
      白
      白
    
    
      ...
      ...
      ...
      ...
      ...
    
    
      47574
      http://zx.10jqka.com.cn/hsgt/shareinfo/getdata...
      NaN
      白
      白
    
    
      47575
      http://zx.cp.ifeng.com
      safe
      白
      白
    
    
      47576
      http://zx.sina.cn
      safe
      白
      白
    
    
      47577
      http://zwdt.sh.gov.cn/zwdtSW/dphead/foot/foot....
      NaN
      白
      白
    
    
      47578
      http://zuul.aikucun.com
      NaN
      白
      白
    
    
      47579
      http://zxbjapi.home.fang.com
      safe
      白
      白
    
    
      47580
      http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....
      NaN
      白
      白
    
    
      47581
      http://zxh277100963.iteye.com/blog/1008165
      NaN
      白
      白
    
    
      47582
      http://zxl.eceibs20.com
      NaN
      白
      白
    
    
      47583
      http://zy.static.xywy.com
      safe
      白
      白
    
    
      47584
      http://zz.bdstatic.com
      NaN
      白
      白
    
    
      47585
      http://zyxing.xmjcyly33.cn/huangshan
      NaN
      白
      白
    
    
      47586
      http://zxservicecdn.xibei.com.cn
      NaN
      白
      白
    
    
      47587
      http://zzd.sm.cn
      NaN
      白
      白
    
    
      47588
      http://zyguwen.oss-cn-hangzhou.aliyuncs.com
      compromised
      黑
      黑
    
    
      47589
      http://zz.news.fang.com/dg/2019-04-01/31998359...
      NaN
      白
      白
    
    
      47590
      http://zz.blibee.com
      NaN
      白
      白
    
    
      47591
      http://zxgk.court.gov.cn/zhzxgk/
      NaN
      白
      白
    
    
      47592
      http://zz.pcauto.com.cn
      safe
      白
      白
    
    
      47593
      http://zzgq.hnair.com
      NaN
      白
      白
    
    
      47594
      http://zzcc.uoozz.com/index.php/Admin/login/in...
      NaN
      白
      白
    
    
      47595
      http://zz.blibee.net
      NaN
      白
      白
    
    
      47596
      http://zzk.cnblogs.com
      safe
      白
      白
    
    
      47597
      http://zzhz.zjol.com.cn
      safe
      白
      白
    
    
      47598
      http://zzq.dragonest.com
      NaN
      白
      白
    
    
      47599
      http://zzl8806259548.cn.gtobal.com/contactus.html
      NaN
      白
      白
    
    
      47600
      http://zzy.quyaoya.com
      NaN
      白
      白
    
    
      47601
      http://zzy1.quyaoya.com
      NaN
      白
      白
    
    
      47602
      http://zzhzbbs.zjol.com.cn
      safe
      白
      白
    
    
      47603
      http://zzx.zgys.net
      NaN
      白
      白
    
  

47604 rows × 4 columns



In [82]:

    
# new_df.drop(columns=["url_detect", "s"], inplace=True)


new_df.count()









    Out[82]:





url    47604
黑白     47604
dtype: int64



In [83]:

    
new_df.to_csv("汇总黑白.csv", index=False)
new_df.to_excel("汇总黑白.xlsx", index=False)



In [84]:

    
!ls









    



menzhen_jk.json                用pandas做数据分析.ipynb
python lib.png                 汇总黑白.csv
python what to do.png          汇总黑白.xlsx
url黑白.csv                    肉类热量表.csv
url黑白_from_s.csv



In [85]:

    
!rm  汇总黑白.csv  汇总黑白.xlsx



In [86]:

    
!ls









    



menzhen_jk.json                url黑白_from_s.csv
python lib.png                 用pandas做数据分析.ipynb
python what to do.png          肉类热量表.csv
url黑白.csv

方法二



In [34]:

    
df_url_detect









    Out[34]:







  
    
      
      url
      黑白
    
  
  
    
      0
      http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...
      NaN
    
    
      1
      http://0.gravatar.com/avatar/?s=48&amp;d=mm&am...
      NaN
    
    
      2
      http://0.gravatar.com/avatar/68bcea4063e3d4672...
      NaN
    
    
      3
      http://0.gravatar.com/avatar/31512b88dd6cd7443...
      NaN
    
    
      4
      http://0.gravatar.com/avatar/67d0956e9de9e2049...
      NaN
    
    
      5
      http://0.gravatar.com/avatar/3d9250a0bf6201fee...
      NaN
    
    
      6
      http://0.gravatar.com/avatar/3229c1b7955d064ff...
      NaN
    
    
      7
      http://0.gravatar.com/avatar/3c4260c4b26558d53...
      NaN
    
    
      8
      http://0.gravatar.com/avatar/34526b94adebe16fd...
      NaN
    
    
      9
      http://0.gravatar.com/avatar/695cce6ae0ad641ad...
      NaN
    
    
      10
      http://0.gravatar.com/avatar/97aaff6371583bce6...
      NaN
    
    
      11
      http://0.gravatar.com
      safe
    
    
      12
      http://0.gravatar.com/avatar/0d1613ce075d3047a...
      NaN
    
    
      13
      http://0.gravatar.com/avatar/007cef2f3e91982e0...
      NaN
    
    
      14
      http://0.gravatar.com/avatar/0bb7d56d7c5b80220...
      NaN
    
    
      15
      http://0.gravatar.com/avatar/6447554718f316edb...
      NaN
    
    
      16
      http://0.gravatar.com/avatar/c75b4602ee4346ac1...
      NaN
    
    
      17
      http://0.gravatar.com/avatar/c4421af62e824fe97...
      NaN
    
    
      18
      http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...
      NaN
    
    
      19
      http://0.gravatar.com/avatar/f54a7a25b70806167...
      NaN
    
    
      20
      http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...
      NaN
    
    
      21
      http://0.gravatar.com/avatar/f75697b7646dfbc31...
      NaN
    
    
      22
      http://0.gravatar.com/avatar/9a09e4802f5bff3a7...
      NaN
    
    
      23
      http://0.gravatar.com/avatar/f69dd720dbf3b270f...
      NaN
    
    
      24
      http://0.gravatar.com/avatar/f08dbeb903bbb24a1...
      NaN
    
    
      25
      http://0.gravatar.com/avatar/f877bbee390022be4...
      NaN
    
    
      26
      http://0.gravatar.com/avatar/fa06547ad29189aab...
      NaN
    
    
      27
      http://0.gravatar.com/avatar/f8af44bdc069d275b...
      NaN
    
    
      28
      http://0.gravatar.com/avatar/fe1eb47379e85e263...
      NaN
    
    
      29
      http://0.gravatar.com/avatar/c9e9e200d0a215a5d...
      NaN
    
    
      ...
      ...
      ...
    
    
      47574
      http://zx.10jqka.com.cn/hsgt/shareinfo/getdata...
      NaN
    
    
      47575
      http://zx.cp.ifeng.com
      safe
    
    
      47576
      http://zx.sina.cn
      safe
    
    
      47577
      http://zwdt.sh.gov.cn/zwdtSW/dphead/foot/foot....
      NaN
    
    
      47578
      http://zuul.aikucun.com
      NaN
    
    
      47579
      http://zxbjapi.home.fang.com
      safe
    
    
      47580
      http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....
      NaN
    
    
      47581
      http://zxh277100963.iteye.com/blog/1008165
      NaN
    
    
      47582
      http://zxl.eceibs20.com
      NaN
    
    
      47583
      http://zy.static.xywy.com
      safe
    
    
      47584
      http://zz.bdstatic.com
      NaN
    
    
      47585
      http://zyxing.xmjcyly33.cn/huangshan
      NaN
    
    
      47586
      http://zxservicecdn.xibei.com.cn
      NaN
    
    
      47587
      http://zzd.sm.cn
      NaN
    
    
      47588
      http://zyguwen.oss-cn-hangzhou.aliyuncs.com
      compromised
    
    
      47589
      http://zz.news.fang.com/dg/2019-04-01/31998359...
      NaN
    
    
      47590
      http://zz.blibee.com
      NaN
    
    
      47591
      http://zxgk.court.gov.cn/zhzxgk/
      NaN
    
    
      47592
      http://zz.pcauto.com.cn
      safe
    
    
      47593
      http://zzgq.hnair.com
      NaN
    
    
      47594
      http://zzcc.uoozz.com/index.php/Admin/login/in...
      NaN
    
    
      47595
      http://zz.blibee.net
      NaN
    
    
      47596
      http://zzk.cnblogs.com
      safe
    
    
      47597
      http://zzhz.zjol.com.cn
      safe
    
    
      47598
      http://zzq.dragonest.com
      NaN
    
    
      47599
      http://zzl8806259548.cn.gtobal.com/contactus.html
      NaN
    
    
      47600
      http://zzy.quyaoya.com
      NaN
    
    
      47601
      http://zzy1.quyaoya.com
      NaN
    
    
      47602
      http://zzhzbbs.zjol.com.cn
      safe
    
    
      47603
      http://zzx.zgys.net
      NaN
    
  

47604 rows × 2 columns

将NaN填充为safe就好解决了



In [87]:

    
df_url_detect = df_url_detect.fillna("safe")

再看一下还有没有空白



In [88]:

    
df_url_detect["黑白"].unique()









    Out[88]:





array(['safe', 'spam', 'bruteforce', 'compromised', 'zombie,spam',
       'zombie,bruteforce,spam', 'zombie', 'bruteforce,spam', 'scanner',
       'zombie,scanner,spam', 'phishing', 'suspicious'], dtype=object)

甚至可以看一下个数有多少



In [89]:

    
df_url_detect["黑白"].value_counts()









    Out[89]:





safe                      47344
compromised                 217
bruteforce                   17
zombie,spam                  12
spam                          6
zombie                        2
zombie,bruteforce,spam        1
scanner                       1
bruteforce,spam               1
phishing                      1
suspicious                    1
zombie,scanner,spam           1
Name: 黑白, dtype: int64

实际上我们如果不知道哪个是最多的, 我们填充NAN值也经常用平均值或者出现个数最多的值来填充.怎样用出现次数最多的值填充呢



In [90]:

    
max_bk = df_url_detect["黑白"].value_counts().index[0]
print(max_bk)
df_url_detect["黑白"].fillna(max_bk , inplace= True)
df_url_detect









    



safe






    Out[90]:







  
    
      
      url
      黑白
    
  
  
    
      0
      http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...
      safe
    
    
      1
      http://0.gravatar.com/avatar/?s=48&amp;d=mm&am...
      safe
    
    
      2
      http://0.gravatar.com/avatar/68bcea4063e3d4672...
      safe
    
    
      3
      http://0.gravatar.com/avatar/31512b88dd6cd7443...
      safe
    
    
      4
      http://0.gravatar.com/avatar/67d0956e9de9e2049...
      safe
    
    
      5
      http://0.gravatar.com/avatar/3d9250a0bf6201fee...
      safe
    
    
      6
      http://0.gravatar.com/avatar/3229c1b7955d064ff...
      safe
    
    
      7
      http://0.gravatar.com/avatar/3c4260c4b26558d53...
      safe
    
    
      8
      http://0.gravatar.com/avatar/34526b94adebe16fd...
      safe
    
    
      9
      http://0.gravatar.com/avatar/695cce6ae0ad641ad...
      safe
    
    
      10
      http://0.gravatar.com/avatar/97aaff6371583bce6...
      safe
    
    
      11
      http://0.gravatar.com
      safe
    
    
      12
      http://0.gravatar.com/avatar/0d1613ce075d3047a...
      safe
    
    
      13
      http://0.gravatar.com/avatar/007cef2f3e91982e0...
      safe
    
    
      14
      http://0.gravatar.com/avatar/0bb7d56d7c5b80220...
      safe
    
    
      15
      http://0.gravatar.com/avatar/6447554718f316edb...
      safe
    
    
      16
      http://0.gravatar.com/avatar/c75b4602ee4346ac1...
      safe
    
    
      17
      http://0.gravatar.com/avatar/c4421af62e824fe97...
      safe
    
    
      18
      http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...
      safe
    
    
      19
      http://0.gravatar.com/avatar/f54a7a25b70806167...
      safe
    
    
      20
      http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...
      safe
    
    
      21
      http://0.gravatar.com/avatar/f75697b7646dfbc31...
      safe
    
    
      22
      http://0.gravatar.com/avatar/9a09e4802f5bff3a7...
      safe
    
    
      23
      http://0.gravatar.com/avatar/f69dd720dbf3b270f...
      safe
    
    
      24
      http://0.gravatar.com/avatar/f08dbeb903bbb24a1...
      safe
    
    
      25
      http://0.gravatar.com/avatar/f877bbee390022be4...
      safe
    
    
      26
      http://0.gravatar.com/avatar/fa06547ad29189aab...
      safe
    
    
      27
      http://0.gravatar.com/avatar/f8af44bdc069d275b...
      safe
    
    
      28
      http://0.gravatar.com/avatar/fe1eb47379e85e263...
      safe
    
    
      29
      http://0.gravatar.com/avatar/c9e9e200d0a215a5d...
      safe
    
    
      ...
      ...
      ...
    
    
      47574
      http://zx.10jqka.com.cn/hsgt/shareinfo/getdata...
      safe
    
    
      47575
      http://zx.cp.ifeng.com
      safe
    
    
      47576
      http://zx.sina.cn
      safe
    
    
      47577
      http://zwdt.sh.gov.cn/zwdtSW/dphead/foot/foot....
      safe
    
    
      47578
      http://zuul.aikucun.com
      safe
    
    
      47579
      http://zxbjapi.home.fang.com
      safe
    
    
      47580
      http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....
      safe
    
    
      47581
      http://zxh277100963.iteye.com/blog/1008165
      safe
    
    
      47582
      http://zxl.eceibs20.com
      safe
    
    
      47583
      http://zy.static.xywy.com
      safe
    
    
      47584
      http://zz.bdstatic.com
      safe
    
    
      47585
      http://zyxing.xmjcyly33.cn/huangshan
      safe
    
    
      47586
      http://zxservicecdn.xibei.com.cn
      safe
    
    
      47587
      http://zzd.sm.cn
      safe
    
    
      47588
      http://zyguwen.oss-cn-hangzhou.aliyuncs.com
      compromised
    
    
      47589
      http://zz.news.fang.com/dg/2019-04-01/31998359...
      safe
    
    
      47590
      http://zz.blibee.com
      safe
    
    
      47591
      http://zxgk.court.gov.cn/zhzxgk/
      safe
    
    
      47592
      http://zz.pcauto.com.cn
      safe
    
    
      47593
      http://zzgq.hnair.com
      safe
    
    
      47594
      http://zzcc.uoozz.com/index.php/Admin/login/in...
      safe
    
    
      47595
      http://zz.blibee.net
      safe
    
    
      47596
      http://zzk.cnblogs.com
      safe
    
    
      47597
      http://zzhz.zjol.com.cn
      safe
    
    
      47598
      http://zzq.dragonest.com
      safe
    
    
      47599
      http://zzl8806259548.cn.gtobal.com/contactus.html
      safe
    
    
      47600
      http://zzy.quyaoya.com
      safe
    
    
      47601
      http://zzy1.quyaoya.com
      safe
    
    
      47602
      http://zzhzbbs.zjol.com.cn
      safe
    
    
      47603
      http://zzx.zgys.net
      safe
    
  

47604 rows × 2 columns



In [91]:

    
new_df = pd.merge(df_url_detect, df_s, on="url")
new_df.rename(columns={"黑白_x": "url_detect", "黑白_y": "s"}, inplace=True)
new_df









    Out[91]:







  
    
      
      url
      url_detect
      s
    
  
  
    
      0
      http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...
      safe
      白
    
    
      1
      http://0.gravatar.com/avatar/?s=48&amp;d=mm&am...
      safe
      白
    
    
      2
      http://0.gravatar.com/avatar/68bcea4063e3d4672...
      safe
      白
    
    
      3
      http://0.gravatar.com/avatar/31512b88dd6cd7443...
      safe
      白
    
    
      4
      http://0.gravatar.com/avatar/67d0956e9de9e2049...
      safe
      白
    
    
      5
      http://0.gravatar.com/avatar/3d9250a0bf6201fee...
      safe
      白
    
    
      6
      http://0.gravatar.com/avatar/3229c1b7955d064ff...
      safe
      白
    
    
      7
      http://0.gravatar.com/avatar/3c4260c4b26558d53...
      safe
      白
    
    
      8
      http://0.gravatar.com/avatar/34526b94adebe16fd...
      safe
      白
    
    
      9
      http://0.gravatar.com/avatar/695cce6ae0ad641ad...
      safe
      白
    
    
      10
      http://0.gravatar.com/avatar/97aaff6371583bce6...
      safe
      白
    
    
      11
      http://0.gravatar.com
      safe
      未知
    
    
      12
      http://0.gravatar.com/avatar/0d1613ce075d3047a...
      safe
      白
    
    
      13
      http://0.gravatar.com/avatar/007cef2f3e91982e0...
      safe
      白
    
    
      14
      http://0.gravatar.com/avatar/0bb7d56d7c5b80220...
      safe
      白
    
    
      15
      http://0.gravatar.com/avatar/6447554718f316edb...
      safe
      白
    
    
      16
      http://0.gravatar.com/avatar/c75b4602ee4346ac1...
      safe
      白
    
    
      17
      http://0.gravatar.com/avatar/c4421af62e824fe97...
      safe
      白
    
    
      18
      http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...
      safe
      白
    
    
      19
      http://0.gravatar.com/avatar/f54a7a25b70806167...
      safe
      白
    
    
      20
      http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...
      safe
      白
    
    
      21
      http://0.gravatar.com/avatar/f75697b7646dfbc31...
      safe
      白
    
    
      22
      http://0.gravatar.com/avatar/9a09e4802f5bff3a7...
      safe
      白
    
    
      23
      http://0.gravatar.com/avatar/f69dd720dbf3b270f...
      safe
      白
    
    
      24
      http://0.gravatar.com/avatar/f08dbeb903bbb24a1...
      safe
      白
    
    
      25
      http://0.gravatar.com/avatar/f877bbee390022be4...
      safe
      白
    
    
      26
      http://0.gravatar.com/avatar/fa06547ad29189aab...
      safe
      白
    
    
      27
      http://0.gravatar.com/avatar/f8af44bdc069d275b...
      safe
      白
    
    
      28
      http://0.gravatar.com/avatar/fe1eb47379e85e263...
      safe
      白
    
    
      29
      http://0.gravatar.com/avatar/c9e9e200d0a215a5d...
      safe
      白
    
    
      ...
      ...
      ...
      ...
    
    
      47574
      http://zx.10jqka.com.cn/hsgt/shareinfo/getdata...
      safe
      白
    
    
      47575
      http://zx.cp.ifeng.com
      safe
      白
    
    
      47576
      http://zx.sina.cn
      safe
      白
    
    
      47577
      http://zwdt.sh.gov.cn/zwdtSW/dphead/foot/foot....
      safe
      白
    
    
      47578
      http://zuul.aikucun.com
      safe
      白
    
    
      47579
      http://zxbjapi.home.fang.com
      safe
      白
    
    
      47580
      http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....
      safe
      白
    
    
      47581
      http://zxh277100963.iteye.com/blog/1008165
      safe
      白
    
    
      47582
      http://zxl.eceibs20.com
      safe
      白
    
    
      47583
      http://zy.static.xywy.com
      safe
      白
    
    
      47584
      http://zz.bdstatic.com
      safe
      白
    
    
      47585
      http://zyxing.xmjcyly33.cn/huangshan
      safe
      白
    
    
      47586
      http://zxservicecdn.xibei.com.cn
      safe
      白
    
    
      47587
      http://zzd.sm.cn
      safe
      白
    
    
      47588
      http://zyguwen.oss-cn-hangzhou.aliyuncs.com
      compromised
      黑
    
    
      47589
      http://zz.news.fang.com/dg/2019-04-01/31998359...
      safe
      白
    
    
      47590
      http://zz.blibee.com
      safe
      白
    
    
      47591
      http://zxgk.court.gov.cn/zhzxgk/
      safe
      白
    
    
      47592
      http://zz.pcauto.com.cn
      safe
      白
    
    
      47593
      http://zzgq.hnair.com
      safe
      白
    
    
      47594
      http://zzcc.uoozz.com/index.php/Admin/login/in...
      safe
      白
    
    
      47595
      http://zz.blibee.net
      safe
      白
    
    
      47596
      http://zzk.cnblogs.com
      safe
      白
    
    
      47597
      http://zzhz.zjol.com.cn
      safe
      白
    
    
      47598
      http://zzq.dragonest.com
      safe
      白
    
    
      47599
      http://zzl8806259548.cn.gtobal.com/contactus.html
      safe
      白
    
    
      47600
      http://zzy.quyaoya.com
      safe
      白
    
    
      47601
      http://zzy1.quyaoya.com
      safe
      白
    
    
      47602
      http://zzhzbbs.zjol.com.cn
      safe
      白
    
    
      47603
      http://zzx.zgys.net
      safe
      白
    
  

47604 rows × 3 columns



In [92]:

    
new_df["黑白"] = np.where(new_df["url_detect"] != "safe", "黑", new_df["s"])
new_df









    Out[92]:







  
    
      
      url
      url_detect
      s
      黑白
    
  
  
    
      0
      http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...
      safe
      白
      白
    
    
      1
      http://0.gravatar.com/avatar/?s=48&amp;d=mm&am...
      safe
      白
      白
    
    
      2
      http://0.gravatar.com/avatar/68bcea4063e3d4672...
      safe
      白
      白
    
    
      3
      http://0.gravatar.com/avatar/31512b88dd6cd7443...
      safe
      白
      白
    
    
      4
      http://0.gravatar.com/avatar/67d0956e9de9e2049...
      safe
      白
      白
    
    
      5
      http://0.gravatar.com/avatar/3d9250a0bf6201fee...
      safe
      白
      白
    
    
      6
      http://0.gravatar.com/avatar/3229c1b7955d064ff...
      safe
      白
      白
    
    
      7
      http://0.gravatar.com/avatar/3c4260c4b26558d53...
      safe
      白
      白
    
    
      8
      http://0.gravatar.com/avatar/34526b94adebe16fd...
      safe
      白
      白
    
    
      9
      http://0.gravatar.com/avatar/695cce6ae0ad641ad...
      safe
      白
      白
    
    
      10
      http://0.gravatar.com/avatar/97aaff6371583bce6...
      safe
      白
      白
    
    
      11
      http://0.gravatar.com
      safe
      未知
      未知
    
    
      12
      http://0.gravatar.com/avatar/0d1613ce075d3047a...
      safe
      白
      白
    
    
      13
      http://0.gravatar.com/avatar/007cef2f3e91982e0...
      safe
      白
      白
    
    
      14
      http://0.gravatar.com/avatar/0bb7d56d7c5b80220...
      safe
      白
      白
    
    
      15
      http://0.gravatar.com/avatar/6447554718f316edb...
      safe
      白
      白
    
    
      16
      http://0.gravatar.com/avatar/c75b4602ee4346ac1...
      safe
      白
      白
    
    
      17
      http://0.gravatar.com/avatar/c4421af62e824fe97...
      safe
      白
      白
    
    
      18
      http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...
      safe
      白
      白
    
    
      19
      http://0.gravatar.com/avatar/f54a7a25b70806167...
      safe
      白
      白
    
    
      20
      http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...
      safe
      白
      白
    
    
      21
      http://0.gravatar.com/avatar/f75697b7646dfbc31...
      safe
      白
      白
    
    
      22
      http://0.gravatar.com/avatar/9a09e4802f5bff3a7...
      safe
      白
      白
    
    
      23
      http://0.gravatar.com/avatar/f69dd720dbf3b270f...
      safe
      白
      白
    
    
      24
      http://0.gravatar.com/avatar/f08dbeb903bbb24a1...
      safe
      白
      白
    
    
      25
      http://0.gravatar.com/avatar/f877bbee390022be4...
      safe
      白
      白
    
    
      26
      http://0.gravatar.com/avatar/fa06547ad29189aab...
      safe
      白
      白
    
    
      27
      http://0.gravatar.com/avatar/f8af44bdc069d275b...
      safe
      白
      白
    
    
      28
      http://0.gravatar.com/avatar/fe1eb47379e85e263...
      safe
      白
      白
    
    
      29
      http://0.gravatar.com/avatar/c9e9e200d0a215a5d...
      safe
      白
      白
    
    
      ...
      ...
      ...
      ...
      ...
    
    
      47574
      http://zx.10jqka.com.cn/hsgt/shareinfo/getdata...
      safe
      白
      白
    
    
      47575
      http://zx.cp.ifeng.com
      safe
      白
      白
    
    
      47576
      http://zx.sina.cn
      safe
      白
      白
    
    
      47577
      http://zwdt.sh.gov.cn/zwdtSW/dphead/foot/foot....
      safe
      白
      白
    
    
      47578
      http://zuul.aikucun.com
      safe
      白
      白
    
    
      47579
      http://zxbjapi.home.fang.com
      safe
      白
      白
    
    
      47580
      http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....
      safe
      白
      白
    
    
      47581
      http://zxh277100963.iteye.com/blog/1008165
      safe
      白
      白
    
    
      47582
      http://zxl.eceibs20.com
      safe
      白
      白
    
    
      47583
      http://zy.static.xywy.com
      safe
      白
      白
    
    
      47584
      http://zz.bdstatic.com
      safe
      白
      白
    
    
      47585
      http://zyxing.xmjcyly33.cn/huangshan
      safe
      白
      白
    
    
      47586
      http://zxservicecdn.xibei.com.cn
      safe
      白
      白
    
    
      47587
      http://zzd.sm.cn
      safe
      白
      白
    
    
      47588
      http://zyguwen.oss-cn-hangzhou.aliyuncs.com
      compromised
      黑
      黑
    
    
      47589
      http://zz.news.fang.com/dg/2019-04-01/31998359...
      safe
      白
      白
    
    
      47590
      http://zz.blibee.com
      safe
      白
      白
    
    
      47591
      http://zxgk.court.gov.cn/zhzxgk/
      safe
      白
      白
    
    
      47592
      http://zz.pcauto.com.cn
      safe
      白
      白
    
    
      47593
      http://zzgq.hnair.com
      safe
      白
      白
    
    
      47594
      http://zzcc.uoozz.com/index.php/Admin/login/in...
      safe
      白
      白
    
    
      47595
      http://zz.blibee.net
      safe
      白
      白
    
    
      47596
      http://zzk.cnblogs.com
      safe
      白
      白
    
    
      47597
      http://zzhz.zjol.com.cn
      safe
      白
      白
    
    
      47598
      http://zzq.dragonest.com
      safe
      白
      白
    
    
      47599
      http://zzl8806259548.cn.gtobal.com/contactus.html
      safe
      白
      白
    
    
      47600
      http://zzy.quyaoya.com
      safe
      白
      白
    
    
      47601
      http://zzy1.quyaoya.com
      safe
      白
      白
    
    
      47602
      http://zzhzbbs.zjol.com.cn
      safe
      白
      白
    
    
      47603
      http://zzx.zgys.net
      safe
      白
      白
    
  

47604 rows × 4 columns

发现黑白这一列里面有未知, 应该改成白



In [93]:

    
new_df[new_df["黑白"] == "未知"]









    Out[93]:







  
    
      
      url
      url_detect
      s
      黑白
    
  
  
    
      11
      http://0.gravatar.com
      safe
      未知
      未知
    
    
      54
      http://067-umd-991.mktoresp.com
      safe
      未知
      未知
    
    
      127
      http://100000007291.canting.n.weimob.com/saas/...
      safe
      未知
      未知
    
    
      225
      http://106.14.144.67:8010/eoffice10/server/pub...
      safe
      未知
      未知
    
    
      274
      http://110.76.15.147
      safe
      未知
      未知
    
    
      482
      http://113.96.231.155:443
      safe
      未知
      未知
    
    
      697
      http://117.143.109.133/cache/theme-drcn.dbankc...
      safe
      未知
      未知
    
    
      708
      http://117.143.109.134/cache/image.uc.cn/s/uae...
      safe
      未知
      未知
    
    
      806
      http://117.143.109.140/cache/soft.imtt.qq.com/...
      safe
      未知
      未知
    
    
      813
      http://117.143.109.141/cache/mag.reader.3g.qq....
      safe
      未知
      未知
    
    
      839
      http://117.143.109.142/cache/theme-drcn.dbankc...
      safe
      未知
      未知
    
    
      893
      http://117.143.109.146/cache/s8.url.cn/offline...
      safe
      未知
      未知
    
    
      909
      http://117.143.109.147/cache/vfile.meituan.net...
      safe
      未知
      未知
    
    
      930
      http://117.143.109.148/cache/theme-drcn.dbankc...
      safe
      未知
      未知
    
    
      937
      http://117.143.109.148/cache/theme-drcn.dbankc...
      safe
      未知
      未知
    
    
      939
      http://117.143.109.148/cache/theme-drcn.dbankc...
      safe
      未知
      未知
    
    
      953
      http://117.143.109.149/cache/dldir1.qq.com/qqm...
      safe
      未知
      未知
    
    
      1087
      http://117.143.109.153/cache/soft.imtt.qq.com/...
      safe
      未知
      未知
    
    
      1311
      http://117.143.109.161/cache/dl_dir.qq.com/inv...
      safe
      未知
      未知
    
    
      1518
      http://117.143.109.168/cache/theme-drcn.dbankc...
      safe
      未知
      未知
    
    
      1778
      http://117.184.242.194
      safe
      未知
      未知
    
    
      1909
      http://117.48.124.216/query?1554091977
      safe
      未知
      未知
    
    
      1994
      http://120.198.143.211:8071/phone/livechange.t...
      safe
      未知
      未知
    
    
      2009
      http://120.198.143.211:8071/phone/livechange.t...
      safe
      未知
      未知
    
    
      2050
      http://120.198.143.211:8071/phone/livechange.t...
      safe
      未知
      未知
    
    
      2203
      http://120.198.143.213:8071/phone/lqscore/lqli...
      safe
      未知
      未知
    
    
      2454
      http://120.92.75.119/duba/kisengine/data/index...
      safe
      未知
      未知
    
    
      2486
      http://121.51.141.90:80
      safe
      未知
      未知
    
    
      2643
      http://139pe.mail.10086.cn
      safe
      未知
      未知
    
    
      3036
      http://192.95.20.194/common/network-access-det...
      safe
      未知
      未知
    
    
      ...
      ...
      ...
      ...
      ...
    
    
      43964
      http://www.thinkpage.cn/weather/weather.aspx?u...
      safe
      未知
      未知
    
    
      44032
      http://www.transat.com
      safe
      未知
      未知
    
    
      44272
      http://www.vip.com
      safe
      未知
      未知
    
    
      44480
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      44616
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      44869
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      44939
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      45172
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      45175
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      45254
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      45300
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      45301
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      45457
      http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...
      safe
      未知
      未知
    
    
      45813
      http://www.w3school.com.cn/tags/tag_br.asp
      safe
      未知
      未知
    
    
      45859
      http://www.weather.com.cn/weather/101100101.shtml
      safe
      未知
      未知
    
    
      46040
      http://www.wzzw.la/22/22601/5156383.html
      safe
      未知
      未知
    
    
      46180
      http://www.xsuimeng.com/modules/article/search...
      safe
      未知
      未知
    
    
      46287
      http://www.yipinxia.net/modules/article/search...
      safe
      未知
      未知
    
    
      46419
      http://www.zdic.net/p/?l=kj&amp;u=26D8E&amp;s=20
      safe
      未知
      未知
    
    
      46585
      http://www4.thy.com
      safe
      未知
      未知
    
    
      46796
      http://wxy.njnu.edu.cn/index.htm
      safe
      未知
      未知
    
    
      46915
      http://xianyu-video.alicdn.com/video-846739765...
      safe
      未知
      未知
    
    
      46964
      http://xnjkfx.cpic.com.cn
      safe
      未知
      未知
    
    
      47175
      http://ykjcx.yundasys.com:1602/wsd/ykjcx/cxend...
      safe
      未知
      未知
    
    
      47177
      http://ykjcx.yundasys.com:1602/wsd/ykjcx/cxend...
      safe
      未知
      未知
    
    
      47179
      http://ykjcx.yundasys.com:1602/wsd/ykjcx/cxend...
      safe
      未知
      未知
    
    
      47410
      http://zh.moegirl.org
      safe
      未知
      未知
    
    
      47452
      http://zhihu.com/equation?tex==\frac{1}{3} *\f...
      safe
      未知
      未知
    
    
      47454
      http://zhihu.com/equation?tex==\frac{1}{216} *...
      safe
      未知
      未知
    
    
      47455
      http://zhihu.com/equation?tex==\frac{1}{3} *\f...
      safe
      未知
      未知
    
  

478 rows × 4 columns



In [94]:

    
new_df.loc[new_df["黑白"] == "未知", "黑白"] = "白"
new_df.drop(columns=["url_detect", "s"], inplace=True)
new_df









    Out[94]:







  
    
      
      url
      黑白
    
  
  
    
      0
      http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...
      白
    
    
      1
      http://0.gravatar.com/avatar/?s=48&amp;d=mm&am...
      白
    
    
      2
      http://0.gravatar.com/avatar/68bcea4063e3d4672...
      白
    
    
      3
      http://0.gravatar.com/avatar/31512b88dd6cd7443...
      白
    
    
      4
      http://0.gravatar.com/avatar/67d0956e9de9e2049...
      白
    
    
      5
      http://0.gravatar.com/avatar/3d9250a0bf6201fee...
      白
    
    
      6
      http://0.gravatar.com/avatar/3229c1b7955d064ff...
      白
    
    
      7
      http://0.gravatar.com/avatar/3c4260c4b26558d53...
      白
    
    
      8
      http://0.gravatar.com/avatar/34526b94adebe16fd...
      白
    
    
      9
      http://0.gravatar.com/avatar/695cce6ae0ad641ad...
      白
    
    
      10
      http://0.gravatar.com/avatar/97aaff6371583bce6...
      白
    
    
      11
      http://0.gravatar.com
      白
    
    
      12
      http://0.gravatar.com/avatar/0d1613ce075d3047a...
      白
    
    
      13
      http://0.gravatar.com/avatar/007cef2f3e91982e0...
      白
    
    
      14
      http://0.gravatar.com/avatar/0bb7d56d7c5b80220...
      白
    
    
      15
      http://0.gravatar.com/avatar/6447554718f316edb...
      白
    
    
      16
      http://0.gravatar.com/avatar/c75b4602ee4346ac1...
      白
    
    
      17
      http://0.gravatar.com/avatar/c4421af62e824fe97...
      白
    
    
      18
      http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...
      白
    
    
      19
      http://0.gravatar.com/avatar/f54a7a25b70806167...
      白
    
    
      20
      http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...
      白
    
    
      21
      http://0.gravatar.com/avatar/f75697b7646dfbc31...
      白
    
    
      22
      http://0.gravatar.com/avatar/9a09e4802f5bff3a7...
      白
    
    
      23
      http://0.gravatar.com/avatar/f69dd720dbf3b270f...
      白
    
    
      24
      http://0.gravatar.com/avatar/f08dbeb903bbb24a1...
      白
    
    
      25
      http://0.gravatar.com/avatar/f877bbee390022be4...
      白
    
    
      26
      http://0.gravatar.com/avatar/fa06547ad29189aab...
      白
    
    
      27
      http://0.gravatar.com/avatar/f8af44bdc069d275b...
      白
    
    
      28
      http://0.gravatar.com/avatar/fe1eb47379e85e263...
      白
    
    
      29
      http://0.gravatar.com/avatar/c9e9e200d0a215a5d...
      白
    
    
      ...
      ...
      ...
    
    
      47574
      http://zx.10jqka.com.cn/hsgt/shareinfo/getdata...
      白
    
    
      47575
      http://zx.cp.ifeng.com
      白
    
    
      47576
      http://zx.sina.cn
      白
    
    
      47577
      http://zwdt.sh.gov.cn/zwdtSW/dphead/foot/foot....
      白
    
    
      47578
      http://zuul.aikucun.com
      白
    
    
      47579
      http://zxbjapi.home.fang.com
      白
    
    
      47580
      http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....
      白
    
    
      47581
      http://zxh277100963.iteye.com/blog/1008165
      白
    
    
      47582
      http://zxl.eceibs20.com
      白
    
    
      47583
      http://zy.static.xywy.com
      白
    
    
      47584
      http://zz.bdstatic.com
      白
    
    
      47585
      http://zyxing.xmjcyly33.cn/huangshan
      白
    
    
      47586
      http://zxservicecdn.xibei.com.cn
      白
    
    
      47587
      http://zzd.sm.cn
      白
    
    
      47588
      http://zyguwen.oss-cn-hangzhou.aliyuncs.com
      黑
    
    
      47589
      http://zz.news.fang.com/dg/2019-04-01/31998359...
      白
    
    
      47590
      http://zz.blibee.com
      白
    
    
      47591
      http://zxgk.court.gov.cn/zhzxgk/
      白
    
    
      47592
      http://zz.pcauto.com.cn
      白
    
    
      47593
      http://zzgq.hnair.com
      白
    
    
      47594
      http://zzcc.uoozz.com/index.php/Admin/login/in...
      白
    
    
      47595
      http://zz.blibee.net
      白
    
    
      47596
      http://zzk.cnblogs.com
      白
    
    
      47597
      http://zzhz.zjol.com.cn
      白
    
    
      47598
      http://zzq.dragonest.com
      白
    
    
      47599
      http://zzl8806259548.cn.gtobal.com/contactus.html
      白
    
    
      47600
      http://zzy.quyaoya.com
      白
    
    
      47601
      http://zzy1.quyaoya.com
      白
    
    
      47602
      http://zzhzbbs.zjol.com.cn
      白
    
    
      47603
      http://zzx.zgys.net
      白
    
  

47604 rows × 2 columns

秒出



In [95]:

    
new_df["黑白"].value_counts()









    Out[95]:





白    45277
黑     2327
Name: 黑白, dtype: int64



In [44]:

    
new_df.to_csv









    



  File "<ipython-input-44-26b1b8972cc1>", line 1
    new_df.
           ^
SyntaxError: invalid syntax



In [ ]:

	食品	数量	热量(大卡)
0	瘦火腿	2 片 (60克)	70
1	烤猪扒(连肥)	1 件 (90克)	300
2	烤猪扒(去肥)	1 件 (60克)	135
3	煎猪扒	2 件 (100 克)	450
4	烧牛肉(薄瘦)	3 片 (90 克)	175
5	烤牛扒	1 件	155
6	午餐肉	1/4 罐	350
7	煎香肠(牛)	2 条	375
8	煎香肠(猪)	2 条	440
9	意大利香肠	2 片	150
10	热狗肠	1 条	150
11	德国香肠	2 条	90
12	蒸腊肠	2 条	310
13	莎乐美肠	4 片	195
14	烧鸡脾	1 只	215
15	白切鸡脾	1 只 (100 克)	200
16	烧鸭	1 份 (120 克)	356

	食品	数量	热量(大卡)	测试
0	瘦火腿	2 片 (60克)	70	啦啦啦
1	烤猪扒(连肥)	1 件 (90克)	300	啦啦啦
2	烤猪扒(去肥)	1 件 (60克)	135	啦啦啦
3	煎猪扒	2 件 (100 克)	450	啦啦啦
4	烧牛肉(薄瘦)	3 片 (90 克)	175	啦啦啦
5	烤牛扒	1 件	155	啦啦啦
6	午餐肉	1/4 罐	350	啦啦啦
7	煎香肠(牛)	2 条	375	啦啦啦
8	煎香肠(猪)	2 条	440	啦啦啦
9	意大利香肠	2 片	150	啦啦啦
10	热狗肠	1 条	150	啦啦啦
11	德国香肠	2 条	90	啦啦啦
12	蒸腊肠	2 条	310	啦啦啦
13	莎乐美肠	4 片	195	啦啦啦
14	烧鸡脾	1 只	215	啦啦啦
15	白切鸡脾	1 只 (100 克)	200	啦啦啦
16	烧鸭	1 份 (120 克)	356	啦啦啦
冰淇淋	乱入	乱入	乱入	乱入

	index	食品名称	计量单位	热量(大卡)	份数	总热量
0	3	煎猪扒	2 件 (100 克)	450	11	4950
1	8	煎香肠(猪)	2 条	440	13	5720
2	7	煎香肠(牛)	2 条	375	2	750
3	16	烧鸭	1 份 (120 克)	356	18	6408
4	6	午餐肉	1/4 罐	350	17	5950
5	12	蒸腊肠	2 条	310	9	2790
6	1	烤猪扒(连肥)	1 件 (90克)	300	15	4500
7	14	烧鸡脾	1 只	215	6	1290
8	15	白切鸡脾	NaN	200	2	400
9	13	莎乐美肠	4 片	195	14	2730
10	4	烧牛肉(薄瘦)	3 片 (90 克)	175	18	3150
11	5	烤牛扒	1 件	155	15	2325
12	9	意大利香肠	2 片	150	1	150
13	10	热狗肠	1 条	150	2	300
14	2	烤猪扒(去肥)	1 件 (60克)	135	9	1215
15	11	德国香肠	2 条	90	17	1530
16	0	瘦火腿	2 片 (60克)	70	9	630

	url	黑白
0	http://0.gravatar.com/avatar/02c7f0cde2ace8a4c...	NaN
1	http://0.gravatar.com/avatar/?s=48&d=mm&am...	NaN
2	http://0.gravatar.com/avatar/68bcea4063e3d4672...	NaN
3	http://0.gravatar.com/avatar/31512b88dd6cd7443...	NaN
4	http://0.gravatar.com/avatar/67d0956e9de9e2049...	NaN
5	http://0.gravatar.com/avatar/3d9250a0bf6201fee...	NaN
6	http://0.gravatar.com/avatar/3229c1b7955d064ff...	NaN
7	http://0.gravatar.com/avatar/3c4260c4b26558d53...	NaN
8	http://0.gravatar.com/avatar/34526b94adebe16fd...	NaN
9	http://0.gravatar.com/avatar/695cce6ae0ad641ad...	NaN
10	http://0.gravatar.com/avatar/97aaff6371583bce6...	NaN
11	http://0.gravatar.com	safe
12	http://0.gravatar.com/avatar/0d1613ce075d3047a...	NaN
13	http://0.gravatar.com/avatar/007cef2f3e91982e0...	NaN
14	http://0.gravatar.com/avatar/0bb7d56d7c5b80220...	NaN
15	http://0.gravatar.com/avatar/6447554718f316edb...	NaN
16	http://0.gravatar.com/avatar/c75b4602ee4346ac1...	NaN
17	http://0.gravatar.com/avatar/c4421af62e824fe97...	NaN
18	http://0.gravatar.com/avatar/c2a25d5e4fca1e1e5...	NaN
19	http://0.gravatar.com/avatar/f54a7a25b70806167...	NaN
20	http://0.gravatar.com/avatar/cc48ad4ba9180b6cb...	NaN
21	http://0.gravatar.com/avatar/f75697b7646dfbc31...	NaN
22	http://0.gravatar.com/avatar/9a09e4802f5bff3a7...	NaN
23	http://0.gravatar.com/avatar/f69dd720dbf3b270f...	NaN
24	http://0.gravatar.com/avatar/f08dbeb903bbb24a1...	NaN
25	http://0.gravatar.com/avatar/f877bbee390022be4...	NaN
26	http://0.gravatar.com/avatar/fa06547ad29189aab...	NaN
27	http://0.gravatar.com/avatar/f8af44bdc069d275b...	NaN
28	http://0.gravatar.com/avatar/fe1eb47379e85e263...	NaN
29	http://0.gravatar.com/avatar/c9e9e200d0a215a5d...	NaN
...	...	...
47574	http://zx.10jqka.com.cn/hsgt/shareinfo/getdata...	NaN
47575	http://zx.cp.ifeng.com	safe
47576	http://zx.sina.cn	safe
47577	http://zwdt.sh.gov.cn/zwdtSW/dphead/foot/foot....	NaN
47578	http://zuul.aikucun.com	NaN
47579	http://zxbjapi.home.fang.com	safe
47580	http://zwdt.sh.gov.cn/zwdtSW/dphead/head/head....	NaN
47581	http://zxh277100963.iteye.com/blog/1008165	NaN
47582	http://zxl.eceibs20.com	NaN
47583	http://zy.static.xywy.com	safe
47584	http://zz.bdstatic.com	NaN
47585	http://zyxing.xmjcyly33.cn/huangshan	NaN
47586	http://zxservicecdn.xibei.com.cn	NaN
47587	http://zzd.sm.cn	NaN
47588	http://zyguwen.oss-cn-hangzhou.aliyuncs.com	compromised
47589	http://zz.news.fang.com/dg/2019-04-01/31998359...	NaN
47590	http://zz.blibee.com	NaN
47591	http://zxgk.court.gov.cn/zhzxgk/	NaN
47592	http://zz.pcauto.com.cn	safe
47593	http://zzgq.hnair.com	NaN
47594	http://zzcc.uoozz.com/index.php/Admin/login/in...	NaN
47595	http://zz.blibee.net	NaN
47596	http://zzk.cnblogs.com	safe
47597	http://zzhz.zjol.com.cn	safe
47598	http://zzq.dragonest.com	NaN
47599	http://zzl8806259548.cn.gtobal.com/contactus.html	NaN
47600	http://zzy.quyaoya.com	NaN
47601	http://zzy1.quyaoya.com	NaN
47602	http://zzhzbbs.zjol.com.cn	safe
47603	http://zzx.zgys.net	NaN

	url	url_detect	s	黑白
11	http://0.gravatar.com	safe	未知	未知
54	http://067-umd-991.mktoresp.com	safe	未知	未知
127	http://100000007291.canting.n.weimob.com/saas/...	safe	未知	未知
225	http://106.14.144.67:8010/eoffice10/server/pub...	safe	未知	未知
274	http://110.76.15.147	safe	未知	未知
482	http://113.96.231.155:443	safe	未知	未知
697	http://117.143.109.133/cache/theme-drcn.dbankc...	safe	未知	未知
708	http://117.143.109.134/cache/image.uc.cn/s/uae...	safe	未知	未知
806	http://117.143.109.140/cache/soft.imtt.qq.com/...	safe	未知	未知
813	http://117.143.109.141/cache/mag.reader.3g.qq....	safe	未知	未知
839	http://117.143.109.142/cache/theme-drcn.dbankc...	safe	未知	未知
893	http://117.143.109.146/cache/s8.url.cn/offline...	safe	未知	未知
909	http://117.143.109.147/cache/vfile.meituan.net...	safe	未知	未知
930	http://117.143.109.148/cache/theme-drcn.dbankc...	safe	未知	未知
937	http://117.143.109.148/cache/theme-drcn.dbankc...	safe	未知	未知
939	http://117.143.109.148/cache/theme-drcn.dbankc...	safe	未知	未知
953	http://117.143.109.149/cache/dldir1.qq.com/qqm...	safe	未知	未知
1087	http://117.143.109.153/cache/soft.imtt.qq.com/...	safe	未知	未知
1311	http://117.143.109.161/cache/dl_dir.qq.com/inv...	safe	未知	未知
1518	http://117.143.109.168/cache/theme-drcn.dbankc...	safe	未知	未知
1778	http://117.184.242.194	safe	未知	未知
1909	http://117.48.124.216/query?1554091977	safe	未知	未知
1994	http://120.198.143.211:8071/phone/livechange.t...	safe	未知	未知
2009	http://120.198.143.211:8071/phone/livechange.t...	safe	未知	未知
2050	http://120.198.143.211:8071/phone/livechange.t...	safe	未知	未知
2203	http://120.198.143.213:8071/phone/lqscore/lqli...	safe	未知	未知
2454	http://120.92.75.119/duba/kisengine/data/index...	safe	未知	未知
2486	http://121.51.141.90:80	safe	未知	未知
2643	http://139pe.mail.10086.cn	safe	未知	未知
3036	http://192.95.20.194/common/network-access-det...	safe	未知	未知
...	...	...	...	...
43964	http://www.thinkpage.cn/weather/weather.aspx?u...	safe	未知	未知
44032	http://www.transat.com	safe	未知	未知
44272	http://www.vip.com	safe	未知	未知
44480	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
44616	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
44869	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
44939	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
45172	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
45175	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
45254	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
45300	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
45301	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
45457	http://www.vipdlt.com/MIP/Order/MIP/OrderDetai...	safe	未知	未知
45813	http://www.w3school.com.cn/tags/tag_br.asp	safe	未知	未知
45859	http://www.weather.com.cn/weather/101100101.shtml	safe	未知	未知
46040	http://www.wzzw.la/22/22601/5156383.html	safe	未知	未知
46180	http://www.xsuimeng.com/modules/article/search...	safe	未知	未知
46287	http://www.yipinxia.net/modules/article/search...	safe	未知	未知
46419	http://www.zdic.net/p/?l=kj&u=26D8E&s=20	safe	未知	未知
46585	http://www4.thy.com	safe	未知	未知
46796	http://wxy.njnu.edu.cn/index.htm	safe	未知	未知
46915	http://xianyu-video.alicdn.com/video-846739765...	safe	未知	未知
46964	http://xnjkfx.cpic.com.cn	safe	未知	未知
47175	http://ykjcx.yundasys.com:1602/wsd/ykjcx/cxend...	safe	未知	未知
47177	http://ykjcx.yundasys.com:1602/wsd/ykjcx/cxend...	safe	未知	未知
47179	http://ykjcx.yundasys.com:1602/wsd/ykjcx/cxend...	safe	未知	未知
47410	http://zh.moegirl.org	safe	未知	未知
47452	http://zhihu.com/equation?tex==\frac{1}{3} *\f...	safe	未知	未知
47454	http://zhihu.com/equation?tex==\frac{1}{216} *...	safe	未知	未知
47455	http://zhihu.com/equation?tex==\frac{1}{3} *\f...	safe	未知	未知