notebook.community

Edit and run

Table of Contents

    

    

    In [1]:
    

    
    
    

    import pandas as pd
import synonyms
import jieba
import jieba.posseg as pseg

    

    
    

    

    


    


    

    



    

    
    



    

    Model loaded succeed
>> Synonyms on loading ...
>> Synonyms vocabulary size: 125792

    

    

    


    

    


    

    

    In [2]:
    

    
    
    

    pd.set_option('display.height', 1000)
pd.set_option('display.max_rows', 500)
pd.set_option('display.max_columns', 500)
pd.set_option('display.width', 1000)

    

    
    

    

    


    


    

    



    

    
    



    

    height has been deprecated.


    

    

    


    

    


    

    

    In [3]:
    

    
    
    

    corpus_df = pd.read_csv('/Users/olap/Desktop/corpus.csv')
corpus_2_list = corpus_df[corpus_df['rate'] == 2]['token'].tolist()
corpus_3_list = corpus_df[corpus_df['rate'] == 3]['token'].tolist()

    

    
    

    

    


    

    

    In [4]:
    

    
    
    

    def title_token_rater(tokens):
    
    tokens_rate = list(map(lambda x:3 if x in corpus_3_list else(2 if x in corpus_2_list else 0), tokens))
        
    token_3_cnt = tokens_rate.count(3)
    token_2_cnt = tokens_rate.count(2)
    
    return [token_2_cnt, token_3_cnt]

    

    
    

    

    


    

    

    In [5]:
    

    
    
    

    def title_syn_rater(tokens):
    
    syn_3_cnt = 0
    syn_2_cnt = 0
    syn_cnt_list = []
    
    for token in tokens:
        syn = synonyms.nearby(token)[0]
        syn_rates = list(map(lambda x:3 if x in corpus_3_list else(2 if x in corpus_2_list else 0), syn))

        syn_cnt = [2 if syn_rates.count(3) < syn_rates.count(2) else(0 if syn_rates.count(3) == 0 and syn_rates.count(2) == 0 else 3)]
        syn_cnt_list += syn_cnt
        
    syn_3_cnt = syn_cnt_list.count(3)
    syn_2_cnt = syn_cnt_list.count(2)
     
    return [syn_2_cnt, syn_3_cnt]

    

    
    

    

    


    

    

    In [6]:
    

    
    
    

    def title_processor(title):
    
    tokens = list(set(list(jieba.cut_for_search(title))))
#     print(tokens)
    token_rate = title_token_rater(tokens)
    syn_rate = title_syn_rater(tokens)
    
    return token_rate + syn_rate

    

    
    

    

    


    

    

    In [8]:
    

    
    
    

    training_title_list = open('/Users/olap/Desktop/training_title_list.txt', 'r').read().split('\n')[:100]

    

    
    

    

    


    

    

    In [18]:
    

    
    
    

    test_title = training_title_list[2]
print (test_title)

    

    
    

    

    


    


    

    



    

    
    



    

    跟老公结婚当天，老公强行的让我和他的几个朋友一起爱爱，我是第一次，下面疼的几乎晕过去，屁眼也被插了，_飞华健康问答

    

    

    


    

    


    

    

    In [19]:
    

    
    
    

    title_processor(test_title)

    

    
    

    

    


    


    

    



    

    
    Out[19]:
    





    

    [2, 1, 2, 0]
    

    


    


    

    


    

    

    In [24]:
    

    
    
    

    training_title_list = open('/Users/olap/Desktop/training_title_list.txt', 'r').read().split('\n')[:100]
title_feature_list = list(map(title_processor, training_title_list))

ture_label = open('/Users/olap/Desktop/training_set.txt', 'r').read().split('\n')
title_rate = open('/Users/olap/Desktop/title_rate.csv', 'r').read().split('\n')
true_label_list = list(map(lambda x:x.split(' ')[-1], ture_label))
true_label_list = [1 if label=='0' else label for label in true_label_list]
true_label_list = [0 if label=='100' else label for label in true_label_list][:-1]

label_list = list(map(lambda x:x.split(',')[-1], title_rate))

    

    
    

    

    


    

    

    In [25]:
    

    
    
    

    title = pd.DataFrame(training_title_list)
feature = pd.DataFrame(title_feature_list)
label = pd.DataFrame(label_list)
true_label = pd.DataFrame(true_label_list)

noobs_df = pd.concat([title, feature, label, true_label], axis= 1)
noobs_df.columns = ['Title', 'token_2', 'token_3', 'syn_2', 'syn_3', 'label', 'true_label']

    

    
    

    

    


    

    

    In [26]:
    

    
    
    

    noobs_df

    

    
    

    

    


    


    

    



    

    
    Out[26]:
    




    

    


    
  
    
    
      
      Title
      token_2
      token_3
      syn_2
      syn_3
      label
      true_label
    
    
      
  
    
    
      0
      大疆发布全新Zenmuse X7云台相机：6K分辨率RAW视频-大疆,Zenmuse X7,...
      0
      0
      1
      0
      0
      0
    
    
    
    
      1
      一个出轨女人的后悔自白（在233楼有大家对我提出的疑问进行了详细的解答） - 情感.婚姻.家...
      1
      0
      2
      1
      1
      1
    
    
    
    
      2
      跟老公结婚当天，老公强行的让我和他的几个朋友一起爱爱，我是第一次，下面疼的几乎晕过去，屁眼也...
      2
      1
      2
      0
      1
      1
    
    
    
    
      3
      宝马X2量产版曝光：老X1换代重生？-宝马,X2,量产版,X1,SUV,-驱动之家
      0
      0
      1
      0
      0
      0
    
    
    
    
      4
      和男友吵架的夜晚心烦意乱，我找了个男人开房解闷
      0
      1
      1
      0
      1
      1
    
    
    
    
      5
      日日煮DayDayCook_20170927期-大盘鸡一定要够大盘才尽兴！-生活-高清正版视...
      0
      0
      1
      0
      0
      0
    
    
    
    
      6
      充气娃娃真人男用半实体硅胶少妇全自动智能带阴毛成人情趣性用品-tmall.com天猫
      4
      1
      2
      1
      1
      1
    
    
    
    
      7
      蜂巢科技A轮融资6200万,工业级无人机寒冬"起飞"_新闻中心_比特网
      0
      0
      0
      0
      0
      0
    
    
    
    
      8
      美国FBA快递 - 福步外贸网,专注提供各类外贸服务
      0
      0
      0
      0
      0
      0
    
    
    
    
      9
      不省心的民宿短租是该管管了 民宿,短租,旅游,监督 iPhone6|iPhone6 plus...
      0
      0
      0
      0
      0
      0
    
    
    
    
      10
      重庆这个地方竟私藏了百亩玫瑰花田-资讯频道-华龙网
      0
      0
      0
      0
      0
      0
    
    
    
    
      11
      综述：蓝洞确认腾讯代理绝地求生 未成年人不理性消费可退款_网络游戏新闻_17173.com中...
      0
      0
      2
      2
      0
      0
    
    
    
    
      12
      历史上最好色的女人，不仅拥有30个男宠，还逼迫自己的姑父就范|南北朝|刘楚玉|男宠|山阴公主...
      1
      1
      2
      1
      1
      1
    
    
    
    
      13
      单日接客近7000人次 青岛邮轮母港创开港纪录 - 青岛新闻网
      1
      0
      1
      0
      0
      0
    
    
    
    
      14
      七旬知青往事：最忘不了在北大荒拉练时的那顿饺子_凤凰历史
      0
      0
      0
      0
      0
      0
    
    
    
    
      15
      单身女性买房必备的七条购房攻略_天津搜狐焦点网
      0
      0
      2
      0
      0
      0
    
    
    
    
      16
      专利申请业务-专利服务流程及费用-汇桔网服务商城
      0
      0
      0
      0
      0
      0
    
    
    
    
      17
      结婚十年，不抵一夜温存，我恨同学聚会
      1
      0
      1
      0
      1
      1
    
    
    
    
      18
      暹罗猫_互动百科
      0
      0
      0
      0
      0
      0
    
    
    
    
      19
      十八子作雅致七件套刀团购价格-国美团购
      0
      0
      0
      0
      0
      0
    
    
    
    
      20
      记录我的数次嫖妓经历和感受（开帖为忏悔）！_西安_天涯论坛_天涯社区
      0
      1
      1
      0
      1
      1
    
    
    
    
      21
      秋实评论：人工智能电视,谁立潮头？_秋实评论_新浪博客
      0
      0
      0
      0
      0
      0
    
    
    
    
      22
      老师与女学生通奸致其怀孕 妻子拉横幅举报 【凯迪华南】-凯迪社区
      1
      1
      1
      0
      1
      1
    
    
    
    
      23
      茅台发布品牌“瘦身”新策略 已砍155个品牌 -- 财界网 -- 中国财经金融门户
      0
      0
      0
      0
      0
      0
    
    
    
    
      24
      马来西亚房产优点分析 永久产权租赁回报高-新海外
      0
      0
      0
      0
      0
      0
    
    
    
    
      25
      铁轨出轨总数目（卡塔兰数及大数的运用） - 余生漫漫浪 - 博客园
      1
      0
      0
      0
      0
      0
    
    
    
    
      26
      【TA说】中国有一种比大熊猫还珍贵的猴子，因为不会卖萌错失国宝宝座_百度百科
      0
      0
      0
      0
      0
      0
    
    
    
    
      27
      操作系统使用率 - 我要啦 51.La 综合数据
      0
      0
      0
      0
      0
      0
    
    
    
    
      28
      格力表示暂不会举牌逼宫海立股份 董明珠或不想顶野蛮人之名_证券_腾讯网
      0
      0
      3
      0
      0
      0
    
    
    
    
      29
      “速度与激情”版烧烤炉横空出世-奇闻007
      1
      0
      0
      0
      0
      0
    
    
    
    
      30
      写代码容易吗，放松一下吧，苍老师的高清片子 - 独孤求欢 - 博客园
      0
      0
      0
      0
      1
      1
    
    
    
    
      31
      续航神机小米Max 2发布会直播：评论送红米4A-小米Max 2,发布会,直播,小米-驱动之家
      1
      0
      0
      0
      0
      0
    
    
    
    
      32
      这个国家突然宣布：弃用美元，改用人民币！_国际新闻_环球网
      0
      0
      0
      0
      0
      0
    
    
    
    
      33
      意外的恋爱时光_电影_高清1080P在线观看_腾讯视频
      0
      0
      1
      0
      0
      0
    
    
    
    
      34
      护肤不贵| 高性价二次清洁爽肤水盘点
      0
      0
      1
      0
      0
      0
    
    
    
    
      35
      【尸体派对2】上次4P不过瘾，这是最后一P了_单机游戏_游戏_bilibili_哔哩哔哩
      0
      0
      0
      0
      0
      1
    
    
    
    
      36
      默克尔赢得德国大选 与谁组阁成重要悬念-默克尔 德国大选 德国经济 黑天鹅 选举 另类选择 ...
      0
      0
      0
      0
      0
      0
    
    
    
    
      37
      王牌特工2：黄金圈(“花式装备”版预告)_高清在线观看 - 聚力视频 - 一起玩出精彩 - ...
      0
      0
      1
      0
      0
      0
    
    
    
    
      38
      在这场春游中，我们一起走进风景如画的双龙峡 – 【人人分享-人人网】
      0
      0
      0
      0
      0
      0
    
    
    
    
      39
      台式五香炸猪肉 丨 美味菜谱回顾-第一视频
      0
      0
      2
      0
      0
      0
    
    
    
    
      40
      吃在柬埔寨｜火锅烤肉两不误、还能吃7种肉的柬式烧烤，你想试试吗_新浪旅游_新浪网
      0
      0
      1
      0
      0
      0
    
    
    
    
      41
      做爱称呼 - 我的博客听我的 - 51CTO技术博客
      0
      1
      1
      0
      1
      1
    
    
    
    
      42
      【走读彭水】 豆游记——沿着迤逦乌江，和你在彭水相逢_旅游休闲_天涯论坛_天涯社区
      0
      0
      0
      0
      0
      0
    
    
    
    
      43
      【北京朝阳区二手Boxster】39.5万_黄色09款Boxster_Boxster二手车_淘车
      0
      0
      0
      0
      0
      0
    
    
    
    
      44
      外围女真实生活揭秘：一夜遍体鳞伤换来30万_食神的神_食神的神的和讯博客
      0
      0
      1
      0
      1
      1
    
    
    
    
      45
      超级细菌真的就没的治了吗？ - 知乎
      0
      0
      0
      0
      0
      0
    
    
    
    
      46
      【泡面翻】2017.10.10 法语泡一泡 - 团结就是力量_爱翻不凡翻译社_语言-沪江社团
      0
      0
      0
      0
      0
      0
    
    
    
    
      47
      唯美樱花木道 虹桥商务区未来十大水景有看头-区域频道-东方网
      0
      0
      1
      0
      0
      0
    
    
    
    
      48
      航空公司机票优惠力度大-新华网
      0
      0
      0
      0
      0
      0
    
    
    
    
      49
      舆情分析：兰陵一副校长致初中女生"怀孕" - 案例库 - 华声舆情 - 华声在线
      1
      0
      1
      0
      1
      1
    
    
    
    
      50
      不要再傻傻的用酵母发面了，用它只需2分钟，做出馒头又软又好吃
      0
      0
      0
      0
      0
      0
    
    
    
    
      51
      广场大全景再现 国庆花坛扮靓京城_网易新闻
      0
      0
      0
      0
      0
      0
    
    
    
    
      52
      抑制“煤超疯” 发改委连续发声保障煤炭供应_新闻频道_中国青年网
      0
      0
      1
      0
      0
      0
    
    
    
    
      53
      在做爱中，老婆感觉下面流水是怎么回事_飞华健康问答
      1
      1
      2
      0
      1
      1
    
    
    
    
      54
      城市街拍:秋意渐浓 街头美女运动范十足-青青岛社区
      1
      0
      2
      0
      0
      0
    
    
    
    
      55
      96岁老兵病床上交出最后党费:曾用70年找回党籍 - 青岛新闻网
      0
      0
      2
      0
      0
      0
    
    
    
    
      56
      中国云计算技术大会 2017
      0
      0
      0
      0
      0
      0
    
    
    
    
      57
      Map集合以及Collections集合工具类 - 天纵之欲 - 51CTO技术博客
      0
      0
      0
      0
      0
      0
    
    
    
    
      58
      华凯创意2017上半年实现营收1.98亿元_园区频道_红网
      0
      0
      0
      0
      0
      0
    
    
    
    
      59
      深圳有什么有特色好去处？ - 知乎
      0
      0
      1
      0
      0
      0
    
    
    
    
      60
      —在线播放—优酷网，视频高清在线观看
      0
      0
      2
      0
      0
      0
    
    
    
    
      61
      2012消费电子博览会 NEC科技打造“智慧城市”－青岛新闻网
      0
      0
      1
      0
      0
      0
    
    
    
    
      62
      SurfaceView+MediaPlayer封装之路 - CSDN博客
      0
      0
      0
      0
      0
      0
    
    
    
    
      63
      德哥大排档电话,地址,营业时间(图)-揭阳美食-大众点评网
      0
      0
      0
      0
      0
      0
    
    
    
    
      64
      新娘遭多人洞房乱摸：闹洞房新娘被众人乱摸过程-五花八门-猫扑大杂烩-猫扑网
      2
      0
      0
      0
      1
      1
    
    
    
    
      65
      所谓粉丝经济，是巨大的机会还是陷阱？ - 站长之家
      0
      0
      1
      0
      0
      0
    
    
    
    
      66
      [讨论]关于增班香港——苏腊巴亚、新开港龙香港——棉兰、广州、厦门——苏腊巴亚的讨论
      0
      0
      0
      0
      0
      0
    
    
    
    
      67
      达人厨房_20151230期-武汉人每天的味觉，都在这碗面中醒来-生活-高清正版视频–爱奇艺
      0
      0
      1
      0
      0
      0
    
    
    
    
      68
      秋季要防晒吗？秋季如何选防晒霜？_39健康网_美容
      0
      0
      1
      0
      0
      0
    
    
    
    
      69
      中国互联网络信息中心
      0
      0
      0
      0
      0
      0
    
    
    
    
      70
      “安全生产，责任重于泰山”梅河口市体育中心进行基础设施安全隐患大排查|可可推
      0
      0
      0
      0
      0
      0
    
    
    
    
      71
      求歌词：李志 米店_百度知道
      0
      0
      0
      0
      0
      0
    
    
    
    
      72
      专访传统旗袍手艺人史丽萍-中青在线
      0
      0
      1
      0
      0
      0
    
    
    
    
      73
      2017年秋季白领事业信心指数下降，跳槽比例高
      0
      0
      0
      0
      0
      0
    
    
    
    
      74
      你不知道的100个中国大案之七十五-杀人焚尸的美丽女死囚任雪（被老厂长欺骗诱奸后残杀其女儿报...
      0
      1
      2
      3
      1
      1
    
    
    
    
      75
      科普：食草恐龙有时也“开荤”--科技--人民网
      0
      0
      0
      0
      0
      0
    
    
    
    
      76
      侣行_张昕宇梁红的日常_熊猫直播_泛娱乐直播平台
      1
      0
      1
      0
      0
      0
    
    
    
    
      77
      两架政府包机飞越19国 赴海外接回被困中方人员_网易新闻
      0
      0
      0
      0
      0
      0
    
    
    
    
      78
      夏日小酌 来一杯葡萄柚皮斯科酸鸡尾酒_生活_悦己网
      0
      0
      0
      0
      0
      0
    
    
    
    
      79
      美味的性爱，美味的想象 (豆瓣)
      0
      1
      0
      1
      1
      1
    
    
    
    
      80
      www.zhainanmao.com
      0
      0
      0
      0
      0
      1
    
    
    
    
      81
      实拍KTV坐台女的非法交易—在线播放—优酷网，视频高清在线观看
      0
      1
      4
      0
      1
      1
    
    
    
    
      82
      可能是Android平台上最快的图片压缩框架 - Tech - SegmentFault
      0
      0
      0
      0
      0
      0
    
    
    
    
      83
      【福利/欢乐向/AMV】新年就要啪啪啪 我可能遇见了假啪啪啪啪@FB_JAMes_MAD·A...
      0
      0
      0
      0
      0
      1
    
    
    
    
      84
      大麻会对生活造成危害吗？ - 知乎
      0
      0
      0
      0
      1
      1
    
    
    
    
      85
      视频-葡萄牙大师赛首轮 莱腾、坎瑟亚并列第一 - 搜狐视频
      0
      0
      1
      0
      0
      0
    
    
    
    
      86
      网络惊现售卖原味丝袜二手内裤 交易背后不堪入目_新闻频道_中华网
      3
      0
      2
      0
      1
      1
    
    
    
    
      87
      海信集团网申系统--职位列表
      0
      0
      0
      0
      0
      0
    
    
    
    
      88
      第一印象天气预报_20170926期-最天气之冷空气与秋老虎的博弈-资讯-高清正版视频-爱奇艺
      0
      0
      1
      0
      0
      0
    
    
    
    
      89
      《同意》“把衣服全脱了，不要问我任何问题”-广告-高清视频–爱奇艺
      0
      0
      1
      0
      1
      1
    
    
    
    
      90
      7年,怎么从一个三流学校的高职生到自主创业的CEO - 挨踢生活 - 51CTO技术论坛_中...
      0
      0
      1
      0
      0
      0
    
    
    
    
      91
      熊猫tv色青女主播直播间撅屁屁 脱衣做爱被封_比特新闻
      4
      1
      2
      1
      1
      1
    
    
    
    
      92
      孕妇被绑铁柱殴打，偷东西就能滥用私刑？
      1
      1
      3
      0
      1
      1
    
    
    
    
      93
      南色美术活动基地 · 创意现场（第十六期）_精彩城市生活，尽在活动行！！
      0
      0
      1
      0
      0
      0
    
    
    
    
      94
      分手你还赚了一个处，你不亏！
      1
      0
      1
      0
      1
      1
    
    
    
    
      95
      九只梅花鹿亮相北京故宫博物院(组图)_新闻频道_中华网
      0
      0
      1
      0
      0
      0
    
    
    
    
      96
      Silverlight 2.5D RPG游戏技巧与特效处理(Game Effects)：目录...
      0
      0
      0
      0
      0
      0
    
    
    
    
      97
      大尺度无底线直播 – 【人人分享-人人网】
      3
      0
      0
      0
      1
      1
    
    
    
    
      98
      传奇芝士挞中国开“烤” BAKE媒体分享会上海举办-东方生活-东方网
      0
      0
      0
      0
      0
      0
    
    
    
    
      99
      汤炳正：朴学的经世致用 _光明日报 _光明网
      0
      0
      0
      0
      0
      0
    
    
      

    

    

    


    


    

    


    

    

    In [ ]:

    Content source: jonathanlxy/miaozhen_hackathon

    Similar notebooks:

    notebook.community | gallery | about