一分钟了解互联网数据挖掘流程

来源:  发布者:ld88520  发布时间:2015-12-19  查看:1999

摘要:
1、爬虫抓取网络数据
真实的数据挖掘项目,一定是从获取数据开始的,除了通过一些渠道购买或者下载专业数据外,常常需要大家自己动手爬互联网数据,这个时候,爬虫就显得格外重要了。
Nutch爬虫的主要作用是从网络上抓取网页数据并建立索引。我们只需指定网站的顶级网址,如taobao.com,爬虫可以自动探测出页面内容里新的网址,从而进一步抓取链接网页数据。nutch支持把抓取的数据转化成文本,如(PDF、WORD、EXCEL、HTML、XML等形式)转换成纯文字字符。
Nutch与Hadoop集成,可以将下载的数据保存到hdfs,用于后续离线分析。使用步骤为:
向hdfs中存入待抓取的网站url
$ hadoop fs -put urldir urldir
注:
第一个urldir为本地文件夹,存放了url数据文件,每行一个url地址
第二个urldir为hdfs的存储路径。
启动nutch,在NUTCH_HONE目录下执行以下命令
$ bin/nutch crawlurldir –dir crawl -depth 3 –topN 10
命令成功执行后,会在hdfs中生成crawl目录。
2、MapReduce预处理数据
对于下载的原始文本文档,无法直接进行处理,需要对文本内容进行预处理,包括文档切分、文本分词、去停用词(包括标点、数字、单字和其它一些无意义的词)、文本特征提取、词频统计、文本向量化等操作。
常用的文本预处理算法是TF-IDF,其主要思想是,如果某个词或短语在一篇文章中出现的频率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来做分类。
输入原始文本内容:
Againit seems that cocoa delivered……
执行TF-IDF预处理:
hadoop jar $JAR SparseVectorsFromSequenceFiles……
输出文本向量:
9219:0.246 453:0.098 10322:0.21 11947:0.272 ……
每一列是词及其权重,使用冒号分隔,例如“9219:0.246”表示编号为9219的词,对应原始单词为“Again”,其权重值为0.246。
3、Mahout数据挖掘
预处理后的数据就可以用来做数据挖掘。Mahout是一个很强大的数据挖掘工具,是分布式机器学习算法的集合,包括:协同过滤、分类、聚类等。
以LDA算法为例,它可以将文档集中每篇文档的主题按照概率分布的形式给出。它是一种无监督学习算法,在训练时不需要手工标注主题,需要的仅仅是指定主题的数量K。此外LDA的另一个优点则是,对于每一个主题均可找出一些词语来描述它。
输入预处理后的数据:
9219:0.246 453:0.098 ……
执行LDA挖掘算法:
mahout cvb –k 20……
输出挖掘结果:
topic1 {computer,technology,system,internet,machine}
topic2 {play,film,movie,star,director,production,stage}
我们可以获知用户的偏好是哪些主题,这些主题是由一些关键词组成。



  • 上一篇:没有了
  • 下一篇:没有了
返回

联系我们

24小时服务热线13281111028
  • 手机号码13281111028
  • 公司电话13281111028
  • 企业邮箱wangbingcn@qq.com
  • 咨询QQ503861317
  • 公司地址四川省成都市新光华街49号

  • 5+

    公司快速发展5年
  • 100+

    100家创业加盟平台
  • 2596+

    2596客户成功创业
  • 100%

    前期不收取费用
菏泽公司
牡丹区公司
广西公司
北海公司
河池公司
钦州公司
百色公司
贵港公司
梧州公司
桂林公司
柳州公司
南宁公司
防城港公司
玉林公司
崇左公司
贺州公司
来宾公司
海南公司
屯昌公司
琼中公司
陵水公司
临高公司
乐东公司
安定公司
澄迈公司
昌江公司
保亭公司
三沙公司
白沙公司
海口公司
万宁公司
五指山公司
琼海公司
文昌公司
东方公司
儋州公司
三亚公司
广东公司
东莞公司
潮州公司
云浮公司
清远公司
河源公司
中山公司
湛江公司
肇庆公司
佛山公司
珠海公司
深圳公司
汕头公司
梅州公司
惠州公司
韶关公司
江门公司
茂名公司
揭阳公司
阳江公司
汕尾公司
广州公司
福建公司
南平公司
三明公司
龙岩公司
漳州公司
泉州公司
莆田公司
宁德公司
厦门公司
福州公司
四川公司
广元公司
德阳公司
阿坝公司
甘孜公司
雅安公司
凉山公司
乐山公司
内江公司
宜宾公司
泸州公司
巴中公司
广安公司
遂宁公司
达州公司
南充公司
绵阳公司
自贡公司
攀枝花公司
资阳公司
眉山公司
成都公司
江西公司
萍乡公司
景德镇公司
赣州公司
吉安公司
宜春公司
抚州公司
上饶公司
九江公司
南昌公司
新余公司
鹰潭公司
贵州公司
黔西南公司
六盘水公司
毕节公司
铜仁公司
黔东南公司
黔南公司
安顺公司
遵义公司
贵阳公司
湖北公司
神农架公司
恩施公司
荆门公司
随州公司
十堰公司
宜昌公司
荆州公司
咸宁公司
黄石公司
黄冈公司
孝感公司
鄂州公司
襄阳公司
潜江公司
天门公司
仙桃公司
武汉公司
云南公司
丽江公司
迪庆公司
怒江公司
临沧公司
普洱公司
楚雄公司
玉溪公司
文山公司
保山公司
曲靖公司
红河公司
大理公司
昆明公司
昭通公司
德宏公司
西双版纳公司
湖南公司
永州公司
怀化公司
张家界公司
湘西公司
邵阳公司
娄底公司
益阳公司
常德公司
郴州公司
衡阳公司
株洲公司
湘潭公司
长沙公司
岳阳公司
西藏公司
阿里公司
那曲公司
昌都公司
林芝公司
山南公司
日喀则公司
拉萨公司
陕西公司
铜川公司
宝鸡公司
汉中公司
安康公司
商洛公司
渭南公司
榆林公司
延安公司
咸阳公司
西安公司
甘肃公司
白银公司
甘南公司
天水公司
酒泉公司
张掖公司
金昌公司
庆阳公司
平凉公司
定西公司
兰州公司
临夏公司
嘉峪关公司
武威公司
陇南公司
河南公司
济源公司
三门峡公司
驻马店公司
漯河公司
周口公司
濮阳公司
鹤壁公司
焦作公司
洛阳公司
开封公司
南阳公司
信阳公司
平顶山公司
许昌公司
新乡公司
安阳公司
郑州公司
商丘公司
青海公司
海南公司
海西公司
玉树公司
果洛公司
黄南公司
海东公司
西宁公司
海北公司
宁夏公司
固原公司
吴忠公司
石嘴山公司
银川公司
中卫公司
山东公司
聊城公司
莱芜公司
日照公司
枣庄公司
东营公司
滨州公司
临沂公司
威海公司
济宁公司
潍坊公司
烟台公司
德州公司
淄博公司
青岛公司
济南公司
菏泽公司
泰安公司
安徽公司
池州公司
巢湖公司
六安公司
宣城公司
铜陵公司
淮北公司
黄山公司
亳州公司
宿州公司
安庆公司
马鞍山公司
淮南公司
芜湖公司
蚌埠公司
合肥公司
阜阳公司
滁州公司
浙江公司
舟山公司
金华公司
丽水公司
温州公司
台州公司
绍兴公司
宁波公司
嘉兴公司
湖州公司
杭州公司
衢州公司
江苏公司
太仓公司
张家港公司
常熟公司
昆山公司
宿迁公司
泰州公司
常州公司
连云港公司
淮安公司
徐州公司
盐城公司
扬州公司
南通公司
苏州公司
镇江公司
丹阳公司
无锡公司
南京公司
新疆公司
图木舒克公司
五家渠公司
阿拉尔公司
克孜勒苏公司
喀什公司
阿克苏公司
巴音郭楞公司
吐鲁番公司
昌吉公司
石河子公司
乌鲁木齐公司
克拉玛依公司
博尔塔拉公司
阿勒泰公司
和田公司
哈密公司
塔城公司
伊犁公司
黑龙江公司
大兴安岭公司
大庆公司
绥化公司
黑河公司
佳木斯公司
牡丹江公司
齐齐哈尔公司
哈尔滨公司
伊春公司
双鸭山公司
鹤岗公司
七台河公司
鸡西公司
吉林公司
白山公司
松原公司
辽源公司
白城公司
通化公司
四平公司
延边公司
长春公司
辽宁公司
葫芦岛公司
盘锦公司
朝阳公司
辽阳公司
阜新公司
营口公司
锦州公司
丹东公司
本溪公司
抚顺公司
鞍山公司
大连公司
铁岭公司
沈阳公司
内蒙古公司
阿拉善公司
兴安公司
鄂尔多斯公司
赤峰公司
通辽公司
乌海公司
包头公司
呼和浩特公司
山西公司
运城公司
吕梁公司
临汾公司
晋城公司
长治公司
晋中公司
阳泉公司
大同公司
太原公司
忻州公司
朔州公司
河北公司
秦皇岛公司
邢台公司
衡水公司
沧州公司
廊坊公司
唐山公司
承德公司
张家口公司
保定公司
石家庄公司
邯郸公司
重庆公司
巫山公司
巫溪公司
酉阳公司
双桥公司
城口公司
万盛公司
武隆公司
云阳公司
梁平公司
彭水公司
垫江公司
南川公司
忠县公司
秀山公司
黔江公司
大足公司
潼南公司
奉节公司
丰都公司
綦江公司
铜梁公司
荣昌公司
江律公司
璧山公司
涪陵公司
长寿公司
合川公司
永川公司
石柱公司
万州公司
开县公司
巴南公司
北碚公司
大渡口公司
南岸公司
渝中公司
九龙坡公司
沙坪坝公司
渝北公司
江北公司
天津公司
蓟县公司
宁河公司
静海公司
宝坻公司
武清公司
津南公司
红桥公司
北辰公司
东丽公司
西青公司
和平公司
河西公司
汉沽公司
大港公司
塘沽公司
滨海新区公司
河东公司
南开公司
北京公司
延庆公司
怀柔公司
门头沟公司
平谷公司
密云公司
房山公司
石景山公司
顺义公司
通州公司
崇文公司
东城公司
宣武公司
西城公司
大兴公司
昌平公司
丰台公司
海淀公司
朝阳公司
上海公司
本地公司
崇明公司
卢湾公司
金山公司
静安公司
南汇公司
青浦公司
奉贤公司
虹口公司
黄浦公司
杨浦公司
闸北公司
长宁公司
宝山公司
嘉定公司
嘉定公司
普陀公司
徐汇公司
松江公司
闵行公司
浦东新区公司