求指点,从网上可以收集哪些数据做研究分析?

Monica 2018-02-07 11:50:21.0
0

大家从网上扒下过什么数据呢?有哪些比较适合做研究分析,可以推荐一下啊,刚接触数据收集这块,现在是一点头绪都没呀

评论(10
请先登录后再发表评论
尖椒姐姐 2018-02-07 11:51:08.0 回复
0

感觉比较热门的是社交网站的数据吧,集搜客爬虫的技术交流群里经常有人问怎么爬微博的数据,这个好像经常会用来做传播路径分析,可是不好爬,太难了


Monica 2018-02-07 11:51:25.0 回复
0
回复尖椒姐姐:

你一说这个,我就懂了,社交可以研究的切入点还挺多的,那大家是怎么爬到微博数据的呀

尖椒姐姐 2018-02-07 11:52:11.0 回复
0
回复Monica:

好多人都是用集搜客的微博工具去爬的,这个工具是有几个小程序组成的,一个程序只能爬一种数据结构,比如,要爬关键词搜索的博文,就用关键词的微博工具去爬


Monica 2018-02-07 11:52:28.0 回复
0
回复尖椒姐姐:

好,我去试试看[给力]

小四月 2018-02-07 11:53:08.0 回复
0

豆瓣上面的书评、影评这些也可以啊,数据也比较多,随便挑一部热门电影就有上万评论,做分析就挺好的


Monica 2018-02-07 11:53:47.0 回复
0
回复小四月:

你这个建议真是太好了

Eleanor 2018-02-07 11:55:11.0 回复
0

想到一个类似的,就是把网上的电视剧、电影的弹幕统统收集起来,都是很好的用户行为的语料,可以做一些用户偏好的分析


相知相惜 2018-02-07 11:58:54.0 回复
0


可以根据行业去找数据,每个行业都有很多专业的网站,你可以先确定要研究的一个行业领域,然后通过百度去搜索出相关网站,再筛选一下找出比较好采数据的那个网站,然后就可以开始扒数据了

开放数据风向标Mary 2018-02-07 11:59:57.0 回复
0


城市要素库上面就有好多各行各业的数据集,像是房地产、招聘、气象等行业的数据,可以直接下载做分析

Lauren 2018-02-07 12:02:13.0 回复
0


房地产,比较出名的网站就是房天下、链家、安居客这几个了,拿来分析​房价应该还可以吧