大数据存在的问题及解决方案(值得你思考的问题)
大数据存在的问题及解决方案(值得你思考的问题)
2024-11-21 09:37:10  作者:只写了一半  网址:https://m.xinb2b.cn/know/rkc297845.html


1,大数据的运用-案例

CieloMar:CaRRot能不能例举一个你们公司里大数据分析的例子,以及如何定价?

CaRRot:数据公司的实用案例: 我就说我最近做的这个吧,某个服装快消品牌想了解中国的洗衣习惯,比如什么样的面料会机洗,什么会手洗,什么要干洗。第一步就是采集信息,从新浪微博上采集近3年相关的微博(按相关关键字),第二步清洗数据与存储,把没用的信息顾虑掉,有用的进行分类存储。第三步就是数据挖掘,按照数据挖掘的算法进行一些运算(比如这个场景比较适合关联规则)来得出结果,至于这个结果是什么样的,这个就要看你建立的模型的输出了。最后一步是数据验证了,就是验证你模型的选的合不合适,模型里面的参数是否需要变化。但是目前我做的这个没有合适的结果集来做验证,所以我就略去了。。。 总结一下大致的步骤就是数据采集(data crawling)-》数据分类和存储(data housing)-》数据挖掘(data mining)-》数据验证(data verification)。关于定价问题,其实我感觉这个弹性很大,这个要看客户了,如果是大客户的话,肯定会要得多一些。

CieloMar:数据采集就是用微博关键词?比如说这个案例里你们输入的关键词是什么?然后你们使用微博的数据,是公共资源还是跟微博买的数据?

CaRRot:数据采集就是用微博的关键词,但是我们会用 nlp(自然语言处理)来做一些联想,近义词联想.数据是新浪公共资源,和新浪做partner成本太高了。

CieloMar:比如说这个案例里,你们数据来源仅仅是微博吗?

CaRRot:其实做多个数据源的不大好做,因为各个数据源之间的权重不太好把握,比如来自新浪和微信的消息哪个更重要一些?主要看客户要求,客户目前只要做微博的就做微博的。

CieloMar:多个数据源结果不一样,是不是就意味着单一数据源结果不太准,也就导致大数据分析后的结果不准确?

CaRRot:这个不一定,这个要看你研究面向的群体了,比如想研究中国20-40这个年龄段的人,微博应该是最好的选择。

2,大数据模型

Reinaldo :大数据的模型到底是个什么感觉啊?不太能想像。

CaRRot:大数据类型的线性是怎么样的?正相关还是分散随机的。最简单的一个例子,比如预测用户购买行为,用户对此产品的互动率x(点击,收藏,加入购物车),我们需要求出用户购买该产品的概率y,那么我们可以定义y=ax,这个公式就是最简单的模型,当然,这个模型不一定适用于这个场景,在具体场景中系数肯定不止a一个。

Reinaldo:所以说针对不同情况都有各自的一个模型是吧?其实就像一个数据的分析方法?

CaRRot:针对不同场景是会建立一个合适与该场景的模型,因地制宜。建模整个过程涵盖了数据分析。从一开始的模型预测,到最后的结果验证都需要。

3,大数据与金融

Wendy:本书最开我眼界的地方,有三个。一个是样本=总体。经济学专业在做研究时,都是以一部分数据为样本来做的。随着it 技术的发展,和数据采集方法的改善。样本=总体应该能得到实现,现阶段经济计量研究方法也会受到冲击。第二是只关注相关关系,而忽略因果。和Reinaldo的感受一样,这个观点很具有冲击性。然而经济学研究中,其实也是相关重要于因果的。经济学研究很多是基于最小二乘法研究内生变量怎么随外生变量变化,例如Y=aw bz ck,研究的是每单位w,z,k的变化怎样引起y的变化。而只有一部分研究,研究的是因果关系,这时我们会引入格兰杰因果模型进行研究,但这样的研究是少数。第三,大数据对金融行业的冲击。大数据是否能代替掉行业专家?在金融行业里就是行研员和基金经理。在整个金融行业,量化金融—利用金融模型选股,构建投资组合,防范风险是必然的趋势。但是可以说没有一家金融机构敢完全依赖量化这条路。美国股市的黑色星期五,就是过渡依赖量化工具产生的。量化vs行研。索罗斯vs巴菲特,基金经理是否能创造价值,现在依然是金融界的一个hot topic。

CieloMar:从经济学角度阐述真好!不过最后两句话几个专业术语不太懂,格兰杰因果模型?书中提过吗?请解释一下。

Wendy:格兰杰因果模型,书中没有,用以分析两相关序列之间,是否因果,谁因谁果,或互为因果。

4,负面影响以及存在问题

CieloMar: Reinaldo,关于你写的文章我有几个问题:1,我认为大数据不会完全颠覆某个行业,新闻还是新闻,本质是不变的,只是行事方式变了。 2,我有个疑惑,过分依赖于数据,忽略思考因果关系,这是否会削弱我们的思考判断能力,比如我们就直接看去哪儿网的价格曲线买便宜机票,不需要去思考为什么机票会便宜,比如动车的修建降低了票价等,慢慢地我们会过分依赖数据而不是思辨能力。再比如你提到的新闻行业,我们总是通过数据来拍版,挑选新闻,这样新闻的质量慢慢降低,毕竟大部分人是“乌合之众”,而这种降低已经在发生。

Reinaldo:我基本认同乌合之众的说法,门户网站的新闻排名已经反应出来:标题党新闻最受宠、最吃香,这大概和人的天性有关,但并不意味着会让严肃的报道消失。我说的颠覆行业,更多指传统生产方式已经被改写了,无力回天,但包括报纸在内的传统媒体肯定会存在,类似广播仍存在一样,但不会占主流。而且,新闻消息的未来肯定不能再延用主编拍板的方式。至于内容低俗与否,我更倾向于用教育来引导认识,新闻媒体可以较少承担教育的功能。我认同技术改变现有行业规则,至于在改变过程中的乱象,我认同杨导的说法,技术进步会把现有的问题逐步解决。

Ada:关于这个问题,推荐大家书籍《乌合之众》。

Wendy:高科技的负面影响,推荐英剧Black Mirror(《黑镜》),以及书籍《娱乐至死》。

CieloMar:大数据目前面临的问题还有点补充:1大数据乃至说计算机行业发展得如此快,如何完善法律也是一个问题。 2网络安全问题,大家对个人隐私只会越来越重视,如何保护好大家的隐私也是关注焦点。

Reinaldo:这个(网络安全问题)在技术上,我觉得不难解决,关键是配套的法律、制度,其实我也很担心大数据被政府利用变成了《1984》的无处不监控。

CieloMar:所以网络安全也会很有市场,能否叫它大数据带来的“周边产品”?我觉得这样的周边市场还有很多,一旦某样事物火了,一定会有很多周边市场出现,所以大家忙着大数据时候,多关注周边也是一条思路。

5,值得你思考的问题!

杨导:

1 大数据可能会颠覆我们的认识,思考的时候"怎么样"比"为什么"更重要。

2 通过读书之后,我觉得怎样获取数据和利用数据很重要,是一个应该注意的方面。

3 其实书里面举的例子说亚马逊推荐相关书籍是利用了大数据,但实际上它只提高了销量,长期来看用户的体验并不好(个人认为,你们觉得呢),所以在利用大数据做推荐和营销的时候,如何提高用户体验尤其重要。

4 目前来看,大数据更多的是用在商业领域,后期发展成熟我觉得它将非常可怕,这是一个隐患。如何防患这种隐患很重要。大家都愿意去做先赚钱的事情,但很少有人愿意做先预警危机的人。

5 还有一个印象深刻的就是"数据废气",利用大家都不在意的点做些文章。

6 这是我最想强调的一点,就是实践,不要怕错,我只想利用简单的模型去印证我怀疑的东西。还有书中的说法,我希望通过实验去看一下。有兴趣的亲们一起尝试一下啊,然后我们互相交流感受。

  • 黄酒和花雕酒的区别(黄酒和花雕酒的区别是什么)
  • 2024-11-21黄酒和花雕酒的区别是什么范围不同:黄酒是酒的种类的总名称,花雕酒是黄酒的一个分支黄酒品种甚多,著名的有花雕酒、元红酒、加饭酒等味道和含糖量不同:黄酒的含糖量在0-10%之间,酒精约为15度-20度左右;花雕酒的含糖量在0.5。
  • 哈根减肥最快的方法(苏芬就来给你谈哈子是朗根回事儿)
  • 2024-11-21苏芬就来给你谈哈子是朗根回事儿哎嘿,今天我苏芬就来给你们谈哈子中医减肥之前我只晓得中医阔以治病,那是肯定的嘛最早还是听我老妈说嘞中医阔以减肥,,喝撒子番泻叶,撒子荷叶叶,然后还买些罐回来喊我给她拔罐减肥她那个shun粹就是瞎搞,个。
  • 变形计第十四季(穷人的七天美梦)
  • 2024-11-21穷人的七天美梦变形记这个节目相信很多人都看过,小编还记得小时候守着湖南卫视每天准时收看这个节目变形记主要讲的是城市孩子和农村孩子互换家庭以后的生活这个节目播出后,迅速引起了很大的反响2005年底,李鸿荔被湖南广电送。
  • 肯德基双层肉霸堡(肯德基肉霸堡新品深度测评)
  • 2024-11-21肯德基肉霸堡新品深度测评大家好,我是小末最近,肯德基上了一波新品,分别是:「咚咖滋鸡腿肉霸堡」回归新品:「培根鸡腿重磅肉霸堡」「芝麻满满脆皮大鸡腿」:「肯德基福州鱼丸」:和「爆汁三柠油柑茶」:这次测评的重点和亮点,无疑是两款。
  • dnf初音装备推荐(DNF:初音联动再开启)
  • 2024-11-21DNF:初音联动再开启大家好,我是贴吧君助理随着3月份的到来,国服DNF也将迎来又一次的团本减负,这次减负后不仅卢克B套制作材料减半,而且圣耀海博伦所需要的魔岩石也会减半,而到3月中旬之后,国服更会再次开启体停寂已久联动活。
  • 华为手机快速开关机在哪(华为手机电源键除了开关机)
  • 2024-11-21华为手机电源键除了开关机手机的电源键,很多人都知道是用来开机或者关机的而且,也一直用来开机和关机,除此之外,也就没怎么用了显然,这就平白无故地浪费了电源键,成了名副其实的摆设别看这个小小的按键,其实是有很多实用的小技巧的通过。
  • 晗字的寓意(晗字的寓意是啥)
  • 2024-11-21晗字的寓意是啥晗,基本字义天初明寓意天将明迎接美好的清晨,给予希望多用于人名晗,读作hán出自《集韵》,该字的部首为日字旁出处:北宋·丁度《集韵》:天色将明;欲明也笔顺:竖横折横横撇捺点横撇竖横折横相关组词:予晗。
  • 周星驰回到1997(周星驰请回答1994)
  • 2024-11-21周星驰请回答19941994年是上帝要看电影的年份,既有《肖申克的救赎》、《这个杀手不太冷》、《阿甘正传》、《低俗小说》等等一系列西片经典,也有《霸王别姬》、《阳光灿烂的日子》、《东邪西毒》、《重庆森林》等华语片经典当然。
  • 十大经典大排档菜谱(7道大排档美食学会后在家做)
  • 2024-11-217道大排档美食学会后在家做最近朋友圈被唐山烧烤大排档刷屏了,看到这样的事件真是令人发指,很多网友留言:以后不敢出去吃大排档了虽然不敢在外面吃,但在家做几道大排档的菜,再约上几个好朋友,小酒一喝,比外面安全又干净卫生下面,和大家。
  • 让钱生钱的最好办法是什么
  • 2024-11-21让钱生钱的最好办法是什么我觉得,想让钱生钱,最好的办法就是投资第一,对于老年人,选择风险较小的投资项目,存款到银行,不急用的钱,数量较大,可以买银行的大额存单;数量不多,可以存三年的定期存款,利率相对较高,也很安全第二,中年。
  • 老佛爷百货上海陆家嘴中心(法国老佛爷百货来上海了)
  • 2024-11-21法国老佛爷百货来上海了新民晚报记者宋宁华首席记者刘歆新民晚报新媒体钟荷位于巴黎奥斯曼大道40号的老佛爷百货是“剁手族”到法国必去的“景点”今天,小新要告诉“剁手族”一个好消息老佛爷百货在上海开门店了!今年四季度就将正式开业。
  • 山东十大骄傲建筑(山东第一高建筑)
  • 2024-11-21山东第一高建筑□常青6月9日,位于济南CBD商务区的山东国际金融中心(IFC)完成核心筒封顶工序,建筑高度达到428米,成为目前山东“海拔”最高的建筑虽然距离正式建成还有一段距离,但目前已完成最复杂的主体结构工序,。