世界正迈入大数据、云计算的时代,人类朝着数据化、数字化的方向发足狂奔,我们原有的科学、技术、工作和生活方式正在被信息技术所改写,很多科学领域会被大数据技术所替代,也会崛起很多新兴科学家和职业,譬如数据科学家、数据中间商等。大数据会颠覆很多的产业和行业,甚至一夜之间就能变换运营模式,因为在大数据面前,人类不会再向以前那样追寻着“为什么”,更多的是在样本和概率面前做着商业决策的调整,“快”和“实用”更能满足大众的需求。
数据之大,漫无边际,无穷无尽,包含着我们人类的一呼一吸,一举一动。处在大数据帝国的前夜,眺望星空,这是个最好的时代,因为数据时代转折的重要性,不亚于黑猩猩站立起来行走划时代,很多科幻片里的场景会出现在我们的日常;这也会是个最坏的时代,因为人类最终会为此走向哪里,只有苍穹能知道!
当我们拥有海量数据时,绝对的精准不再是我们追求的主要目标,我们乐于接受数据的纷繁复杂,也只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户。——《大数据时代》
小数据时代,我们在数据的精准性上花费很多,包括规则和准则、复式记账的平衡规则、信息系统等等,数据闭环,所以数据具有结构性,所以可以找根寻踪,找寻问题的根源,寻求解决方案。
大数据时代来临,因为数据量的庞大,以及数据背后的繁杂性,以及处理数据的.知识IT工程师和计算者,别忘了,拥有数据的是政府和独角兽商人,所以,他们很难对数据进行深度分析,这样也会催生各个领域的数据分析业务,数据生态链核心就清晰了起来。
大数据会取代小数据吗?这是不可能的事,大数据和中小数据之间的防火墙更会高筑!大数据都是基于样本的非结构性数据,推送到我们面前的数据指引,都已经经过了各种算法的粗加工,融入了计算者的各种算法,算法会因人而异,利用我们过去的电子痕迹,预测我们的现在和未来,一花一世界。初期的一大一小,数据的交融,像极了海上的渔网,具有强关联性。数据就像是一个神奇的钻石矿,在其首要价值被发觉后,仍能不断创造价值。大数据拥有者依赖技术专家挖掘数据的价值,但技术专家(数据武士)并没有想象中那么耀眼,他们在大数据中淘金,发现了金银珠宝,可最后却要把这些财富拱手让给大数据拥有者。——《大数据时代》
当恐龙消失,人类慢慢成为了动物界的主人。数据是我们工作、生活中的点滴记录,它真实、朴实无华,它们也会有声音,只是需要有慧眼和思维才能驾驭。
我们只有跨过数据化、数字化的长河,才能开启AI时代,路途遥远,主人!这是一本好书,值得推荐。
这么多年来,看了很多东西,如今回过头来发现,好像什么都忘了,真是悲剧,所谓读书破万卷,下笔如有神或许是不对的,还是需要下笔勤快,所以决定从这里开始。
这些年对于技术的发展,我是没有跟上,如今发现即便是对于投资,技术对于我们生活的改变太大,而自己身在这个技术浪潮的前沿,还是需要跟上步伐。
——前言
大数据这个概念已经提了很久,我也一直疏忽了对于它的理解。看完《大数据时代》,再结合如果工作上对于大数据的理解,顿时发现数据的重要性,以前在这方面的确没有足够的思想意识。
整本书来说,我觉得最关键的三个点是前面几个章节:
1、要总体,不要随机样本:从小对于统计学相关的学习,基本都是从样本出发,理论的基础在于如何随机的足够分散的选取样本,这可是技术活加直觉。而对于大数据来说,要的就是总体,本质上来说,总体样本的确更能准确找到结果。但是对于统计来说,总体的分析增加了数据分析的难度,不仅数据核对不好进行,一旦出现数据污染,准确度就会大打折扣,而且进行数据回溯的时候,也无法准确确认问题,而这一点也是后面相关性上问题;
2、要混乱,而不是精确:这里主要想说明的是希望数据的多样性,尽量将相关数据都收集起来,不管是结构化的还是非结构化的。这样就不可避免的最终结果的不准确性。大数据更多的是从一个总体数据中说明以后概率事件,既然是概率,也就可以理解无法精确。这里有个点的说明,我觉得需要提一下,大数据算法更倾向于“简单”,而不是复杂,这个倒是出乎我的意外。
3、要相关性,而不是因果:从我对于知识获取的过程来说,我是不同意这个观点,从人体对于知识的理解,还是要从因果论出发,没有因果论,就会变成瞎子。而作者的观点上来说,原因可能还是从大数据本身的非准确性,一旦找到合适的算法,找到相关性,向上追述原因本身就很难。但是从举的示例上看,相关性的确认是一个非常大的工程,基本就是使用排举法,一个一个试。
所以,对于大数据来说,最重要的三点是:
1、数据——得到更多数据;
2、算法——建立更快的算法体系;
3、思维——寻找数据间更多的相关性。
对于数据最终的走向,我同意书中所提到的政府管理的观点,既然都是以“石油”的标准来看待数据,政府统一管理也就是必然的了。而且对于政府来说,掌握更多数据也有利于其管理及维护社会的稳定性。而对于社会道德方面的论述,我不想多说什么,时代发展是不会被道德绑架的。
所以最后,想要建立对于大数据的思维,《大数据时代》还是值得一读,里面的很多示例也非常不错。如人际关系这一块,也是出乎我的意料。