杨思祺 大数据和人工智能

对于谷歌的三大论文，我读起来很是相当吃力，主要看了一下GFS，对于另外两个了解了大概。其中涉及到大量的专业术语。我读的专业是电气，而电气与大数据人工智能有着很大的关系，例如在在高压绝缘方面。而提到大数据就不得不说谷歌的三大论文。在人工智能研究领域，这无疑是疯狂的一年，机器人的飞速发展也代表了我们进入了人工智能时期。人工智能通过改变交流技术和媒介，通过社交网络、新型数据交互方式，在很大程度上改变了现代社会的人际交流方式。在北极星和ASM联合撰写的调查报告中，有接近甚至超过半数的受访民众表示，尽管每天都在使用社交网络媒体和手机应用，但并未意识到这些科技产品中人工智能在暗中发挥作用。人工智能在潜移默化地改变人们的社交习惯和沟通方式，已经成为新媒体时代不可逆转的潮流。不仅如此，人工智能在诸多领域取得比肩人类的成就，对人类文明的自我反思也起到了推动作用。
第一个GFS，Google File System是由Google公司为储存大量数据而设计的文件系统。但是GFS与过去的分布式文件系统有许多相似之处，当然也有很多改善。
（1）普通的Linux文件系统有个缺点是会使小文件占很大不必要的空间，而GFS是把Meta Data放Master Server,然后Chunk都放到Chunk Server里面，但是这里的Master只保存了Chunk在各个服务器上的地址，这样也解决了之前的缺点。
（2）GFS在廉价硬盘上的使用，它在廉价硬盘上的运行，并提供容错功能。当然它的容错功能也是很好的，当数据损坏时，Chunk Server就找Master恢复数据。
第二个Google Bigtable一个用来处理海量数据的分布式、结构化数据存储系统。为了管理巨大的Table，而将Table分割后的数据叫做tablets.
第三个Google Map Reduce是一种处理和生成超大数据集的编程模型。海量数据计算引擎，是Google第一代倒排索引基础，它可以大规模并行地处理整个互联网上的所有文档。有天然缺陷，每次更新索引需全量更新所有索引，耗时几天，新的信息更新不及时。