Spark中稀疏矩阵的存储方式

     最近运行程序发现程序一直报错内存溢出OutOfMemoryException,仔细想来应该是程序中用到十分多的矩阵而且循环多,矩阵存储方式都是用的DenseMatrix形式存储的,从而导致内存不够,查阅Spark API发现Spark还有多种其它的矩阵存储方式。因为大部分矩阵是稀疏矩阵,所以主要用到稀疏矩阵,但是发现API中的存储方式不好理解,查阅百度后发现一篇写的不错的关于稀疏矩阵的存储方式的博文,在此贴出链接以供参考:http://www.cnblogs.com/xbinworld/p/4273506.html?utm_source=tuicool&utm_medium=referral

    Spark中SparseMatrix使用的就是CSR的形式存储的矩阵,CoordinateMatrix用的应该是COO形式存储的。

猜你喜欢

转载自blog.csdn.net/klordy_123/article/details/49736407