推荐系统笔记(十一):使用coo_matrix函数遇到的坑

coo_matrix函数的用法

         由于用法不是介绍的重点,这里直接简要说说:

        使用格式: coo_matrix((data, (row, col)), shape=(, ))
        代码举例如下:

from scipy.sparse import coo_matrix, hstack
import pandas as pd

da = pd.read_csv('data/dummy/data.csv')

num = len(da['user']) # 列的长度
rows = list(range(num))   # list(range(5)):[0,1,2,3,4]
num1 = coo_matrix(([1] * num, (rows, da['user'])), shape=(num, 3)).toarray()
print(num1)


data.csv文件内容为: 在这里插入图片描述

运行结果:

运行结果

详细使用方法请参考:coo_matrix使用方法

TypeError: ‘coo_matrix‘ object is not subscriptable

        当尝试索引coo_matrix的时候就会发生以上错误,原因是稀疏矩阵coo_matrix不直接支持切片操作。切片操作本质上是根据一系列下标索引来获取元素。所以稀疏矩阵coo_matrix不直接支持根据下标索引来获取元素。

        那么应该如何解决?我在做推荐系统任务过程中需要随机剔除掉coo_matrix的一些列和行,但无法通过索引的方式去进行矩阵相乘去将某行置为零,因此我直接将对应的data置为零就可以了。

        但一般的解决办法是利用函数.toarray转化为array就可以进行索引和乘积了,即:

          coo_matrix((data, (row, col)), shape=(M,N)).toarray()

        但是数组过大使用numpy的dot算法可能会内存溢出。内存溢出有以下解决方案:

        1. 修改numpy为64bit的版本。

        2. 修改精度float64为float16、float32等等低精度。

        3. 去控制台修改可供使用的虚拟内存。

猜你喜欢

转载自blog.csdn.net/qq_46006468/article/details/126129595