用Nodejs遍历云存储文件

起因

最近想要将云存储中的文件去重。因为有现成的Nodejs的API，所以打算用Nodejs实现此功能。
伪代码如下：

scanDir = function(uri){
    return new Promise(function(resove, reject) {})
}
getFileInfo = function(uri){
    return new Promise(function(resove, reject) {})
}

dealDir = aysnc function(uri) {
    await scanDir(uri).then(function(res){
        for (v of res) {
            if (res.type === "Folder") {
                dealDir(uri + '/' + v);
            } else {
                getFileInfo(uri + '/' + v).then(function(res){
                    //将文件信息存入数据库
                })
            }
        }
    }).catch(function(){})
}

递归什么的，用起来得心应手，在加上Promise这种大杀器，配合await用起来更是无人能挡。几百个文件的测试没问题，但真正运行起来之后，爆栈了。

分析

按道理讲，我只有3层目录，就算递归也不会有多少函数入栈。那么到底是什么原因呢？
因为Promise的递归容易出问题，比如上面的例子，虽然dealDir里面的scanDir函数被await了，但是dealDir函数本身还是压在栈里,并没有阻塞运行。
这样一层层地dealDir压入栈,迟迟等不到scanDir函数回调的响应导致了最终的爆栈。
如图：

解决方法

最后我选择了一种相对安全的方式：避免递归，用队列处理。
伪代码如下：

scanDir = function(uri){
    return new Promise(function(resove, reject) {})
}
getFileInfo = function(uri){
    return new Promise(function(resove, reject) {})
}

dealDir = aysnc function(uri) {
    let folders = []
    folders.push(uri)
    while (folders.lenth > 0) {
        let tmpfolder = folders.shift();
        await scanDir(tmpfolder).then(function(res){
            for (v of res) {
                if (res.type === "Folder") {
                    folders.push(tmpfolder + '/' + v);
                } else {
                    getFileInfo(tmpfolder + '/' + v).then(function(res){
                        //将文件信息存入数据库
                    })
                }
            }
        }).catch(function(){})
    }
}

参考资料

了解JavaScript的工作原理可以参考：
美团面试题：https://segmentfault.com/a/1190000015057278
JavaScript是如何工作的：
https://github.com/xitu/gold-miner/blob/master/TODO/how-javascript-works-event-loop-and-the-rise-of-async-programming-5-ways-to-better-coding-with.md