puppeteer爬取数据 await与forEach的问题解决方法

在使用puppeteer爬取数据时，遇到了个报错问题，才发现了这个forEach与await的问题。

一、问题

利用搜集到的url，再去爬去对应数据时，我采用了forEach循环爬取，去遇到提示如下：UnhandledPromiseRejectionWarning: Error: Navigation failed because browser has disconnected!，换句话说就是，还没爬，浏览器就关闭了，大概就是异步问题了。

简化下问题的过程，先创建个简单的sleep函数假装处理业务逻辑，

async function sleep(time = 1000) {
    return new Promise((resolve) => {
        setTimeout(() => {
            resolve();
        },time);
    });
}

主体函数：

(async () => {
    await sleep();
    console.log('start');

    [0,1,2].forEach(async () => {
        await sleep();
        console.log(1111);
    });
    console.log('finish');
})();

用node运行下，实际，forEach中的await并没有阻挡 finish 字符的输出，并且forEach创造出来的函数之间也并没有先后关联，三个1111几乎同时输出。

二、原因

为什么会造成这种原因呢？

再看下async与await的关系，只有在同一个async函数中，await才会按照对应的执行顺序依次执行，我们都知道forEach创造了独立的async函数（闭包问题），他内部的await已经与最外层的自执行async函数没有关联了（因为forEach并不是async函数），因此，循环出的三个方法也没有关联，都是各自等待1s就输出。

三、解决方法

使用for循环

既然这样，我们就是用不新建函数的循环，

for (let i = 0; i < 3; ++i) {
    await sleep();
    console.log(1111);
}

改造forEach

修改原型上的forEach方法，不推荐，你可以新写个each方法，

Array.prototype.forEach = async function(fn) {
    let len = this.length;
    for (let i = 0; i < len; ++i) {
        await fn.call(this[i],i);
    }
};

这样就可以了，最后，使用await写异步真是太爽了。

附上demo：await与foreach。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!