# 关于 async/await 的两个 OOM 的示例
两个在开发过程中因为使用 async/await 而导致的 OOM 示例，简单记录一下
# 01 Promise.map 与 并发控制
const CONCURRENCY = 100
async function populatePoemsPage (page) {
const poems = await models.poem.findAll({})
await Promise.map(poems, async poem => {
// 原因: 在于这里忘记了点 await
Promise.map(poem.raw_paragraphs.match(/[\u4e00-\u9fa5]/g) || [], async char => {
const key = normarlize(poem, char)
await redis.incr(key)
await redis.sadd(
'CharCloudList',
JSON.stringify({
poemKind: poem.kind,
authorId: poem.author.star > 10 ? poem.author.id : 0,
dynasty: poem.author.dynasty,
char,
key
})
)
})
}, {
concurrency: CONCURRENCY
})
}
这个原因在于使用 Promise.map 控制并发数时，其中的 async 函数中的 Promise 立即 resolve 掉，导致实际并发数暴增。
# 02 递归调用
const cache = new DataLoader(keys => redis.mget(keys))
async function scan (cursor) {
const [nextCursor, list] = await redis.sscan('CharCloudList', cursor, 'MATCH', '*', 'COUNT', 10000)
const chars = await Promise.map(list, async x => {
const data = JSON.parse(x)
return {
...data,
author_id: /,0,/.test(data.key) ? 0 : data.authorId,
poem_kind: map[data.poemKind],
count: await cache.load(data.key)
}
})
await models.char_cloud.bulkCreate(chars)
if (Number(nextCursor)) {
// 原因，这里多了一个 await
await scan(nextCursor)
} else {
console.log('ok')
}
}