关于弱网环境下 axios 流式传输的一些问题想请教下大家

19 天前
 David2077

背景:在 node 弱网环境下 axios 流式传输,网络带宽接近 0KB 的时候网络流(可读流)会触发 aborted ,从而使可写流触发 finish ,导致几十 MB 的文件只有几十 KB 。

版本:node10 、axios0.19.0

问题:

  1. 关于 aborted 事件,看了 axios 的源码和 stream 源码,里面好像都没有定义 aborted 事件的定义,不知道它是哪来的(相关代码是我参考 gpt 写上的)
  2. 服务端设置的 timeout 为 5 秒,客户端这边未设置 timeout ,因为 axios 中的 timeout 仅适用于响应超时,而不适用于连接超时,所以应该和 timeout 是无关的。我的理解是客户端收到响应成功后,会建立一个关于 node 流的网络连接,这个流会在内存中进行一些系统级的操作,但是这里的流在文件没下载完就关闭了,不知道是为什么,看来还是因为 aborted 事件,这就又回到了第一个问题上

代码及打印:(删除相关敏感信息)

const writer = fsx.createWriteStream(file)

axios
  .get(url, {
    responseType: 'stream',
    ...options
  })
  .then((res) => {
    res.data.pipe(writer)
    writer.on('error', (err) => {
      utils.log(`download error`, err)
      reject(err)
    })
    writer.on('finish', (res) => {
      utils.log(`download finish`, res)
      resolve(res)
    })
    writer.on('close', (err) => {
      utils.log(`download close`, err)
    })
    res.data.on('error', (err) => {
      utils.log(`download error2`, err)
    })
    res.data.on('end', (err) => {
      utils.log(`download end`, err)
    })
    res.data.on('aborted', (err) => {
      utils.log(`download aborted`, err)
    })
    res.data.on('close', () => {
      if (res.request.aborted) {
        utils.log('download aborted')
      } else {
        utils.log('download completed')
      }
    })
  })
[info] download aborted undefined
[info] download end undefined
[info] download completed
[info] download finish undefined
[info] download close undefined
1573 次点击
所在节点    Node.js
6 条回复
ntedshen
19 天前
aborted 是 nodejs 的 http 或者 https 报的,看起来是服务器超时。。。
网太烂以至于传输 0kb 。。。这不就是超时么。。。

话说虽然我有自己的 curl 库但是网烂的情况下我都宁可套个 exec aria2 。。。
David2077
19 天前
我上面响应头里返回的 timeout 设置的是 5s ,这里的流的超时也是 5s 么大佬
sujin190
18 天前
@David2077 看起来像是响应超时 5s ,读超时应该有另外的吧
David2077
18 天前
@sujin190 读超时指的是可读流么?流应该是没有超时的说法的
ntedshen
18 天前
@David2077 不是这事情和流没什么关系,axios 只是对几个常用 curl 方法做的二次封装,对于 nodejs 环境就是 http/https ,原生库。。。
respType 那个 stream 只是数据输出的形式。。。

然后响应头里哪有超时,这只是一个服务端配置而已,有几秒这自己测着呗。。。。。。
以及 timeout 这玩意你不配置也会有默认值的。。。
所以真的。。。要实在差的感人还是建议套个三方软件,自己写的话想搞什么多线程下载断点续传一类的功能都很难处理好。。。
David2077
15 天前
@ntedshen 有点懂了多谢大佬

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1077535

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX