search

byzer-org / byzer-notebook

Apache License 2.0
46 stars 34 forks source link

【Bug】 Data Catalog 在未触发上传动作后，即使背后路径中有文件，点击刷新按钮也不会显示 #173

Closed ZhengshuaiPENG closed 2 years ago

ZhengshuaiPENG commented 2 years ago

Reproduce Step：

  1. 新安装 Notebook 和 引擎
  2. 注册用户名为 'test'
  3. 在 notebook.user.home 参数定义的路径中，创建 ”test“ 目录，在 test 目录中创建 ”example“ 目录，在 example 目录中上传一个 csv 文件
  4. 在 notebook 中不要上传任何东西，点击刷新按钮
  5. 无任何文件显示
  6. 在 notebook 随意上传一个文件，在 notebook 中可以看到两个文件
    • /example/xxx.csv
    • /tmp/upload/yyy.csv

正确的预期结果： 在没有上传任何文件之前，点击刷新，可以在 notebook 的 catalog 中，查看到 /example/xxx.csv 文件

wangcheng15 commented 2 years ago
wangcheng15 commented 2 years ago

关联前端 issue：https://github.com/byzer-org/byzer-notebook-vue/issues/199

wangcheng15 commented 2 years ago
  1. 在 POC 环境 Notebook 创建新账号并登录
  2. 直接在 s3 创建用户目录并上传文件
  3. 点击 Notebook 中 Data Catalog 的刷新按钮
  4. 展开 File System
  5. 结果：能够加载出在 s3 手动上传的文件

再次出现问题时的排查方向： 先创建一个 notebook，运行 !hdfs -ls /; 命令查看是否能够获取到文件

wangcheng15 commented 2 years ago

根据验证方式，并未发现直接在 s3 中上传文件后，在 Notebook 端的 catalog 无法读取的问题，重新部署后也无法复现

ZhengshuaiPENG commented 2 years ago

根据排查情况，目前怀疑是 AWS CN 区域 S3 的临时网络问题，此问题暂时关闭