当前位置:首页 > 智算网络技术 >

海胆统一数据存储平台(Urchin)

海胆统一数据存储平台提供hub框架库屏蔽数据集底层细节,开发者无感知进行任务训练;服务端提供必要的认证、配置下发、数据集管理等业务逻;结合云际系统主/分中心提供的数据集云存储网络。

特点:

  • 支持丰富的接口,支持本地、s3规范云存储、自建主分中心等多种存储方式
  • 更丰富的机器学习框架支持,tensorflow、pytorch、mindspore、paddlepaddle等
  • 优化缓存策略提升数据集加载速度
  • 优化数据加载shuffle策略以提升训练效果