一直以来,蔚来都是使用公有云来存储数十PB级别的数据。但随着数据增量越来越多,加上车辆所采集的数据和训练平台的数据对公有云的访问频率越来越高,网络和存储的效率和成本也越来越举足轻重。
另外,为了满足合规要求,敏感数据需要存储在本地数据中心。因此,蔚来选择建立自己的私有云存储,以应对自动驾驶业务的数据增长。
TStor OneCOS海量对象存储采用了腾讯云对象存储(COS)的同构架构,可支持单集群的无限扩容以及单存储桶中的数万亿对象,从而轻松满足汽车行业对私有云和混合云存储的大容量扩展需求。
作为分布式云存储的基础,TStor OneCOS为自动驾驶等业务提供了数据湖或数据中心存储平台,同时凭借超级存储和扩容能力,再结合GooseFS等大数据解决方案,能支持数据准备、模型训练和推导全流程数据服务。
蔚来选择TStor OneCOS海量对象存储为自动驾驶平台建立云存储池,由此构建出一套解决方案,并与GooseFS相结合,来满足数据训练等需求。
通过8+4的纠删码(EC)配置,在空间利用率与可靠性之间冗余实现了高度平衡。完全自主研发的YottaStore分布式存储采用Top Return、日志缓存等机制,确保卓越性能以及自动数据平衡和修复功能,以便在不影响业务的情况下实现快速扩容。
蔚来采用星星海服务器,通过端到端的深度软硬件适配和优化,确保了服务器解决方案的稳定和节能。利用多个节点组成数百PB的存储池,以此显著提高密度并降低成本。
在GooseFS的辅助下,为海量数据分析、机器学习、人工智能等工作负载提升性能,解决了海量小文件和HDFS文件访问的需求问题,实现了智能数据预热和更高效的就近访问。
利用TStor OneCOS构建自动驾驶云存储平台,解决了蔚来在容量、性能和成本方面的需求问题,满足了业务增长的需要,实现了业务的快速扩张。