简而言之,选择GPU服务器有四个重要参数:浮点计算能力、内存、数据传输和价格。
对于许多科学计算,服务器性能主要取决于GPU的浮点能力。特别是对于深度学习任务,单精度浮点运算和低半精度浮点运算性能更为重要。
如果资源充足,您可以选择具有高吞吐量和NVLink技术的大型视频存储的GPU卡。如果资金有限,我们必须仔细考虑核心需求。可选价格高于更高的GPU卡。
心理学家告诉我们,随着时间的推移,注意力的资源会逐渐耗尽。内存是为数不多的硬件之一,它可以帮助您节省精力解决更难的编程问题。
您需要专注于最紧迫的问题,而不是浪费时间解决存储瓶颈。有了更多的存储空间,您就可以避免瓶颈、节省时间,并在紧急情况下提高工作效率。
因此,如果您有足够的资源并且需要大量的预处理,则必须至少选择与GPU内存大小相同的内存。虽然可以运行较小的内存,但由于数据传输需要逐步进行,整体效率会大幅下降。总的来说,内存越大,操作就越舒适。
硬盘/固态硬盘
对于某些深度学习,硬盘是一个明显的瓶颈。如果数据集很大,通常会将一些数据存储在硬盘上,一些数据存储在内存中,两个小补丁存储在GPU内存中。为了持续提供GPU,需要以GPU能够流式传输这些数据的速度部署少量新数据。
为此,您可以使用与异步少量映射相同的想法,以少量和异步方式读取文件。如果没有异步处理,性能会大幅下降(5-10%),而且硬件的精确度也会降低。高达100-150 MB/s的硬盘速度可与GPU同步,因此需要SSD。
许多人购买SSD是因为它启动程序和响应速度快,而且大文件的预处理速度快。但是,对于深度学习,仅当输入维度太高而无法完全压缩数据时才需要它。
在购买SSD时,您需要选择与您通常需要处理的数据集大小相匹配的存储容量,并留出10GB的额外存储空间。我们还建议您将未使用的记录保存到共享硬盘。
这个很难说,牵扯的面很广,比如:品牌、产品功能、使用场景、售后时限等等。