最近,我在思考过去、现在和未来的存储平台设计。我很清楚地看到我们行业的许多人快速地从SAN(存储局域网)存储和本地文件系统迁移到基于存储的设备。
在思考这个现象的时候,我询问了我的一些朋友。“我们需要简化存储架构是因为我们没有足够的存储人才来管理存储的复杂性吗?或者说我们迁移到设备模式是因为这是自然的进步?”
在我看来,这是典型的“先有鸡还是先有蛋”的问题。
SAN过去的统治
七年前,SAN还统治着存储环境。现在一切都变了。
SAN革命开始于1997年光纤通道的引入。2007年以前光纤通道还没有多少竞争,直到10Gb/秒以太网进入市场,将SAN的市场挖走一大块。
在这段时间,市场格局发生了很大变化。Linux在许多领域成为主导,文件系统的发展则进展较小。为什么进步这么有限呢?是否因为Linux是免费的,而文件系统则很难开发而没有人愿意为文件系统买单?
NAS(网络附加存储)和其他存储设备对大型存储环境的管理很简单。文件系统和管理都被整合到一个框架中。
在一些大型组织中,SAN管理和文件系统管理是由不同的小组来管理的。我经常看到两个小组之间的冲突,不过一个大问题就是整合。SAN管理小组的人经常不告诉文件系统小组的人底层存储架构。因此文件系统小组的人经常创建一个没有针对这个存储优化的文件系统。
他们是正在使用LUN(逻辑单元号)7+1 RAID(独立磁盘冗余阵列)-5(经常被用于一些企业RAID)吗?这种系统可能不符合应用程序分配。或者说他们是正在使用4+1 RAID-5?条带的大小应该设成多少?文件系统分配应该如何匹配条带大小和底层存储架构?对大部分站点来说,所有这些问题都是非常令人困惑的问题,同时很影响性能。
即使这些小组都同心协力或每个人都在同一个小组内工作,要学会调整每个RAID设备、文件系统、网络和架构还是需要很长的时间。由于不同的厂商经常有不同的组件,员工们有许多不同的培训课程要去上。当然,这要花费时间和金钱。
此外,许多用户只有有限的性能工具来告诉他们问题在哪里以及他们犯了哪些错误。要想让每个东西都得到最佳设置,我们很难不花很多钱。
那些利润率比较高的SAN厂商们可能会安排人手在现场,或者用户支付咨询费来让人解决性能问题(我知道,因为我们进行了很多这样的工作)。最后,SAN的成本远远高于当初的硬件成本。
同时,NAS设备速度变得越来越快,同时也更便于设置和使用。许多研究都声称它们有更低的总拥有成本。
在10Gb/秒以太网之前,市场上只有1Gb/秒以太网。与SAN通道相比,这种以太网的速度相当慢。然后10Gb/秒以太网来了,它比最快的SAN通道8Gb/秒光纤通道还要快。8Gb/秒光纤通道一直是最快的SAN通道,直到2012年年中16Gb/秒光纤通道和PCIe 3.0服务器计入市场。当然,10Gb/秒以太网和NAS协议开销比SAN(SCSI)大,但是它足够快,而且可以扩展到相当于SAN。
2012年:改变的一年
回顾2012年,我看到存储的许多事情开始发生改变。存储行业的格局是向应用程序专有性设备倾斜。Hadoop设备,关联设备、其他大数据分析和大型并行文件系统设备——所有这些类型的设备都显示出了强劲的市场增长,并且有许多新厂商正在进入这个市场。
大部分内置应用程序的这些设备有有限的调整参数,因为它们已经针对底层存储基础设施和应用程序设计进行过优化。这并不是说用户不需要一些东西来改进 性能,只不过说这个需要调整的东西是有限的。这些设备马上就能带来良好的性能,而且已经为你做好了整合。者意味着用户不需要很多的存储知识来操作这些新的 存储设备。
存储设备的兴起是好是坏?
我认为导致传统基于SAN存储环境没落的原因是多方面的。
首先,缺乏能够游刃有余地安装管理大型复杂系统的专业人员,这是一个非常重要的原因。
第二,复杂的系统如何进行整合堆叠?一个文件系统如何理解基本的拓扑结构,如何自动配置?这些都难以实现。另外,各层次之间缺乏交流,接口的低传输率也使得问题雪上加霜。
第三,各大厂商没有发现大势已去,它们自认为掌握了多种有利因素。为什么到现在都没有端到端文件系统厂商的整合使工作更加简单?缺乏刺激其它技术发展的合作。
第四(或许还有其它原因我没有考虑到),人人都想要免费的东西,因此在高速文件系统领域,Linux获得快速发展。但是,各位要注意,Linux没有可扩展的文件系统,不能进行好的文件系统SAN管理。正如俗话说的,天下没有免费的午餐。
那存储分析师和存储管理员们要怎么办?
假如我所说的是正确的,存储世界正在快速改变,我们的设备会需要越来越少的管理,监控,与硬件的交互也会越来越少。那存储分析师和存储管理员们要干什么?
我在这个市场上混了快32年了,了解到一件事情,就是每个新奇的工具都需要人来操作它。设备和人力的预算基本上是平衡的,如果设备需要更少的人来管理,那你不久就会发现需要购买更多的设备。短期来看,人力的投入可能会有所下降,但是从长远来看,事情并没有发生本质的变化。就像虚拟化,据我所知人员的减少不会持续很长时间。
这意味着像我这样置身存储行业中的人需要随着时间做出改变,要不就变成恐龙了。现在,这已经适用于我们所有人。我们需要从原来了解的SAN和RAID配置管理方式中解放出来,去更好地理解设备,了解设备如何与硬件相辅相成。就我而言,所有的设备都有可调的参数。你需要理解这种参数,理解如何把数据存储到系统中,如何更好地运行系统。这对于我们大家来说都是需要学习的地方。
最后的思考
每个人都在讨论大数据,讨论大数据如何改变我们的世界。在大多数情况下,我同意它们的看法。需要收集分析的数据的数量正在跨越式发展。依我看,数据的发展主要受限于运算法则和提出问题,开发设备的人们的想象力。
而最终,我们成功的关键就是如何从老旧的管理方式和技术中突破出来,研究出新的管理方式和技术。