文｜數據猿

在數字化浪潮中，傳統存儲架構的疲態盡顯，亟待一場變革性的突破。而軟件定義存儲（SDS），正是這場變革的引領者。作爲一種創新的存儲架構，SDS通過軟件實現對存儲資源的精細化管理，爲企業開闢出一條突破困境的新航道。

經過多年的發展，SDS的核心優勢日漸鮮明：

硬件解耦，徹底打破存儲資源（磁盤、SSD、內存等）與控制邏輯的捆綁，讓軟件統一調度，實現硬件資源的靈活調配。

抽象與池化，將異構的存儲資源整合爲一個統一的資源池，以塊、文件、對象存儲等形式，按需分配給業務系統，提升資源利用率。

自動化與智能化升級，藉助先進的軟件算法，自動實現數據分層、快照、複製、壓縮等高級功能，無需依賴硬件，大幅提升存儲效率。

堅持開放性，基於iSCSI、NFS、S3等標準協議，與各廠商硬件無縫兼容，構建開放、多元的存儲生態。

SDS的蓬勃發展，離不開持續的技術創新。其核心技術涵蓋存儲虛擬化、數據管理、分佈式架構、自動化與智能化、協議支持以及硬件解耦等，不僅是SDS的支柱，更是攻克存儲障礙的利刃。

在創新思維中，“零基思維”備受推崇，即拋開既有框架，讓思維迴歸原點，重新審視問題，就能最大限度地激發創造力。現在，讓我們以“零基思維”爲指引，深入剖析軟件定義存儲的6大核心技術，探尋化解存儲難題的密碼，爲企業存儲系統的轉型升級開啓無限可能。

存儲虛擬化，將存儲資源抽象爲邏輯存儲池，消除硬件差異

IT世界中的幾乎所有東西都被虛擬化了，無論是服務器、SAN、內存、網絡，還是存儲。典型的虛擬化就是屏蔽系統的複雜性，增加或集成新的功能，仿真、整合或分解現有的服務功能等。

存儲虛擬化是將來自多個存儲設備的物理存儲，池化爲看似單個存儲設備或可用存儲容量池。存儲虛擬化依靠軟件來識別物理設備的可用存儲容量，然後將該容量聚合爲一個存儲池，供傳統架構服務器使用，或在虛擬環境中由虛擬機（VM）使用。

虛擬化存儲軟件收集來自物理機或虛擬機的輸入/輸出（I/O）請求，並將這些請求發送到存儲設備的適當物理位置。對於用戶來說，構成存儲池的各種存儲資源是不可見的，因此虛擬存儲看起來像一個可以接受標準讀取和寫入的物理驅動器、共享或邏輯單元號（LUN）。

存儲虛擬化的一種基本形式由存儲資源的硬件和主機（PC、服務器或訪問存儲的任何設備）之間的軟件虛擬化層表示，這使得作系統（OS）和應用能夠訪問和使用存儲。

存儲虛擬化主要有兩種類型：塊級存儲虛擬化在 “SAN（存儲區域網絡）”中實現，而文件級存儲虛擬化發生在NAS（網絡附加存儲）級別。可以通過多種方式如基於主機的存儲虛擬化、基於陣列的存儲虛擬化、基於網絡的存儲虛擬化等，將存儲應用於虛擬化環境。

虛擬化軟件的進一步發展以及Storage Management Initiative規範等使虛擬化產品能夠與更廣泛的存儲系統配合使用，使其成爲努力應對存儲容量螺旋式增長的企業更具吸引力的選擇。

存儲虛擬化優勢包括：更輕鬆的管理，用於監控和維護多個虛擬化存儲陣列的單個管理控制檯可減少管理物理系統所需的時間和精力。

更好的存儲利用率，跨多個系統共用存儲容量可以更輕鬆地分配，從而更有效地分配和使用存儲容量。

另外，延長舊存儲系統的使用壽命，在虛擬化級別實現一些更高級的存儲功能，如分層、緩存和複製等。

在存儲虛擬化方面，VMware通過vSAN將服務器本地存儲（如SSD/HDD）虛擬化爲共享存儲池，支持混合雲無縫集成。

VMware vSAN是一款支持超融合基礎架構（HCI） 的企業存儲虛擬化軟件。VMware vSAN跨 VMware vSphere集羣聚合本地和直連數據存儲設備，以創建vSAN集羣中所有主機都可以共享的單個數據存儲。組織還使用該工具在一個平臺上管理計算和存儲，通過使用 vSAN 中的策略和規，組織可以降低與傳統存儲系統相關的成本和複雜性。

VMware vSAN的主要功能和優勢包括：基於存儲策略的管理，支持自動管理存儲配置文件；

校驗和和靜態數據加密可防止對靜態數據進行未經授權的訪問；這些集羣通過在同一設置中啓用多個虛擬化主機服務器來提供更高的安全性和可用性；支持全閃存配置的重複數據刪除、壓縮和糾刪碼數據服務；支持存儲服務質量（QoS），使管理員能夠限制特定虛擬機每秒可以消耗的輸入/輸出操作（IOPS）數量；可在x86服務器上部署；根據應用需求靈活提供計算和存儲等。

熱門VMware vSAN用例。VMware vSAN支持每個節點高達150,000 IOPS、自動化功能、可擴展性和安全性，使得vSAN成爲以下用例的理想選擇：業務關鍵型應用程序，冗餘和本地前端環境，災難恢復，擬桌面基礎架構（VDI）和遠程辦公室和分支機構（ROBO）。

開源的軟件定義存儲解決方案Ceph，基於RADOS（分佈式存儲系統）實現跨節點的存儲虛擬化，支持塊、文件、對象存儲統一管理。

Ceph高度可擴展的架構，使其成爲高增長數據塊存儲、對象存儲和數據湖的新規範。Ceph可以使用軟件抽象層將數據與物理存儲硬件分離，從而提供擴展和故障管理功能。Ceph因爲可以有效地滿足大數據量存儲需求，因而成爲雲、OpenStack、Kubernetes和其他基於微服務和容器的工作負載的理想選擇。

Ceph的主要優勢在於，爲單個集羣中的多種存儲類型提供接口，無需多個存儲解決方案或任何專用硬件，從而減少管理開銷。Ceph的使用案例範圍從私有云基礎設施（超融合和分解）到大數據分析和富媒體，或作爲公共雲存儲的替代方案。

智能數據管理，通過AI/ML優化數據分佈、壓縮、去重

AI/ML的快速採用幾乎改變了一切，開創了世界前所未見的創新和增長新時代。AI/ML對存儲的影響將是深遠的，從智能數據管理和優化資源分配，到增強的安全性和存儲效率，AI將從根本上改變組織感知和利用存儲系統的方式。

存儲將不僅僅是容量和性能，將更多地關注智能和效率。隨着組織繼續在其存儲策略中利用 AI/ML的強大功能，我們可以預期智能、自適應的存儲解決方案擁有無限可能性，響應速度更快、更安全且成本效益更高。

目前，AI等技術正在以下幾個方面，改變了存儲的智能數據管理（Storage Intelligent Data Management）：

分層存儲已經存在了幾十年，允許組織根據容量、速度、成本、安全性和其他因素的要求來利用不同類型的存儲介質。目前實施分層存儲仍然是一項相對手動的工作。而AI/ML可以通過分析訪問和使用模式，智能地將數據分配到最佳存儲層，從而提供完全自動化分層存儲的機會。

分類和標記是另一項重要的手動任務。AI/ML可以分析數據上下文和相關元數據，以自動將大量信息分類爲整潔、有序的可消費單元。分類和標記的潛在用例很有趣，包括商務、內容管理以及依賴搜索功能的任何其他流程。

重複數據刪除和壓縮可以幫助組織最大限度地利用存儲資源。AI/ML可用於審查整個組織中的大型數據集，並確定刪除重複數據或壓縮數據集的機會，將使組織能夠更有效地利用其總存儲容量。

預測性維護。計劃外停機每年給組織造成數十億美元的生產力損失。憑藉分析歷史數據和實時使用模式的能力，AI算法可用於預測何時可能發生設備故障，並主動將其標記給合適的人員，從而降低代價高昂的停機時間和毀滅性數據丟失的風險。

AI不僅可以自動執行備份和恢復流程，還可以識別潛在風險和漏洞，並在發生中斷或數據丟失時提供實時警報和通知。隨着災難恢復工作具有更高程度的控制力和可靠性，企業可以更快地從災難中恢復，以減少意外事件的影響，提高業務連續性，並確保關鍵作可以快速恢復。

AI/ML還可以幫助配置、優化和重新分配計算和存儲資源，可以顯著提高資產利用率、增強系統性能和提高數據可用性。在緩解安全和威脅、TCO分析等方面，智能數據管理也有用武之地。

華爲OceanStor通過SmartTier智能分層技術，動態調整數據在HDD和SSD間的分佈。

華爲OceanStor V3系列融合存儲擁有功能豐富的存儲軟件，可以滿足用戶的多樣存儲需求，適合大型數據庫OLTP/OLAP、高性能計算、數字媒體、因特網運營、集中存儲、備份、容災和數據遷移等應用。

華爲OceaStor V3融合存儲分級技術、數據壓縮與重刪技術、自動精簡配置技術、存儲虛擬化技術、服務質量保障技術、緩存分區優化技術能夠讓用戶充分發揮出融合存儲的各項優勢。

其中華爲SmartTier自動分級技術能夠幫助用戶在合適時間將合適數據放置在合適的存儲介質上，能夠很好地滿足用戶在性能和成本之間的平衡。

華爲SmartThin自動精簡配置技術可以幫助用戶採用“按需分配”的存儲空間分配策略，提高存儲資源利用率。華爲SmartVirtualization異構虛擬化技術可以幫助用戶管理不同廠商的異構存儲產品，實現用戶對存儲環境進行統一管理，降低管理複雜度的效果。而華爲在線重刪技術可以實現基於文件和Thin LUN的數據重刪功能，無需影響到主存儲控制器處理器的性能。

華爲SmartQoS服務質量保障技術能夠對存儲系統中的計算資源、緩存資源、併發資源以及硬盤資源的智能分配和調節，來滿足多種不同重要性業務在同一臺存儲設備上的不同QoS要求。而華爲SmartPartition緩存優化技術可以通過對系統核心資源的分區，保證關鍵應用的性能。

Pure Storage FlashBlade的Elasticity軟件堪稱存儲領域的革新利器，具備諸多顯著優勢。它構建了通用擴展對象存儲體系，不僅支持CIFS 等多種文件及對象協議訪問，而且還前瞻性地爲未來新型協議預留接口。

在負載分佈上，Elasticity能巧妙跨越至強與ARM CPU，確保運行高效。同時，豐富的數據服務功能一應俱全，數據削減、快照、複製、加密等操作，爲數據安全與管理提供全方位保障。

在元數據處理方面，Elasticity擁有可擴展及可變塊大小元數據引擎、元數據查詢等功能，並能保障分佈式事務一致性。高可用性也是其一大亮點，向外擴展 Elastic Core配合端到端垃圾回收，N+2+擦除編碼、LDPC錯誤恢復功能，進一步提升系統穩定性。另外其強大的命名空間及元數據尋址能力，使其每秒可創建超1億個獨特的對象/文件，性能十分強勁。

分佈式架構，多節點協作實現高可用性和橫向擴展

分佈式存儲系統旨在跨多個互連的節點或服務器存儲和管理數據。與數據存儲在單個位置的傳統集中式存儲系統不同，分佈式存儲系統將數據分佈在節點網絡中，在可擴展性、可靠性和容錯性方面具有多項優勢。

分佈式系統主要有三種類型：塊存儲庫，數據在存儲庫中排列成數據塊，每個數據塊都由地址或身份唯一識別。在分佈式系統中，這些塊被劃分在多個節點或服務器之間，提供容錯和冗餘。

塊存儲庫經常用於雲計算平臺和虛擬化基礎設施，以及其他需要直接訪問原始存儲塊的情況。對於數據庫和其他需要高效隨機訪問數據的應用程序，塊存儲庫是高性能存儲的絕佳選擇。

文件存儲庫，用於在多個節點或服務器之間排列和控制文件，通過提供元數據管理、訪問控制和文件鎖定等功能，使用戶能夠安全地協作處理共享文件。

文件存儲庫對於各種應用如內容交付、數據分析和協作工作環境等都非常有用，爲存儲和訪問文件提供了一致的分層命名空間。

對象存儲庫，用於管理和存儲由數據、元數據和唯一標識符組成對象。通常，對象是非結構化數據單元，如blob、文檔、電影和照片。對象存儲庫提供了通用且可擴展的存儲選項，適用於各種用途，如數據存檔、內容交付和雲存儲等。

分佈式存儲系統衆多優勢，如通過添加更多存儲節點或服務器，分佈式存儲系統使企業能夠根據不斷增長的數據量和用戶需求進行擴展；通過跨多個節點複製數據來承受硬件故障，從而保證數據可用性和不間斷服務；在發生硬件故障或網絡中斷時，冗餘和容錯技術可確保對數據和服務的持續訪問；通過將工作負載和數據劃分給多個節點，可以降低延遲和瓶頸，並提高性能；通過利用可擴展的架構和商用技術，可以提供比傳統整體存儲系統更實惠的存儲解決方案等。

阿里雲對象存儲服務OSS是阿里雲提供的海量、安全、低成本、高可靠的雲存儲服務。OSS分佈式存儲擁有海量彈性、高可靠、高併發讀寫、全球覆蓋、安全可控等優勢。

OOS採用先進的分佈式架構，將數據分散存儲在多個節點，提高存儲效率和可靠性；通過智能算法，自動優化數據存儲佈局，提升數據訪問性能；支持多種加密方式，對數據進行加密存儲和傳輸，防止數據泄露；具備強大的備份和恢復功能，可定期備份數據，快速恢復誤刪或損壞的數據；可在不同區域間進行數據複製，實現異地容災和數據多活。

OSS具有與平臺無關的RESTful API接口，您可以在任何應用、任何時間、任何地點存儲和訪問任意類型的數據。企業可以使用阿里雲提供的API、SDK接口或者OSS遷移工具輕鬆地將海量數據移入或移出阿里雲OSS。

Amazon S3是亞馬遜雲科技的元老級分佈式存儲服務，爲全球數百萬客戶提供可靠、便捷的雲存儲。現在Amazon S3提供了9個存儲層級，滿足不同應用的數據不同訪問模式，能夠勝任幾乎所有工作負載。

而AWS S3利用對象存儲架構實現海量數據存儲；基於鍵值對的元數據管理，方便數據索引和檢索；採用冗餘存儲和數據校驗技術，保證數據完整性和耐久性。這樣企業可以通過 Amazon S3隨時在Web上的任何位置存儲和檢索的任意大小的數據。

MinIO是開源對象存儲系統，通過Erasure Coding提高數據冗餘效率，適合雲原生場景。其幕後的公司MinIO推出的MinIO AIStor允許企業將其所有數據整合到一個私有云命名空間上。AIStor的架構採用與超大規模提供商相同的原則，與公有云相比，AIStor 以一小部分成本提供大規模性能。MinIO AIStor生產吞吐量超過2.2 TiB/s，爲對象存儲設定性能基準。

編排與自動化，通過軟件實現存儲資源自動化分配和運維

編排和自動化可以幫助用戶管理存儲。存儲的編排和自動化是現代數據存儲管理中的重要概念，也是軟件定義存儲的核心技術。

存儲編排主要指對存儲資源進行合理規劃、分配和組織，包括存儲設備、空間、網絡連接等的統籌安排，以滿足不同業務對存儲的需求，提高資源利用率。

自動化則是利用軟件工具和技術，使存儲管理中的配置、部署、監控、故障處理等任務能夠按照預設規則自動執行，提升管理效率和準確性，減少人工干預，降低人爲錯誤風險，實現存儲管理的高效、穩定和智能化運行，是提升存儲系統整體性能和運維水平的關鍵手段。

許多可用的編排工具都是開源的，如Kubernetes、OpenShift 、Swarm等。有些是完全商業的產品，如AWS、Microsoft Azure、阿里雲等提供的產品。Kubernetes已成爲該領域的主導技術，擁有一個蓬勃發展的DevOps和最終用戶社區，是存儲編排的典型代表。

Kubernetes中的存儲通過容器存儲接口（CSI）進行管理，CSI是一種以獨立於設備的方式將塊和文件存儲系統連接到容器化工作負載的標準，使存儲與運行時環境的其他軟件定義資源一樣易於管理。

Nutanix藉助超融合基礎設施的自動化存儲編排，實現分鐘級存儲服務部署。

Nutanix Unified Storage將塊、文件和對象存儲整合到一個平臺中，旨在減少傳統存儲系統的弱點，對於希望從一個界面管理所有三種類型存儲的團隊特別有益。

而Nutanix的自動化存儲編排技術包括：採用超融合架構，將計算、存儲等資源深度融合，通過軟件定義存儲技術實現存儲資源的靈活編排；利用智能數據管理技術，可自動進行數據的分層存儲、副本管理和故障恢復等操作；藉助自動化腳本和API，能與多種雲平臺及企業現有IT系統集成，實現跨平臺的自動化管理等。

Nutanix的存儲編排與自動化優勢明顯，如簡化管理，通過統一界面實現對存儲等資源的集中管理與編排，降低運維複雜度；高靈活性，可按需靈活分配存儲資源，快速響應業務變化；強大的自愈能力，自動檢測和修復存儲故障，保障數據的高可用性；運用數據壓縮、去重等技術，提升存儲效率，降低成本。

CubeFS由京東於2017年創建一個分佈式存儲平臺，在兩年後捐贈給CNCF。現在它已從CNCF畢業，被200多個組織用於存儲350PB的數據。

CubeFS支持存儲編排與自動化。編排上，能對存儲資源按需分配、靈活調度，實現計算與存儲解耦；自動化方面，可自動處理數據均衡、副本管理、故障恢復等。通過策略和規則設定，能自動完成日常運維任務，提升效率，保障存儲系統穩定、高效運行。

CubeFS支持副本和糾刪碼兩種防止數據丟失的方法，旨在提高應用程序訪問其數據的速度，該平臺將元數據或有關文件的技術信息存儲在RAM中，而不是存儲在持久性存儲中。

多協議支持與統一接口，兼容塊、文件、對象等多種存儲協議，簡化數據訪問

軟件定義存儲的多協議支持是指存儲系統能夠同時支持多種不同的通信協議，如光纖通道協議（FC）、互聯網小型計算機系統接口（iSCSI）、網絡文件系統（NFS）、服務器消息塊協議（SMB）等，以滿足不同用戶和應用場景對數據存儲和訪問的需求，使不同類型的設備和系統都能高效地與存儲系統進行交互。

而提供統一接口旨在爲各種存儲資源和不同協議提供一個標準化、一致性的操作和管理界面，隱藏底層存儲設備的複雜性和差異性。用戶通過統一接口，可以以相同的方式對不同類型、不同品牌的存儲設備進行配置、管理、監控等操作，提高存儲管理的效率和便捷性。

近年來，存儲廠商不斷推出支持更多協議的存儲產品，並通過軟件定義存儲等技術來優化統一接口的實現，使其更加靈活和智能。

在應用上，越來越多的企業數據中心開始採用多協議存儲和統一接口方案，以適應混合雲、多雲等複雜的IT環境，實現存儲資源的高效整合和管理。

在行業標準組織也在積極推動相關標準的制定和完善，促進存儲多協議支持與統一接口技術的規範化和互操作性。

Alluxio開源數據虛擬化層，提供內存緩存和統一命名空間，兼容HDFS、S3等協議。

Alluxio爲數據驅動型應用和存儲系統構建了橋樑, 將數據從存儲層移動到距離數據驅動型應用更近的位置從而能夠更容易被訪問，使得應用能夠通過一個公共接口連接到許多存儲系統。

到今天爲止，Alluxio已經在數百家機構的生產中進行了部署，最大部署運行的集羣規模超過1500個節點。

Alluxio將三個關鍵領域的創新結合在一起，提供了一套獨特的功能。

全局命名空間：Alluxio能夠對多個獨立存儲系統提供單點訪問，無論這些存儲系統的物理位置在何處，提供了所有數據源的統一視圖和應用程序的標準接口。

智能多層級緩存：Alluxio集羣能夠充當底層存儲系統中數據的讀寫緩存，可配置自動優化數據放置策略，以實現跨內存和磁盤（SSD/HDD）的性能和可靠性。

服務器端API翻譯轉換：Alluxio支持工業界場景的API接口，如HDFS API、 S3 API、FUSE API、REST API等，能夠透明地從標準客戶端接口轉換到任何存儲接口。Alluxio 負責管理應用和文件或對象存儲之間的通信，從而消除了對複雜系統進行配置和管理的需求。

NetApp ONTAP是一款強大的存儲管理系統，通過StorageGRID這一關鍵技術，能對對象存儲（S3）、文件（NFS）和塊存儲（iSCSI）進行統一管理。它爲用戶提供了一個集成化的管理平臺，無論使用哪種存儲類型，都可在一個界面下完成配置、監控、維護等操作，有效簡化了存儲管理流程，同時確保不同存儲類型的數據能高效、安全地存儲和訪問，滿足企業多樣化的存儲需求。

軟件硬件解耦，打破廠商鎖定，支持異構硬件和開源方案

麥肯錫認爲，隨着AI的進步實現新功能並顯著降低開發成本，軟件定義硬件正在重塑多個行業。在過去的20年裏，從固定功能硬件到軟件定義硬件的轉變，徹底改變了從網絡到移動通信的行業。

在傳統的存儲系統中，軟件和硬件緊密集成，通常迫使企業使用特定的供應商設備來管理其數據，會導致高成本、有限的靈活性和潛在的供應商鎖定。

軟件定義存儲SDS將控制系統與硬件的物理存儲卷分開，允許獨立升級和可擴展性。SDS通過從物理存儲設備中抽象出存儲管理來轉變這種模式，使企業能夠使用各種硬件（從商用硬件到企業級系統），而不會犧牲控制或性能。軟件層成爲控制平面，負責定義如何跨不同硬件平臺存儲、訪問和管理數據。

SDS這種軟件層與存儲硬件的解耦，使企業能夠輕鬆擴展和升級其存儲基礎設施，而無需受制於特定供應商或昂貴的硬件升級。

通過利用SDS，企業可以充分利用其現有的底層硬件，同時隨着時間的推移仍能集成更新、更具成本效益的解決方案。這不僅提高了靈活性，而且通過減少對高成本專有存儲系統的依賴來降低運營成本。

在軟件硬件解耦方面，浪潮信息的AS13000G7分佈式存儲平臺採用全新數控分離架構，將文件系統的數據面和控制面完全解耦，控制面管理數據屬性信息，數據面直接負責數據讀寫操作，顯著減少數據流在節點間的轉發次數，降低80%的東西向數據轉發量。

浪潮信息創新自研分佈式軟件棧，通過軟件層面的數控分離，把數據面和控制面進行解耦，解決了傳統分佈式文件系統中數據和元數據高度耦合帶來的性能瓶頸問題。

戴爾PowerEdge通過OpenManage平臺實現與第三方存儲硬件的無縫集成。戴爾OpenManage平臺功能豐富多樣，包括提供集中管理能力，能作爲統一控制檯管理多達8000臺戴爾PowerEdge服務器，還可全面監控網絡、存儲及第三方設備。在生命週期管理方面，涵蓋從發現、配置、部署到更新、修復的全流程等。

毫不諱言，許多公司正試圖通過創建新的存儲系統、新的計算框架或新的堆棧來解決與數據訪問相關的挑戰。然而，歷史表明，每隔5～10年，就會出現另一波新的存儲系統和計算框架，並不能從根本上解決數據訪問挑戰。以存儲爲例，每個新的存儲系統都成爲數據環境中的另一個數據孤島，創建新應用程序或新堆棧的方法也是如此。

我們相信，爲了從根本上解決數據訪問挑戰，世界需要軟件定義存儲SDS化解這些挑戰，輕裝上陣。