Opslag voor hoge gegevensdoorvoer en grote volumes

Op de laatste editie van de conferentie “Technology Live!”, georganiseerd door het bureau A3 Communicatie, hebben Kalray, WekaIO en VAST hun producten en innovaties gepresenteerd. Scality besprak trends en fenomenen van de objectopslagmarkt met de deelnemers van de online conferentie.

Kalray

De Franse fabrikant Kalray wil het nieuwe processortype Data Processing Unit (DPU) als gelijkwaardige component naast CPU en GPU neerzetten. Het belangrijkste kenmerk is de multicore-architectuur MPPA. Deze MPPA-processoren, die meer dan een dozijn rekenkernen hebben, en de bijbehorende insteekkaarten moeten in de toekomst worden gebruikt in embedded systemen zoals autonome voertuigen en in datacenters als programmeerbare versnellers.

Op het gebied van opslag kunnen ze de werkstappen overnemen van compressie, deduplicatie en encryptie met SSL of TLS. De MPPA-architectuur moet het mogelijk maken dat al deze taken parallel en gelijktijdig worden uitgevoerd. Lagere latentie, hogere gegevensdoorvoer en lagere kosten worden verondersteld de voordelen te zijn, vooral bij computernodes in de cloud en aan de rand. Eric Baissus, CEO en President van Kalray, ziet de K200-LP als een “game changer”: het eerste product naast de enkele MPPA-processor is de Kalray K200-LP insteekkaart, die op zijn beurt wordt aangeboden in een “FlashBox”-apparaat samen met 24 SSD’s. De K200-LP ondersteunt een hoge gegevensdoorvoer met NVMe oF, d.w.z. zowel NVMe over TCP (NVMe oF over TCP) als NVMe over RoCE (NVME oF over RDMA over Converged Ethernet).

De kaart levert volgens Baissus een gegevensdoorvoer van meer dan 2 MIOPS en een gegevensoverdrachtsnelheid van 12 gigabyte per seconde per kaart (met RoCE en TCP) met twee 100 Gbps Ethernet- en één PCIe Gen4-bus. De latentie zou minder dan 300 milliseconden bedragen. De kaart, die door deze protocollen wordt versneld, zal naar verwachting worden gebruikt in opslagapparatuur en CSP-datacenters waar PCIe 4.0 en Ethernet worden gebruikt. Integratie kan plaatsvinden op bare metal, VMware, Openstack, containerinfrastructuren en op HPC-bestandssystemen. De Taiwanese chipfabrikant Wistron produceert de kaart al.

WekaIO

De Israëlisch-Amerikaanse softwarefabrikant WekaIO biedt een krachtig bestandsbeheersysteem voor ongestructureerde gegevens. Het POSIX-compatibele, geparallelliseerde WekaFS-bestandssysteem maakt gebruik van NVMe en ondersteunt tot 14 exabytes aan naamruimten. Volgens CEO Liran Zvibel is WekaFS, omdat het optimaal geschikt is voor de levering van ongestructureerde gegevens en versnelling door Nvidia GPU’s, bijzonder geschikt voor gebruik in HPC, AI/machine learning-architecturen en biowetenschappen (genomica, vaccinonderzoek, enzovoort).

Doordat WekaIO nauw samenwerkt met Nvidia, was het geen verrassing toen de fabrikant zijn ondersteuning voor Nvidia’s nieuwe HGX-platform aankondigde. HGX omvat de A100 GPU, NDR-400G InfiniBand en Magnum IO GPUDirect Storage-software. Met deze derde functie beweert WekaIO de hoogste datadoorvoersnelheden te hebben bereikt die ooit op Microsoft Resarch zijn getest. Hierbij werd WekaFS uitgevoerd op gekoppelde DGX2-servers van Nvidia.

VAST Data

VAST biedt de software “Gemini” voor het creëren van een zogenaamde “Flash Cloud”. Volgens marketingmanager Jeff Demworth gaat het om een “Disaggregated, Shared Everything Cluster Architecture” (DASE). Het wordt verondersteld opslagarchitecturen mogelijk te maken tot een volume van momenteel 50 petabytes; een bereik van clusters van 50 tot 100 PB in omvang is gepland. VAST zelf biedt een toestel aan waarvan de capaciteit begint bij 675 TB. Het wordt gedistribueerd door het systeemhuis Avnet, meldde Peter Gadd, de verkoopleider.

De VAST-architectuur moet klanten niet alleen in staat stellen hun cloudkosten met gemiddeld 70 procent te verlagen, maar ook om HPC- en AI-toepassingen sneller en goedkoper on-premise uit te voeren dan in de cloud. De voorwaarde voor de lage kosten is niet alleen het wegvallen van cloud fees en kosten voor gegevensoverdracht, maar ook de lage aanschaf- en gebruikskosten voor QLC SSD’s en Intel Optane drives.

De hardware bestaat voornamelijk uit Intel 3D Xpoint (Intel Optane) en QLC flash drives, efficiënte datareductiesoftware en de eerder genoemde DASE-architectuur. Dit omvat efficiënte NIC-adapters, VAST-containerservers en clients die via een aantal protocollen aan elkaar kunnen worden gekoppeld: NFS, NFS over RDMA plus GPUDirect (Nvidia vereist), SMB, S3, Kubernetes Container Storage Interface (CSI).

Er is slechts één klein probleempje: de toekomst van Intel Optane lijkt niet al te zeker en is onderwerp van een levendig industrieel debat. Liran Zvibel, de CEO van WEKA.io, stak zijn twijfels over de toekomstperspectieven van Intel Optane niet onder stoelen of banken. Maar dan zijn er nog andere QLC SSD’s.