Het voelt als “S3” van Amazon Web Services (AWS), maar dat is het niet. Minio heeft een “Cloud Native Object Storage Server” ontwikkeld. Het is bedoeld om de ontwikkeling van opslagtoepassingen in de AWS-cloud te vergemakkelijken, maar om de toepassingen en de gegevens productief te gebruiken in de eigen omgeving.
Nu is Minio niet bijzonder bekend. Het bedrijf is opgericht in 2014 in Palo Alto, Californië, en biedt een objectopslag die vooral geschikt is voor cloudapplicaties en in de omgeving van DevOps, ontwikkeling en operaties). Onder andere Anand Babu Periasamy, de mede-oprichter van “Gluster”, zit erachter. Ruim twee jaar geleden richtte hij ook Minio op, samen met Garima Kapoor.
Periasamy zegt: “Als de marktonderzoekers van IDC gelijk hebben, moet er in 2020 zo’n 44 zetabytes aan gegevens ergens worden opgeslagen. Ik zie een grote kans voor open source om de gevestigde opslagindustrie als het ware te ontleden.”
“Minio”, het product draait op “Apache v2.0” en is geschreven in “Go”. Gebruikers kunnen ongestructureerde gegevens opslaan op basis van elke cloudinfrastructuur – publiek en privaat.
Van S3 overal
Het bedrijf is in privébezit. Maar de Minio-gemeenschap omvat meer dan 125 personen en organisaties die code bijdragen aan het project, meer dan 5.000 Github-sterren, en meer dan 750 leden op het “Gitter”/”Slack”-kanaal. De meeste leden van de gemeenschap komen uit de VS en Europa, maar ook uit Japan. Voor de inzet maakt Minio gebruik van Docker-containers; volgens het bedrijf zijn er de afgelopen drie maanden meer dan 400.000 containers benaderd.
De software helpt bij het beheren van de enorme hoeveelheden gegevens waarmee ontwikkelaars en gebruikers van SaaS- en cloudtoepassingen te maken hebben. Periasamy noemt bijvoorbeeld hosters Digital Ocean, Packet en Hyper.sh. Wat Minio bijzonder charmant maakt, is het feit dat de software Amazon S3-achtige functies en kenmerken heeft. Hierdoor kunnen ontwikkelaars het AWS-platform gebruiken om een toepassing te creëren, die echter vaak gewoon te duur is voor operationeel gebruik.
Minio heeft nu de status van algemene beschikbaarheid bereikt. Het product komt op de markt met functies als bit-red detectie, lambda-melding en erasure code, dat is gebaseerd op een wiskundig proces waarbij gegevens in fragmenten worden opgesplitst, worden uitgebreid en opnieuw worden gecodeerd met overbodige delen die vervolgens op fysiek gescheiden locaties kunnen worden opgeslagen – niet onbelangrijk voor operaties in verschillende clouds. De functies zijn ook populair in Docker, Mesos en Kubernetes en worden beschouwd als “cloud native”.
De belangrijkste functies zijn dus:
Amazon S3-compatibiliteit: Minio ondersteunt Amazon S3 v2 en v4 API’s. Hierdoor kunnen toepassingen heen en weer schakelen tussen AWS en andere cloudproviders.
Gegevensbescherming: Minio overleeft zelfs als de helft van de servers defect is of uitvalt, omdat het gebruikmaakt van wiscode en bitrotbescherming, d.w.z. bescherming tegen geleidelijke veranderingen in harde schijven.
Lambda-functies: Dit zijn functies in een computerprogramma die kunnen worden aangesproken met verwijzingen of pointers in plaats van met een naam. Minio ondersteunt Lambda-functies die aan de AWS-normen voldoen, zodat gebruikers acties kunnen uitvoeren zoals het genereren van thimbnails, het extraheren van metadata en het scannen op virussen. Notification ondersteunt frameworks als “AMQP”, “Elasticsearch”, “Redis”, “NATS”, “WebHooks”, “Kafka” en “Postgres” en natively over HTTP -long polling.
Daarnaast biedt Minio replicatiefuncties en functies om te verouderen.
Diep leren om te volgen
Maar de ontwikkeling bij Minio houdt daar niet op. Periasamy zinspeelt op de verdere plannen: “Als toepassingen Deep Learning (machinaal leren/neurale netwerken) kunnen gebruiken om te begrijpen wat “objecten” zoals video’s zijn, zal dat uiteindelijk alle moeite rechtvaardigen die in de infrastructuur wordt gestoken. Wij zijn een nieuw project begonnen, met de codenaam “X”, dat precies dat wil doen: Toepassingen zullen video’s en andere media-inhoud in realtime begrijpen, met behulp van deep learning-technieken.”