Google brengt TPU uit voor inference computing

Google heeft een “Edge Tensor Processing Unit” (TPU) aangekondigd voor edge computing. De Application-Specific Integrated Circuits (ASIC’s) zijn geschikt voor inferentie-workloads – geen AI-training – op “Tensorflow Lite”, een low-overhead versie van “Tensorflow”.

Zoals Google uitlegt, groeiden niet alle ingrediënten van de Edge TPU aan eigen mest, eerder werkten fabrikanten als ARM, Harting, Hitachi Vantara, Nexcom, Nokia en NXP samen met Google aan de ontwikkeling van de kits. Maar nu zou de tijd snel moeten komen: In oktober zullen de Edge TPU’s worden uitgebracht op een modulair referentiebord bestaande uit de ASIC, een CPU van NXP en een Wi-Fi-module.

De ASIC’s voor de inferentiemachines zijn niet zo krachtig als de nieuwste vloeistofgekoelde TPU’s van Google, maar ze zijn ontworpen om de werklast die naar de cloud wordt gestuurd te verminderen. Injong Rhee, Google vice president voor IoT, zei tijdens de Cloud Next conferentie die vorige week in San Francisco werd gehouden: “De Edge TPU brengt een brein naar randapparaten.” Voordat Rhee in februari bij Google kwam, was hij CTO bij Samsung.

Een van de eerste klanten zal echter LG zijn. De nieuwe apparaten zullen worden gebruikt om de glaskwaliteit van LCD-schermen te controleren.

De prestatiekenmerken van de Google Edge TPU

Google is niet de enige leverancier van AI-versnellers. Begin dit jaar kondigde Microsoft bijvoorbeeld “Project Brainwave” aan, dat gebruik maakt van FPGA’s voor edge computing en dat ook wordt gebruikt in de eerste projecten van klanten in de productiesector. Verdere concurrentie komt van Intel, Nvidia en Xilinx.