Tiefe Neuronale Netzwerke, und da sind LLMs (Large Language Models) keine Ausnahme, beruhen auf einer langen Kette von Schichten (Layers) großer Matrizen (Zehntausende Spalten und Zeilen). Neue Werte für die nächste Schicht werden aus Millionen und Milliarden von Matrixoperationen (zumeist Multiplikationen und Skalarprodukte) berechnet. In GPUs wird das auf die Matrix-Kernel-Operationen mittels Programmiersprachen wie Nvdias CUDA oder OpenCL abgebildet. Auf CPUs kann es mittels SIMD-Operationen…