Automatisch differentieerbare niet-lineaire tensornetwerken (ADNTNs) voor exponentiële compressie van diepe neurale netwerken

We bestuderen Automatically Differentiable Nonlinear Tensor Networks (ADNTN's), een familie van gestructureerde gewichtsgeneratoren waarvan de compacte kerntensoren end-to-end worden getraind via automatische differentiatie in omgekeerde modus. De benadering kan worden gezien als een natuurlijke uitbreiding van low-rank-adaptatie en tensorfactorisatie: in plaats van één low-rank-matrixupdate bouwt een ADNTN een grote gewichtstensor op via een hiërarchie van kleine kernen, niet-lineaire activaties...