Buona giornata, Andrea,
Suggerirei di seguire la guida di NVIDIA per l'installazione del pacchetto.
Lo stesso include i prerequisiti e l'aggiornamento dei diversi driver e del relativo software. La radice del problema non è necessariamente in Windows, VS o C++/C# base.
Ecco un collegamento alla guida: https://docs.nvidia.com/deeplearning/cudnn/latest/installation/windows.html
e anche un collegamento per il loro supporto, dove troverai forum e blog tecnici: https://docs.nvidia.com/cudnn/index.html#support
Spero che questo aiuti almeno come inizio.