Da Du 16 GByte RAM angibst, gehe ich davon aus, dass Du ein 64-bit-Betrssystem verwendest. Ist das korrekt?
Wenn ja -> sollten Dateien in dieser Größe kein Problem sein. Die Anzahl der Ebenen und Gruppen ist eher sekundär, auch wenn natürlich Einstellungsebenen, Verrechnungsmodi und Deckkraft natürlich berechnet werden müssen. Doch mit voller Kraft erst wenn Du beispielsweise eine Summenebene erstellst.
Nach Deiner Schilderung liegt das Problem bei der Grafikkarte. Aus der Ferne würde ich folgende Schritte vorschlagen:
1. Deinstalliere die Grafikkarte komplett, wirklich alles.
2. Wenn Du Windows hast, dann boote den Rechner neu, der sollte dann die Grafikkarte als neue Hardware finden.
3. Suche, wenn ein Treiber verlangt wird, diesen im Internet. Hattest Du bereits eine funktionierende Konfiguration, dann kannst Du natürlich auch auf diesen Treiber, der auf einer CD/DVD vorhanden ist, zurückgreifen.
4. Wenn das Setup-Programm startet, hast Du vielleicht die Möglichkeit, nur die notwendigsten Komponenten zu installieren. Leider sind die Grafikkarten vor allem für Gamer ausgelegt, sobald Du eine mit viel und schnellem RAM hast, haben die mehr Lüfter als ein Auto und einen entsprechend hohen Stromverbrauch und Lärmpegel. Deshalb auch der ganze Mist mit dem Audio-Anhängsel. Das muss dafür natürlich 5.1 und alle möglichen Booster haben, damit nicht nur die Ohren sondern auch der Bauchraum dröhnen.
5.Dann starte PS als einzige Anwendung und rufe die Voreinstellungen auf. Gib PS maximal viel RAM, lege das Arbeitsvolume auf eine physikalisch zweite Festplatte, also nicht auf eine weitere Partition der Systemplatte (gilt nicht falls Du eine SSD hast).
6. In den Voreinstellungen (auch unter Leistung) kannst Du PGU-Einstellungen vornehmen. Da kannst Du versuchen, unterschiedliche Einstellungen vorzunehmen. Da kannst Du den Grafikprozessor verwenden oder nicht, unter den Erweiterten Einstellungen kannst Du OpenCL verwenden oder nicht usw., jeweils durch das Setzen eines Hakens im Kontrollkästchen. Nach jeder Änderung beendest Du PS und startest es neu, um ganz sicher zu gehen kannst Du den Computer auch neu booten (ist zwar mühsam, jedoch sollten dann jedenfalls keine Reste vorheriger Einstellungen hineinspucken).
7. Wenn Du alle möglichen Einstellungen durchprobiert hast und Dein Problem noch immer nicht gelöst sein, würde ich Dir raten, es mit einer anderen Grafikkarte zu versuchen.
8. Wenn das alles nichts nützt hast Du vielleicht einen MAC.