Zitat: Zitat von Troyan (Beitrag 13491317) Benutzen Mistral mit 7B sowie Llama mit 13B Parametern. Der Vorteil hier ist, dass das ganze auf die TensorCores umgesetzt ist und nicht per CPU/Cuda läuft.

/edit: Paar Infos von nVidia: https://blogs.nvidia.com/blog/chat-w...available-now/ Was kein CUDA? TensorRT-LLM setzt auf CUDA auf, alles andere wäre dämlich... CUDA kann sehr gut mit den Tensor Kernen umgehen, oder was macht denn eine H100 damit? ;)
Kannst selbst nachschauen: https://github.com/NVIDIA/TensorRT-LLM

Offiziell aus der TensorRT Homepage:
Zitat: TensorRT, built on the NVIDIA CUDA® parallel programming model,[...]

Zitat: Zitat von Trap (Beitrag 13491360) Wenn Lllama13B geht, dann sollte technisch auch Llama70B gehen. Braucht halt in FP16 140 GB VRAM oder quantisiert so um die 45 GB. Also geht es technisch doch nicht. Wenn man nicht gerade eine dicke Quadro hat ;)

Nach einigen Monaten 8k muss ich heute mal ein leicht erschreckendes und überraschendes Feedback dazu geben.

Ich bin schockiert, wie gut ich 8K-Content mittlerweile erkenne und es zu schätzen weiß, wenn jemand auf Youtube mal in 8k gefilmt hat. Sobald ich dann wieder 4K sehe denke ich sowas wie:,,Uh, das ist jetzt doch ein bisschen soft". (Natürlich nur, wenn ich sehr nah vor meinem 65 Zoller sitze, aus 2m Entfernung keine Chance mehr.)

Doch ich hätte nicht erwartet, dass ich mich an 8K gewöhne wie an 120Hz und es so sehr vermisse wenn ich es mal nicht habe. Besonders, da ich es zu Beginn kaum bis gar nicht gesehen habe. Und es schockiert mich, weil 8K Geräte und Inhalte eher die Seltenheit und ziemlich teuer sind. Ich will nicht mehr zurück. Ganz ehrlich, auf einem Smartphone würden mir sogar 1080p genügen aber auf einem sehr großen TV... da will ich mittlerweile eigentlich schon 8k, auch, wenn ich es mir selbst ungern eingestehe, weil ich weiß, dass ich mir gerade keinen zweiten, ordentlichen 8K TV leisten kann. :freak:

Fu**, ich will nicht, dass mir 8K so gut gefällt, es ist noch mit so vielen Problemen verbunden, aber es ist geil. Besonders als riesen PC-Monitor ist es das Ultimum, ein wahr gewordener Pipe-Dream.

Zitat: Zitat von betasilie (Beitrag 6350270)
...IBM/Sony/Toshiba und MS) RT positiv gegenüber, mit Ausnahme von nVidia, die das ganze zumindest hinauszögern werden wollen. Wie AMD/ATi dazu stehen mögen, würde mich allerdings mal interessieren.
Stellt sich raus es ist genau andersrum. ;D

OK, hier mal ein Vergleich in Baldurs Gate 3:
https://imgsli.com/MjM2ODk2

Wobei das Standbilder sind und eigentlich zu scharf. In Bewegung sieht das nicht so gut aus.

Ich habe das aktualisiert, mehr Optionen eingebaut und bissl Bewegung eingebracht. :)