@Jakeukalane A ver estamos hablando de cosas diferentes. Yo no hablo del sector profesional, estamos hablando de equipos para el que quiere curiosear a un nivel un poco pro, y que ademas sean equipos compactos, ya que thorin es nomada. La torre de Mac tiene un precio incluso mas absurdo que las demás, yo hablo de los mac mini "gordos"
Pero si quieres cargar modelos de mas de 24 gigas, hay un rango de precios en el que los mac studio y los macbook pro, ofrecen lo mejor en primera mano, sin meterte en lios de usar mas de una p40 de segunda mano y otras opciones mas de buscarse la vida, como lo ya mencionado usar rx580 trucadas a 16gbs, que consumen mucha electricidad y no son compactos.
Por 2900 tienes un equipo completo y autosuficiente de 64 gigas a 400GB/s, este precio apenas te da para una nvidia 4090 con un equipo adecuado para ella. Por 3500 pavos ya tienes un equipo de 92 GB con 800GB/s de ancho de banda capaz de cargar modelos que pertenecen a tarjetas de 80gbs muy aceptables. Una 4090 tiene un ancho de banda de memoria de 1008GB/s, que es lo que te limita normalmente
@vazana no necesitas cuda para usar llama.cpp o stable difussion
@thorin

@Nadieenespecial pero sin CUDA va sobre la CPU a velocidad ridícula, ¿no?

@Jakeukalane @thorin

@Jakeukalane ¿hay algo mejor en tamaño y potencia sin irte a tarjetas gpu profesionales? le puedes meter casi 200 gigas de ram con una latencia y ancho de banda brutal, que un pc normal no puede ni soñarlo, y "solo" con 64 ya puedes cargar prácticamente todo. La ram soldada al procesador tiene una ventaja brutal en las llms
PD: parece que metí la pata y los mac mini como tal no tienen los procesadores buenos de apple, pensaba que todos los mini ordenadores de apple se llamaban mini, hablo del mac studio, la version normal tiene 400GB/s de ancho de banda, la ultra el doble