@vazana A ver, Cuda es un lenguaje de programacion de gpus, propietario de nvidia. Y también le pone a ese nombre a ciertas unidades de procesamiento. Amd tiene rocm, e intel tiene otro, aparte que hay dos libres, Opencl y vulkan
Pero en AI, y en llms en general tu rendimiento tiene un cuello de botella, enorme, en los tiempos y rapidez de acceso a la memoria, no la capacidad de calculo. Es decir quieres ancho de banda sobre todo. El cual las gpus tienen un montón, mientras que las cpus mucho menos.
La gran ventaja de los procesadores m1 m2 y m3 es que al tener la ram soldada al chip tienen unos anchos de banda comparables a las tarjetas gráficas, que si bien para otras cosas son bastante meh, y tienen algunos problemas, para AI van genial, al punto que a ciertos precios, Apple es la opción mas barata y eficiente, fíjate lo absurdo que esta el mercado.
Claro todo esto podría cambiar si Nvidia, Amd, Intel o los chinos que están haciendo gpus, sacasen tarjetas gráficas mas básicas pero con mucha vram. Pero no quieren por que les quitaría ventas mas jugosas. Nvidia no ha llegado a esa valoración absurda en el mercado por dar un buen producto calidad precio a sus clientes
@Nadieenespecial si AMD se lo propusiera, podrían sacar APUs con la memoria integrada, y pytorch podría soportarlo con CUDA o una alternativa compatible. Soñaré con ello. Gracias.
@Jakeukalane Solo tiene sentido si quieres modelos muy grandes a un rendimiento mas bien lento, pero mayor que usar la cpu. Similar a usar una única gpu pero con mucha mas vram. Y creo que no valía para entrenar modelos, ni para muchas casuísticas, aunque esto ya no estoy tan seguro, hablo de memoria
Hasta donde yo se pues en profesional quiere tener mas tarjetas en paralelo por el rendimiento extra que dan, o la capacidad de usar otros lenguajes como cuda. Esto es simplemente que para la gente que esta jugando con llama y modelos relativamente grandes. @vazana probablemente lo veamos mas pronto que tarde, arm ya lo hace, lo veremos en x86. Aunque juraría que intel ya tiene algo así a nivel de servidor
Pero en AI, y en llms en general tu rendimiento tiene un cuello de botella, enorme, en los tiempos y rapidez de acceso a la memoria, no la capacidad de calculo. Es decir quieres ancho de banda sobre todo. El cual las gpus tienen un montón, mientras que las cpus mucho menos.
La gran ventaja de los procesadores m1 m2 y m3 es que al tener la ram soldada al chip tienen unos anchos de banda comparables a las tarjetas gráficas, que si bien para otras cosas son bastante meh, y tienen algunos problemas, para AI van genial, al punto que a ciertos precios, Apple es la opción mas barata y eficiente, fíjate lo absurdo que esta el mercado.
Claro todo esto podría cambiar si Nvidia, Amd, Intel o los chinos que están haciendo gpus, sacasen tarjetas gráficas mas básicas pero con mucha vram. Pero no quieren por que les quitaría ventas mas jugosas. Nvidia no ha llegado a esa valoración absurda en el mercado por dar un buen producto calidad precio a sus clientes