edición general
  1. @Nadieenespecial pero sin CUDA va sobre la CPU a velocidad ridícula, ¿no?

    @Jakeukalane @thorin
  1. @vazana A ver, Cuda es un lenguaje de programacion de gpus, propietario de nvidia. Y también le pone a ese nombre a ciertas unidades de procesamiento. Amd tiene rocm, e intel tiene otro, aparte que hay dos libres, Opencl y vulkan
    Pero en AI, y en llms en general tu rendimiento tiene un cuello de botella, enorme, en los tiempos y rapidez de acceso a la memoria, no la capacidad de calculo. Es decir quieres ancho de banda sobre todo. El cual las gpus tienen un montón, mientras que las cpus mucho menos.
    La gran ventaja de los procesadores m1 m2 y m3 es que al tener la ram soldada al chip tienen unos anchos de banda comparables a las tarjetas gráficas, que si bien para otras cosas son bastante meh, y tienen algunos problemas, para AI van genial, al punto que a ciertos precios, Apple es la opción mas barata y eficiente, fíjate lo absurdo que esta el mercado.
    Claro todo esto podría cambiar si Nvidia, Amd, Intel o los chinos que están haciendo gpus, sacasen tarjetas gráficas mas básicas pero con mucha vram. Pero no quieren por que les quitaría ventas mas jugosas. Nvidia no ha llegado a esa valoración absurda en el mercado por dar un buen producto calidad precio a sus clientes
    1. @Nadieenespecial si AMD se lo propusiera, podrían sacar APUs con la memoria integrada, y pytorch podría soportarlo con CUDA o una alternativa compatible. Soñaré con ello. Gracias.

menéame