Hace unos días en mi otro canal en dosv que donde doy todas las explicaciones teóricas de Cómo funciona la revolución de la Inteligencia artificial que estamos viviendo hoy os estuve hablando sobre los mixter of experts un tipo de arquitectura de Deep learning que actualmente se está utilizando tras estos enormes modelos de lenguaje que utilizamos para poder hablar con la Inteligencia artificial y que ha ganado bastante popularidad tras presuntamente descubrirse que esta podría ser la arquitectura que reside tras un modelo tan popular como gpt
|
etiquetas: dotcsv , chatgpt , local , tutorial , sin censura , lm studio , mixtral 
Si alguien quiere probar alternativas libres a ChatGPT aquí van un par de recomendaciones para novatos, que usan modelos de código libre.
En local está GPT4all. Si no tienes una gráfica decente se ejecutará mediante CPU y la RAM normal: gpt4all.io/
Si tienes 8gbs de RAM o VRAM puedes ejecutar los modelos 7b, si tienes 16 GB, entonces puedes pasar a los de 14b
Se pueden descargar más modelos libres aquí, que es una persona que los convierte a formato GGUF: huggingface.co/TheBloke
Online hay varios Colabs. Google Colab es un servicio de alquiler de GPU mediante máquinas virtuales. Dan bastantes horas gratis de GPUs de 16 gigas de VRAM. Esto hace que se puedan probar modelos de 14b
Este es el más sencillo de usar que he encontrado (de momento): github.com/LostRuins/koboldcpp
Se puede ejecutar directamente aquí: colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/cola
Tiene medidas para…...
Si alguien quiere probar alternativas libres a ChatGPT aquí van un par de recomendaciones para novatos, que usan modelos de código libre.
En local está GPT4all. Si no tienes una gráfica decente se ejecutará mediante CPU y la RAM normal: gpt4all.io/
Si tienes 8gbs de RAM o VRAM puedes ejecutar los modelos 7b, si tienes 16 GB, entonces puedes pasar a los de 14b
Se pueden descargar más modelos libres aquí, que es una persona que los convierte a formato GGUF: huggingface.co/TheBloke
Online hay varios Colabs. Google Colab es un servicio de alquiler de GPU mediante máquinas virtuales. Dan bastantes horas gratis de GPUs de 16 gigas de VRAM. Esto hace que se puedan probar modelos de 14b
Este es el más sencillo de usar que he encontrado (de momento): github.com/LostRuins/koboldcpp
Se puede ejecutar directamente aquí: colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/cola
Tiene medidas para que Google no pueda leer las conversaciones, pero obviamente al ser su hardware podría hacerlo.
Es dar el segundo botón de play y después de un rato te saldría un enlace de cloudflare.
Hay que tener en cuenta que ChatGPT es un modelo más avanzado y más grande que los de 14b. Se dice que los modelos libres óptimos son los de 70b.
Así que no esperéis el mismo rendimiento. También es posible que olvide cosas e instrucciones de la conversación porque a más contexto, más necesidad de potencia.
#1 Está la posibilidad que he puesto.
Aunque por lo que parece sólo sirve para dar texto genérico, igual que los chatbots de principio de los 2000 pero con mejor retórica y chupando 96Gb de Vram. Así que aguantad los caballos que esto aun no sirve para que algunos metan fotos de su tía Berta para rejuvenecerla 20 años y zurrarse la sardina generando fotos guarras de ella.
¿tienes alguna idea de lo que estás hablando?
Como complemento recomiendo "The Oobabooga TextGen WebUI " para correr los LLMs
Acá hay un buen video al respecto
www.youtube.com/watch?v=lb_lC4XFedU&t=656s
recomiendo mucho ese canal para todo lo que tiene que ver con IA sobre todo en local
www.youtube.com/@Aitrepreneur/videos
github.com/ollama-webui/ollama-webui
montas el docker y a vivir. Lo de arrastrar y soltar documentos, o imágenes e interrogar sobre su contenido todavía me sigue alucinando
A ver si va a ser por que son modelos de texto ...
Para generación de imágenes en local hace tiempo que existe Stable Diffusion, para generar imágenes con una GPU de 4Gb o así basta, pero si lo que quieres es entrenarlo con fotografías o imágenes propias seguramente necesites una GPU de 12Gb de VRAM o quizá con algo menos también sea posible.
C# method to read a json file from a postman collection export that will read the collection variables, launch the requests and execute the test scripts
Y lo he dejado a su bola...una hora mas tarde sigue produciendo codigo , con explicaciones y razonamiento. Cuando termine le echare un ojo a ver si se parece a lo que hice yo en su momento y a lo mejor aprendo algo
Lo mas probable es que alucine bastante el LLM y pierda de vista el objeto de la pregunta , pero como ejercicio de programacion es lo bastante bueno como para evaluar lo bien que entiende el concepto , y como estructura las respuestas. Obviamente no espero que sea capaz de reproducir como interpretar el codigo javascript que hace las pruebas en postman desde C# , pero si saca una forma de hacerlo en C#, igual pasa a ser mi modelo favorito para programacion.
Para multimodal , el lava es como minimo curioso. Arrastras una foto sobre el chat, le dices que describa el contenido y la verdad es que me ha sorprendido muy gratamente
Y si las cosas pintan como AMD quiere que pinten, es posible que en el futuro en la IA no todo sea tan "Nvidia-only". Y es que AMD esta ofreciendo material competente, más barato que Nvidia, con el doble de RAM (¡mas importante que la potencia de procesamiento!), y consumiendo menos. Coño, es que las 4090 gastan tanto que se queman solas, cojones...
P.D.: Y no nos olvidemos de los AMD que llevan iGPU integradas. Un 8700G admite hasta 256GB gastando 65W...
Saludos,
- Fanboy de Nvidia
Añade al prompt algo como "think step by step" y verás como razona.