edición general
  1. @thorin ”Hacer listo” es una expresión figurada, cuando por diseño se va a inventar siempre las respuestas que no conoce.

    Hasta hace poco GPT tenía serios problemas para sumar dos números de una cifra. Aún hoy necesita ayuda externa (plugins a otros servicios) para hacerlo. Obviamente eso no es cuestión de potencia, son serias carencias inherentes al invento.

    Lo que dices (supongo) es que si la base de datos es más grande tendrá más resultados y se inventará menos respuestas. Es cierto. Pero por diseño sigue sin ser para nada fiable, especialmente cuando hablamos de dar soluciones de precisión, de ingeniería, o en este caso de programación.
  1. @Malversan @thorin nah, las respuestas se obtienen con retrieval augmented generation, lo que tiene que hacer el LLM es sólo parafrasear eso. Mixtral es la mejor opción libre hoy, aparentemente, y con Ollama lo tienes quantizado para necesitar menos RAM.

menéame