Cómo ejecutar un chatbot de IA en tu propia computadora

No es exagerado decir que los grandes modelos de lenguaje (LLM) que impulsan los bots de IA como ChatGPT y Gemini están cambiando el mundo. Muchos de nosotros ya confiamos en ellos para programar, escribir, resumir y buscar en internet. Sea cual sea el rumbo que tome la IA en los próximos años, los LLM formarán parte de ese futuro.

Si usas ChatGPT, Claude, Perplexity o cualquier otra plataforma de IA, estás utilizando un LLM. Lo que no todo el mundo sabe es que estos LLM se pueden ejecutar de forma local, en tu propia computadora. Las principales ventajas son el acceso sin conexión y una mayor privacidad, ya que no envías nada a la nube para que alguien más lo analice o revise.

Además, no tienes que pagar ninguna cuota mensual a empresas de IA ni te aplicarán tarifas por uso. Hay numerosos LLM disponibles para descargar de forma gratuita, incluso de grandes empresas como Meta y Google. Aunque no suelen ser tan avanzados ni tan rápidos como los LLM de las aplicaciones de pago, son lo suficientemente eficaces para el uso diario, y puedes elegir entre ellos según tus necesidades.

Esto implica un mayor mantenimiento y se pierde parte de la comodidad que supone simplemente abrir la aplicación de ChatGPT. (Por ejemplo, tendrás que encargarte tú de las actualizaciones.) Sin embargo, obtienes un sistema de IA más personalizado y privado, y no es difícil ponerse en marcha.

Lo que necesitas para empezar

Puedes ejecutar grandes modelos de lenguaje (LLM) locales en Windows, macOS y Linux, aunque macOS suele ser la plataforma preferida por la mayoría de los entusiastas de la IA. Todo está más unificado y es más coherente en las Mac. A diferencia de las PC con Windows, solo las fabrica una empresa. Y los chips Apple Silicon combinan la CPU, la GPU y la RAM, algo que gusta a los modelos de IA.

Sea cual sea la plataforma que elijas, disponer de mucha RAM ayuda. El mínimo imprescindible son 8 GB. Aunque si eso es todo lo que tienes, tendrás limitaciones en cuanto al tamaño de los LLM que puedes ejecutar y a su velocidad de funcionamiento. Dieciséis gigas es mejor, y se necesitan 32 o más si quieres utilizar los modelos más grandes y rápidos. Para obtener los mejores resultados, necesitas mucha VRAM en una GPU dedicada. Cualquier cantidad superior a 8 GB marcará la diferencia, ya que este tipo de memoria está optimizada para el tipo de tareas que realizan los modelos de IA.