A utilidade de chatbots online populares como o ChatGPT é inquestionável – eles nos ajudam a escrever, analisar e resolver problemas diariamente. Mas e se você não quiser que suas conversas sejam armazenadas nos servidores de outra pessoa ou precisar acessar a IA mesmo sem uma conexão com a Internet? Você pode configurar seu próprio chatbot de IA off-line que funciona inteiramente em seu computador.
O que é um chatbot de IA offline e o que ele pode fazer?
Um chatbot de IA local (offline) é essencialmente um modelo de inteligência artificial executado diretamente no seu computador, usando o seu próprio– sua CPU (processador), GPU (placa gráfica) e RAM (memória) – para processar e gerar respostas.
Existem muitos modelos locais de IA disponíveis hoje, com novos sendo lançados regularmente. A maioria deles é baseada em modelos de código aberto publicados por grandes empresas de tecnologia como Meta (Llama), Google (Gemma), Microsoft (Phi) e Mistral (Codestral, Mistral_7B). Você pode encontrar suas classificações noTabela de classificação LLM aberta.
Diferentes modelos se destacam em diferentes tarefas. Alguns são especialistas – particularmente bons em codificação, escrita criativa e dramatização – enquanto outros são generalistas que podem lidar com uma ampla gama de tarefas. Eles também variam na filtragem de conteúdo: alguns modelos são estritamente filtrados e não tocam em nada NSFW (Not Safe For Work), enquanto outros não hesitam em usar um vocabulário que faria corar um velho marinheiro.
Ao escolher um modelo local de IA, o tamanho é outro fator a considerar. Idealmente, todo o modelo deve caber na sua GPU. Por exemplo, se sua placa gráfica tiver 8 GB de VRAM, você poderá executar confortavelmente um modelo de 7 GB, mas um modelo de 10 GB seria muito grande. Geralmente, modelos maiores tendem a produzir melhores resultados, mas requerem hardware mais potente.
Para este guia, estou usando oModelo Qwen2.5 Codificador 14B, por ser relativamente compacto (8,37 GB), pode ser usado comercialmente e apresenta capacidades de codificação impressionantes para seu tamanho. Recomendo experimentar diferentes modelos para descobrir o que funciona melhor para suas necessidades. Comunidades comor/LocalLLaMAsão excelentes recursos para se manter atualizado.
Como instalar e configurar um chatbot AI offline
Para configurar um chatbot de IA offline, você precisa de dois componentes principais: um modelo de IA local e uma interface amigável para interagir com o modelo em um estilo de chat familiar. Existem soluções de software que lidam com ambos os aspectos perfeitamente.
Minha principal escolha éJan.ai, pois é totalmente de código aberto e oferece uma interface limpa e intuitiva que se assemelha a aplicativos de bate-papo populares. Ele também inclui um hub de modelo integrado que simplifica o download e o gerenciamento de modelos de IA. Outra opção éEstúdio LM, que geralmente adiciona suporte para modelos de ponta mais cedo, mas não publica seu código-fonte.
Instalando Jan.ai e baixando seu primeiro modelo
Primeiro, visite oSite Jan.aie baixe a versão apropriada para o seu sistema. O processo de instalação é simples: execute o arquivo do instalador baixado e siga as instruções de instalação padrão.
Depois de instalado, inicie Jan.ai. Clique noEixoguia para navegar pelos modelos disponíveis. Encontre um modelo que atenda aos seus critérios e seja compatível com o seu hardware (Jan.ai torna isso óbvio) e clique emDownload. O download e a instalação podem demorar algum tempo, dependendo da sua conexão com a Internet.
Antes de começar a conversar, há mais uma etapa importante para um desempenho ideal. Se você tiver uma placa gráfica NVIDIA compatível, vá paraConfiguraçõese encontre oAceleração GPUopção. Habilite-o para melhorar significativamente a velocidade de resposta do modelo. Talvez seja necessário instalar ou atualizar seuDrivers NVIDIAeKit de ferramentas CUDAse solicitado.
Conversando com seu chatbot local de IA
Com um modelo baixado, inicie seu primeiro chat clicando noBotão de bate-papona parte superior da barra lateral esquerda. Um novo tópico será aberto e seu modelo será selecionado automaticamente. Se você baixou mais de um modelo, clique no nome do modelo para escolher um.
Para enviar sua primeira mensagem de bate-papo por meio de seu chatbot de IA off-line, clique no botãoPergunte-me qualquer coisacampo, digite o que quiser e cliqueDigitar. A primeira resposta demorará um pouco, pois o modelo precisa ser carregado primeiro, mas as respostas subsequentes deverão ser relativamente rápidas.
Continue a conversa no mesmo tópico, o que faz sentido se você quiser se aprofundar no mesmo tópico, pois o chatbot AI pode se beneficiar do contexto fornecido por suas mensagens anteriores. Como alternativa, clique noNovo tópicobotão no canto superior esquerdo.
Geralmente, recomendo criar um novo tópico sempre que quiser iniciar um novo tópico ou mudar para uma tarefa diferente. Isso ajuda a manter suas conversas organizadas e evita que a IA fique confusa ao misturar contextos não relacionados de discussões anteriores.
Configurando como seu chatbot de IA local se comporta
O que é ótimo no Jan.ai é que você pode personalizar como seu chatbot de IA responde às suas solicitações. Principalmente, essa customização acontece de duas formas: através de instruções gerais e parâmetros específicos.
Primeiro, dê instruções gerais ao seu assistente de IA sobre como ele deve se comportar. Clique noConfiguraçõesbotão ao lado do nome do seu modelo e navegue até oAssistentena barra lateral direita de qualquer tópico de bate-papo para encontrar umInstruçõescampo.
Você pode digitar diretrizes sobre como deseja que a IA responda. Por exemplo, você poderia dizer “Atuar como um tutor de programação que explica conceitos em termos simples” ou “Responder como um treinador de redação criativa que fornece feedback construtivo”.
Além das instruções básicas, você pode ajustar vários parâmetros técnicos que controlam como a IA gera suas respostas. NoModelona barra lateral direita, você encontrará várias configurações importantes, incluindo:
- Temperatura: pense nisso como o nível de criatividade da IA. Valores mais baixos (0,0 – 0,5) fazem com que ele forneça respostas mais previsíveis e focadas, enquanto valores mais altos (0,8 – 2,0) o tornam mais criativo e variado (mas potencialmente sem foco).
- Máximo de tokens: controla quanto tempo as respostas da IA podem durar. Valores mais altos permitem respostas mais longas e detalhadas, enquanto valores mais baixos mantêm as coisas concisas.
- Comprimento do contexto: determina quanto da sua conversa a IA pode lembrar e referenciar. Um contexto mais longo significa que a IA pode manter discussões mais detalhadas, mas pode ser mais lenta.
O melhor de tudo é que você pode criar diferentes tópicos de bate-papo com configurações diferentes, como um tópico com configuração de alta temperatura para escrita criativa e outro com configuração de baixa temperatura para respostas técnicas precisas – então não tenha medo de experimentar.
Com um bom modelo alimentando seu chatbot de IA offline, você pode realizar uma gama impressionante de tarefas. Eu pessoalmente usei um chatbot de IA para me ajudar, e as possibilidades são infinitas: desde escrita e codificação até análise e projetos criativos.
Todas as imagens e screenshots de David Morelo.