LocalNeuron
Modo servidor
Modo servidor e Rede EXO
Junte a memória de vários Macs para rodar um modelo de texto maior do que caberia em um só. O LocalNeuron usa o motor EXO 1.0.71.
Alfa. O fluxo foi validado com uma rede simulada. A execução em duas máquinas físicas ainda está em teste. Minha API é outra função.
Como cada computador participa
- Estado
- Há dois modos. Participar com este Mac empresta RAM e GPU ao modelo. Controlar um EXO existente só comanda a rede, pelo endereço privado na porta 52415, e não soma RAM.
- Limite
- Participar pede Mac Apple Silicon com macOS 26.2 ou mais recente. No Windows, só o modo de controlar está disponível. No Linux, o LocalNeuron não instala o motor. Quem quiser participar instala o EXO pelo projeto oficial.
- Garantia
- Controlar não acrescenta a RAM desta máquina à rede.
A partir da próxima versão. Contribuir, Gerenciar e Só usar ainda não estão no instalador 0.28.1. Nesta versão, use Participar com este Mac ou Controlar um EXO existente.
Conectar os computadores
- Nos dois Macs, abra Rede EXO e clique em Instalar motor EXO. O instalador indica cerca de 394 MiB e confere o SHA-256.
- No primeiro Mac, clique em Copiar identificação. No segundo, cole em Identificação da rede. Use a mesma versão do EXO e a mesma rede local.
- Marque Expor a API na rede local e clique em Iniciar neste Mac nos dois. Se o macOS pedir acesso à rede local, permita.
- Quando as duas máquinas aparecerem, escolha um modelo, mantenha Mínimo de máquinas em 2 e clique em Preparar na rede.
- Espere a instância ficar pronta para conversar e clique em Conversar.
A primeira preparação precisa de internet para baixar o modelo. Depois, Iniciar sem internet usa modelos já baixados.
A identificação da rede (neuron- e 32 caracteres hexadecimais) só define quais nós se encontram. Não é senha e não cifra o tráfego.
A partir da próxima versão. O pareamento por código de 6 dígitos ainda não está no instalador 0.28.1. Nesta versão, os Macs se encontram pela identificação da rede.
O que fica exposto na rede
Use somente uma rede privada confiável, ou VPN. Não encaminhe as portas no roteador.
| O quê | Porta | Exposição |
|---|---|---|
| API e painel do EXO | 52415 | No EXO 1.0.71, ao iniciar o nó, fica aberta em todas as interfaces IPv4, sem senha e sem cifra, enquanto o nó estiver ligado. O app mostra um aviso durante esse tempo. |
| Descoberta entre nós | automática na rede local | No EXO 1.0.71, os Macs se encontram na mesma rede. |
| Mensagens e partes do modelo | — | Circulam entre os nós da rede. |
| Painel do LocalNeuron | 4318 no desktop | Apenas 127.0.0.1, com sessão. |
| Minha API | 4320 | Desligada por padrão. Separada do EXO. |
- Bloquear o aplicativo desliga a exposição e encerra o nó se ele estava acessível pela rede.
- Desconectar encerra o EXO iniciado pelo LocalNeuron. Liberar modelo tira a instância da rede, sem apagar os arquivos, e afeta quem estiver usando nos outros Macs.
- O EXO não dá controle de tela, arquivos, desligamento nem instalação remota.
Ligação entre os Macs
Estado: Wi-Fi ou Ethernet na mesma rede local é o caminho documentado para começar. Limite: mais RAM somada não garante mais velocidade. A ligação entre as máquinas pesa. Garantia: nesse caminho de rede comum, não é preciso um cabo especial só para um nó.
Esquemas de cabo para RDMA
Os desenhos abaixo são ilustração de cabeamento, não uma tela do aplicativo. RDMA não faz parte da 0.28.1. RDMA requer macOS 26.2+ e Thunderbolt 5.
Rodar modelos grandes
A soma da memória livre define que modelo cabe. O EXO confere memória e ligações e divide o modelo por camadas, no padrão, ou por tensores, só quando o modelo declara suporte. Em Máquinas para esta IA você escolhe os computadores, ou deixa o EXO escolher.
A integração EXO não exige o plano Pro.