Egen AI
Ollama, ger oss möjligheten att leva lite mer privat.
I mitt yrkesliv har jag börjat använda AI likt många andra utvecklare. Det är lite kyshigt av mig men det är sant. Som en kraftigt dyslektisk person så är verktyg för att rättstava rätt kritiska och i ärlighetens namn är aspell bra men inte på samma nivå som en AI model. Jag bestämde mig därför att testa på att selfhosta lite AI för både integritetsskäl men även för att det är kul och att kunna säga till folk "jag har också en AI" är lite av en flex.
Men AI är inte magi, det är statestik och sannolikhet. För att driva dessa modeller behöver man hårdvaran för att föra denna matematik och denna hårdvara är grafikort med mycket vram. Tyvärr är grafikort dyra och med mer vram är dom bara dyrare. givet att exemeplvis en github copilot lisens kan kosta 10 dollar i månaden kan man budgetera lite för ett realtiskt "bli värt det" plan där man betalar av kortet man köper igenom att inte betala exemeplvis microsoft eller github (plus fördelen att svälta dom på pengar, dom odjuren). Jag hade redan många komponenter så jag köpte bara grafikorter, en Intel Arc B580 från intel själva. med 12Gb vram och ett pris under 3500 är den värd det då den betalar av sig under tre år.
Intel Arch B580, rätt nice för detta.
Kortet är mer eller mindre plug and play på linux. Denna gång orkar jag inte med en passthru eftersom jag har skalat ner min primära server till ett kort utan två PCI slots och dess nuvarande slot är tagen av en SSD NVME array. Så en arch insellation senare har jag en fysisk burk, utan ECC och utan Raid enbart för att driva lite AI.
Jag installerar ingen desktop, CLI är kung. Ollama är det som anvädns mest för text när man ska selfhosta det sp jag använde arch reporna dirket
$ sudo pacman -Syu ollama
sedan är det bara att tuta och köra. Låt oss enabla ollama som en tjänst:
$ sudo systemctl enable ollama && sudo systemctl start ollama
sedan ska vi testa på glm4,
$ ollama run glm4
efter att den har laddat ner är det bra att börja. Men jag vill ha detta på min primära dator, som inte har ett grafikort. Skönt nog använder jag CLI för att skriva förljande script:
$ echo "ssh 192.168.x.x -t "echo "Welcome to alot-bot" && olama run glm4"" >> Map/där/jag/har/alla/mina/scripts/ssh-to-ai.sh
och vips, egen AI. I mitt fall tar jag och sätter upp en tangentbordsförkorting som gör det snabbt att använda detta för mig på min desktop (varför inte "Super A") Jag blir lite trött på alla som implementerar detta men sure, om ni verkligen vill öka aktie värdet så kör på. glm4 modellen är inte helt pålitligt när den skapar nonsens men jag har den inte för att koda åt mig, utan att rättstava mig. Sure, den är bra på att skapa idér men jag upplever ändå att jag måste dubbelkolla dess kod när jag kör dom dyra modelleran på jobbet.