Direkt zum Hauptinhalt

Installation

Beschreibung

Einfache Installation über npx, der KI aus dem Netz.
Man wählt die Varainate aus, nachdem wie viel Arbeitsspeicher man im Computer hat.

Varianten:

  • 7B => ~4 GB RAM
  • 13B => ~8 GB RAM
  • 30B => ~16 GB RAM
  • 65B => ~32 GB RAM

Installation

Die Installation läuft über npm.
Falls nicht installiert, dann installieren

 

sudo apt install npm
sudo npx dalai alpaca install 7B

Ausgabe:

Das dauert... es werden 32 GB und mehr runtergeladen
...
mkdir /root/dalai
{ method: 'install', callparams: [ '7B' ] }
2 [Error: ENOENT: no such file or directory, rename '/root/dalai/alpaca/models' -> '/root/dalai/tmp/models'] {
  errno: -2,
  code: 'ENOENT',
  syscall: 'rename',
  path: '/root/dalai/alpaca/models',
  dest: '/root/dalai/tmp/models'
}
3 [Error: ENOENT: no such file or directory, lstat '/root/dalai/alpaca'] {
  errno: -2,
  code: 'ENOENT',
  syscall: 'lstat',
...
ggml-model-q4_0.bin 100%[================================================>] in 1
ggml-model-q4_0.bin 100%[================================================>] in 0
ggml-model-q4_0.bin 100%[================================================>] done
ggml-model-q4_0.bin 100%[================================================>] done

Starten

sudo npx dalai serve

Ausgabe:

mkdir /root/dalai
Created custom directory: /root/dalai/config/prompts
Server running on http://localhost:3000/

Fehler:

Falls Fehler bei der Installation auftauchen bezüglich Versionen

px dalai llama install 7B
Need to install the following packages:
  dalai
Ok to proceed? (y) y

npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'dalai@0.3.1',
npm WARN EBADENGINE   required: { node: '>=18.0.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'terminal-kit@3.0.0',
npm WARN EBADENGINE   required: { node: '>=16.13.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'webtorrent@1.9.7',
npm WARN EBADENGINE   required: { node: '>=14' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'seventh@0.8.2',
npm WARN EBADENGINE   required: { node: '>=16.13.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'string-kit@0.17.8',
npm WARN EBADENGINE   required: { node: '>=14.15.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }

Die nodejs Engine aktualisieren.
hier hab en wir als Beispiel Version 12.22.9 er will aber 18.0.0 haben

nodejs. downloaden und installieren

wget https://nodejs.org/dist/v18.16.0/node-v18.16.0-linux-x64.tar.xz
tar -xf node-v18.16.0-linux-x64.tar.xz
cd node-v18.16.0-linux-x64
sudo cp -r * /usr/



nach oben