Direkt zum Hauptinhalt

Installation

Beschreibung

Einfache Installation über npx, der KI aus dem Netz.
Man wählt die Varainate aus, wie viel Inhalt drin sein soll.

Varianten:

  • 7B => ~4 GB Downloadgröße und danach Größe im RAM
  • 13B => ~8 GB Downloadgröße und danach Größe im RAM
  • 30B => ~16 GB Downloadgröße und danach Größe im RAM
  • 65B => ~32 GB Downloadgröße und danach Größe im RAM

Installation

Die Installation läuft über npm.
Falls nicht installiert, dann installieren


sudo apt install npm
Install Alpcaca Model
sudo npx dalai alpaca install 7B

oder/und install
npx dalai llama install 7B

Ausgabe:

Das dauert... es werden 32 GB und mehr runtergeladen
...
mkdir /root/dalai
{ method: 'install', callparams: [ '7B' ] }
2 [Error: ENOENT: no such file or directory, rename '/root/dalai/alpaca/models' -> '/root/dalai/tmp/models'] {
  errno: -2,
  code: 'ENOENT',
  syscall: 'rename',
  path: '/root/dalai/alpaca/models',
  dest: '/root/dalai/tmp/models'
}
3 [Error: ENOENT: no such file or directory, lstat '/root/dalai/alpaca'] {
  errno: -2,
  code: 'ENOENT',
  syscall: 'lstat',
...
ggml-model-q4_0.bin 100%[================================================>] in 1
ggml-model-q4_0.bin 100%[================================================>] in 0
ggml-model-q4_0.bin 100%[================================================>] done
ggml-model-q4_0.bin 100%[================================================>] done

Starten

sudo npx dalai serve

Ausgabe:

mkdir /root/dalai
Created custom directory: /root/dalai/config/prompts
Server running on http://localhost:3000/

Fehler:

Falls Fehler bei der Installation auftauchen bezüglich Versionen

px dalai llama install 7B
Need to install the following packages:
  dalai
Ok to proceed? (y) y

npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'dalai@0.3.1',
npm WARN EBADENGINE   required: { node: '>=18.0.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'terminal-kit@3.0.0',
npm WARN EBADENGINE   required: { node: '>=16.13.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'webtorrent@1.9.7',
npm WARN EBADENGINE   required: { node: '>=14' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'seventh@0.8.2',
npm WARN EBADENGINE   required: { node: '>=16.13.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'string-kit@0.17.8',
npm WARN EBADENGINE   required: { node: '>=14.15.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }

Die nodejs Engine aktualisieren.
hier hab en wir als Beispiel Version 12.22.9 er will aber 18.0.0 haben

nodejs. downloaden und installieren (schauen ob es auch eine neuere gibt.)

wget https://nodejs.org/dist/v18.16.0/node-v18.16.0-linux-x64.tar.xz
tar -xf node-v18.16.0-linux-x64.tar.xz
cd node-v18.16.0-linux-x64
sudo cp -r * /usr/



nach oben