# LLaMA & Alpaca: “ChatGPT”

Bis vor kurzem völlig undenkbar: Eine mit ChatGPT vergleichbare Sprach-KI läuft lokal (!) auf Standard-Rechnern.

# Installation

### Beschreibung

Einfache Installation über npx, der KI aus dem Netz.  
Man wählt die Varainate aus, wie viel Inhalt drin sein soll.  
  
Varianten:

- 7B => ~4 GB Downloadgröße und danach Größe im RAM
- 13B => ~8 GB Downloadgröße und danach Größe im RAM
- 30B => ~16 GB Downloadgröße und danach Größe im RAM
- 65B => ~32 GB Downloadgröße und danach Größe im RAM

### Installation

Die Installation läuft über npm.  
Falls nicht installiert, dann installieren

```
sudo apt install npm
Install Alpcaca Model
sudo npx dalai alpaca install 7B

oder/und install
npx dalai llama install 7B
```

Ausgabe:

```
Das dauert... es werden 32 GB und mehr runtergeladen
...
mkdir /root/dalai
{ method: 'install', callparams: [ '7B' ] }
2 [Error: ENOENT: no such file or directory, rename '/root/dalai/alpaca/models' -> '/root/dalai/tmp/models'] {
  errno: -2,
  code: 'ENOENT',
  syscall: 'rename',
  path: '/root/dalai/alpaca/models',
  dest: '/root/dalai/tmp/models'
}
3 [Error: ENOENT: no such file or directory, lstat '/root/dalai/alpaca'] {
  errno: -2,
  code: 'ENOENT',
  syscall: 'lstat',
...
ggml-model-q4_0.bin 100%[================================================>] in 1
ggml-model-q4_0.bin 100%[================================================>] in 0
ggml-model-q4_0.bin 100%[================================================>] done
ggml-model-q4_0.bin 100%[================================================>] done      

```

### Starten

```
sudo npx dalai serve
```

Ausgabe:

```
mkdir /root/dalai
Created custom directory: /root/dalai/config/prompts
Server running on http://localhost:3000/
```

### Fehler:

Falls Fehler bei der Installation auftauchen bezüglich Versionen

```
px dalai llama install 7B
Need to install the following packages:
  dalai
Ok to proceed? (y) y

npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'dalai@0.3.1',
npm WARN EBADENGINE   required: { node: '>=18.0.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'terminal-kit@3.0.0',
npm WARN EBADENGINE   required: { node: '>=16.13.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'webtorrent@1.9.7',
npm WARN EBADENGINE   required: { node: '>=14' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'seventh@0.8.2',
npm WARN EBADENGINE   required: { node: '>=16.13.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: 'string-kit@0.17.8',
npm WARN EBADENGINE   required: { node: '>=14.15.0' },
npm WARN EBADENGINE   current: { node: 'v12.22.9', npm: '8.5.1' }
npm WARN EBADENGINE }

```

Die nodejs Engine aktualisieren.  
hier hab en wir als Beispiel Version 12.22.9 er will aber 18.0.0 haben

nodejs. downloaden und installieren (schauen ob es auch eine neuere gibt.)

```
wget https://nodejs.org/dist/v18.16.0/node-v18.16.0-linux-x64.tar.xz
tar -xf node-v18.16.0-linux-x64.tar.xz
cd node-v18.16.0-linux-x64
sudo cp -r * /usr/

```