OpenLLama mit Java nutzen

[RoK]

Hallo an alle Profis!

Ich stelle mich gerade total doof an oder ich denke zu einfach.

Ich will im einfachen Weg ein bissel „spielen“ und hab mir hierzu folgendes ausgedacht.

Leider bringt es nur einen Fehler:
1
2
3
4
Fehler:java.io.FileNotFoundException: http://localhost:11434/api/generate

Bis Punkt 4 läuft es noch gut. Ich glaube auch das er an sich nix macht…

Ich bin für Hilfe offen! Danke erstmal

[RoK]

Bitte nicht lachen, aber wie mache ich das? Also das Eingeben.
Wenn ich nur per http:… Aufrufe kommt: openllama running

Aber Wie es weiter geht..??

[steve_m]

Hallo,
Die Dokumentation sagt, dass man neben dem Prompt auch noch das Modell in der Anfrage angeben muss.

docs/api.md

Gruß,
Steve

[RoK]

[quote=„steve_m, post:4, topic:9527038“]

Vielen Dank erstmal

Wo genau mache ich das?
Ich hätte das so verstanden das „latest“ genommen wird wenn ich nix angebe.

Danke schon mal im Voraus

[steve_m]

Im Moment stückelst du ja das JSON händisch zusammen, ungefähr so:

{"prompt":"Was ist der Sinn des Lebens?"}

Wenn du das Modell mit angeben willst, würde es ungefähr so aussehen:

{"model":"modellnamehier", "prompt":"Was ist der Sinn des Lebens?"}

Das mit „latest“ gilt nur dann, wenn du mehrere Versionen von einem Modell installiert hast.
Aber so wie ich die Doku verstehe, musst du schon sagen, welches Modell du fragen möchtest, denn du könntest ja mehrere installiert haben.

Gruß,
Steve

[RoK]

Hab das mal modifiziert. Jetzt kommt der Fehler

Java.net.ConnecrExeption: Connection refused: connect

Also kann die Verbindung zum Server nicht richtig aufgebaut werden. Es kann natürlich sein das ich die Kiste ans Max schiebe. Aber… Ich hab aber auch keinen Plan

[steve_m]

Connection refused bedeutet, dass auf dem Port nichts lauscht.

Hast du den Rechner vielleicht neu gestartet und vergessen, dass LLM wieder zu starten?

[RoK]

Vielen, Vielen Dank

Ich hatte den Rechner ausgeschaltet und den Service nicht neu gestartet… DANKE!

Ich freu mich gerade wie ein kleines Kind das es klappt… Und ja, irgendwann werde ich wohl erwachsen werden müssen.

Für alle anderen. Quellcode ist zum klauen da.