Nov 8, 2023
Dockerで動かなかったLlamaCpp
以前、StreamlitでWeb…
View On WordPress
seen from T1
seen from Germany
seen from United States
seen from T1
seen from Russia
seen from United States
seen from Italy
seen from United States
seen from T1
seen from T1
seen from T1
seen from United States
seen from United States
seen from China
seen from Israel
seen from China
seen from United Kingdom
seen from T1
seen from T1
seen from T1
Dockerで動かなかったLlamaCpp
以前、StreamlitでWeb…
View On WordPress
LlamaCppとStreamlitの組み合わせでストリーミング出力型のWebUI
以前量子化したELYZAの言語モデルを使った簡単な文書生成プログラムを書きましたが、Streamlitを使ってストリーミング出力するWeb UIを作ってみました。 CallbackHandlerというクラスをうまく使えば良いということがわかって良かった。 実行している様子です。 これでモノづくり塾の教材が一つ増えました。
View On WordPress