Nov 8, 2023
Dockerで動かなかったLlamaCpp
以前、StreamlitでWeb…
View On WordPress
seen from Egypt
seen from Malaysia
seen from Russia
seen from United States
seen from United States
seen from Italy
seen from United States
seen from Portugal
seen from United States
seen from China
seen from Argentina
seen from United States
seen from India
seen from Portugal
seen from Malaysia
seen from Malaysia
seen from Malaysia
seen from United States
seen from Malaysia
seen from China
Dockerで動かなかったLlamaCpp
以前、StreamlitでWeb…
View On WordPress
LlamaCppとStreamlitの組み合わせでストリーミング出力型のWebUI
以前量子化したELYZAの言語モデルを使った簡単な文書生成プログラムを書きましたが、Streamlitを使ってストリーミング出力するWeb UIを作ってみました。 CallbackHandlerというクラスをうまく使えば良いということがわかって良かった。 実行している様子です。 これでモノづくり塾の教材が一つ増えました。
View On WordPress