#llama-cpp-python

[semancer]

first impression of mirostat is surprisingly good

[tsubakicraft]

コード生成AIのデモ

モノづくり塾のサーバーで稼働しているCode Llamaベースのコード生成AIアプリケーションを動かした様子を動画にしました。 動画の内容は、 塾のダッシュボードからコード生成AIアプリケーションを開く コード生成を依頼する 生成されたコードを実際に動かす というものです。 言語モデルはCode Llamaに日本語追加学習を行ったELYZA社のモデル。llama-cpp-pythonを使いstreamlitでWeb UIを作っています。Dockerizeされているのでリポジトリからクローンしてdocker-composeで即稼働開始できます。 サーバーはCore i5 13400搭載の自作PCでUbuntu Server 22.04で動いています。 ブラウザを動かしているPCは６年ほど前のCore…

View On WordPress