#codellama

[tsubakicraft]

日本語版CodeLlama

２つ前の投稿でCode Llamaを使った簡単なWebアプリケーションをモノづくり塾のサーバーにデプロイした話を書きましたが、ELYZAさんが日本語で追加学習したモデルを公開したので簡単なアプリケーションをStreamlitで作って載せ替えました。 なかなか良い感じです。 例によってGPU非搭載のサーバーなのでLlamaCppを使ってCPUで動かしています。 塾の建設が終わってひと段落ついて予算に余裕があればこのサーバーにも16GB程度のメモリーを持つGPUを載せます。推論を実行するだけならそれくらいのものが載ればそこそこ使えるはずです。

View On WordPress

[tsubakicraft]

CodeLlamaをモノづくり塾サーバーで動かす

モノづくり塾のサーバーはDockerでアプリケーションを運用すると決めているので、試験的に動かすにせよアプリケーションはDockerizeしなければなりません。 今日は先日作ったCodeLlamaとGradioを使ったコード生成AIアプリをDockerizeして塾のサーバーにデプロイしました。 プログラムはこんなに短くて簡単なものです。 Dockerfileはこれ。 docker composeファイルはこれ。 モノづくり塾ではサーバーにアプリケーションをデプロイするために次の手順を踏みます。現時点ではこれが標準的なやり方です。 １．このプロジェクトを塾サーバーのGitLabにプッシュ。 ２．サーバーにログインしてプロジェクトをクローンして docker compose up -d…

View On WordPress