【はじめに】Unity の 3D モデルに口パクを入れたいと思ったとき、やり方はいくつかあります。よくあるのは、音声の音量や周波数帯を見て、それっぽく口を動かす方法もあります。実装は比較的簡単ですが、実際に話している内容と口の形が一致するとは限りません。特に日本語の AIUEO 口パクをきれいにやろうとすると、見た目の違和感が出やすいです。今回、自分は Style-Bert-VITS2 を使った TTS から、\Unity 側でそのまま使える口パク情報をかなり素直な形で取り出せるようにしました。Style-Bert-VITS2 は下記のリンクで元のソースコードを取得できます。github.comhttps://github.com/litagin02/Style-Bert-VITS2github.comgithub.comポイントは、音声波形を後から解析するのではな...

あらずじ日々 3Dキャラクターエージェントの作成と改良をしておりますが、この度 TokyoTech が GPTOSS Swallow モデルを発表しましたので、わくわくしています。元々ローカル LLM で GPTOSS:20b を使用しており、以前の Swallow Intruct モデルも非常に性能が大変よかった。本日時間ができたので、試してみました。Ollama で GPTOSS Swallow を起動するうちのローカルサーバは RTX5090 フル起動していますが、16GB ぐらいの容量のモデルを好んで選びます。 理由は SBV2 モデルを常時 VRAM を使っているのでアンロードしたくない。。。なので、Q5 のモデルあたりに選びました。Ollama で動かすには変換済みの gguf モデルファイルがいりますが、そのあたりは誰かが既にやってくれそうな...

あらすじ以前、Rust で漫画ビューアアプリ「RustMangaReader」を作った時、読み込む速度が一番重要視しているので、どの言語が一番早いか試しました。漫画ビューアの方に興味ある方はこちらzenn.devhttps://zenn.dev/lycoris52/articles/960e3e840d2cb1zenn.devzenn.devせっかくなので、その時のベンチマークをシェアしようと思います。言語前提する時の条件ですが、後で AI 機能拡張などするならこれでもいいかなーとC++ 多分一番早いですが、書きにくすぎるPython ものすごい書きやすいし、今の仕事でずっと使っていますが、遅い。。。Javascript 他の OS に展開しやすいのが魅力。Native のライブラリーも多いので、遅くないでは？と期待しました。Rust これが前からずっと気になっ...

Rust を勉強する目的も兼ねて作成した、 オフラインで漫画・同人誌を快適に読むための Windows 専用ビューア。https://github.com/Lycoris52/RustMangaReaderはじめに私はこれまで Rust を本格的に触ったことがありませんでした。そこで、「Rust を勉強するなら、実用的で毎日使うアプリを作ろう」ということで、この RustMangaReader を開発しました。Gemini, ChatGPT の無料版と会話しながら作ってきました。また、本アプリは DMM, DLsite, Melonbooks, booth.pmなどの正規ルートで購入した漫画・同人誌を快適に読むためのビューアです。コンテンツを配布するものではありません。あくまで、自分が正規購入したファイルをローカルで読むためのツールです。なぜ作ったのか理由は大きく...

プロローグAI キャラクターエージェントとは長い説明してもあれなんで、ぶっちゃけこんな感じ自由会話でやり取りできるキャラクターエージェント自由にチャットができ、反応や返事をしてくれる。役割を与えてもよし、ゲーム内での使用でもよし。個人での会話を楽しむのもよし。いろんなサイトで既にこういうタイプのキャラクター付き AI サービスを提供していますが、機能が足りなかったり、2Dだけだったり。気に入りのキャラクターがなかったり。思っていたのと違う！ だったりいっそう自分で作れば？カスタマイズの可能性が無限大だ！どこまで作るか自分自身に決めればいいしー構成を考える基本必要最低限はこんな感じ最低限はクライアントとAPIがあればOKサーバーの方は API な...

ゲーム NPC を自由にしたいLLM や AI の進化により本来のやり方では出せない NPC の会話の自由度を上げたい！と思って、個人で POC (Proof of Concept) 的なゲームを作成してみました。ゲーム内の NPC が全員 GPTOSS で、プロンプトを作成し、各 NPC に違う設定と性格を与えてみました。本来ゲームの NPC はスクリプトだったり、イベントシステムの構成で作るものですが、自由度がかなり制限されたり、設定するのに労力に合わないものが多々あります。LLM の力でそういう問題を解決できると思われます。ゲーム自体はこちらで試せます。( WebGL )https://wordpress.aithinkso.net/luco_no_machi/あくまで個人作で無償提供していますので、文句やクレームなどは受け付けません。。。ゲー...

最近 VITS TTS が面白くてずっといじっていたベースコードを改造して、いくつかの音声合成モデルをファインチューニングしてみました。その内、イントネーションが割とよく、上出来だなーと思っているのは「あみたろの声素材工房」の音声を使って学習したモデルです。VITS モデル自体は下記のリンクで公開しています。VITS-Amitaro-Modelこちらのリンクでどいう音声なのか試せます。音声生成したいテキストを入力して 「Generate Voice!」 ボタンを押せば音声が作成されますVITS-TTS-Japanese-Only-Amitaroそのままモデル公開するだけでは使いにくいと思い、　API を作りました。APIは2種類の出力があって、渡したパラメータによって出力が変わります。"audio_array" 音楽データのArra...

こちらの記事に記載しているWebGL は現在新しいバーションがでましたので、現在は動きません。現行版は　Huggingface の方にご試しください。また、須藤春ちゃんもよろしくお願いいたします。具体的には以前使ったチャットボットのAPIがサービス終了したため、A3RT の TalkAPI →　GPT3.5 (OpenAI)Docomo 音声合成API → VITS音声生成モデル( https://huggingface.co/spaces/Plachta/VITS-Umamusume-voice-synthesizer )に変えました。まとめると・Unity WebGL で 3D モデルアバター・GPT3.5で返事生成　・生成した返事を VITS音声生成モデルを音声生成今回はゲームNPCとして「ポーション屋さん」という設定で作成しています！下の入力枠で話しかけると音声で返事しますよ～ポーションの...

APIはこちらのリンクで試せます。https://wordpress.aithinkso.net/emotion/emotion_web.py割と当たってくれる。65％ぐらい当たるかな？8軸でランダムだった場合、精度がたった12.5%なので、BERTの恩恵はかなり大きい今後の課題・Pretrainedと最適化のデータ両方ともJumanPPで作ったのでSudachiで作ってみたい・時間をかけて学習データのゴミを消したい・リクエストごとにBERTのモデルをロードしないようにDaemon化したい（メモリがやばい）

STEPホスト側の設定Dockerのコンテイナーを起動するホスト側での下準備STEPコンティナー内の設定ホスト側が設定終わったら、tensorflow など GPU使えるようにコンティナー内での準備ホスト側の設定下記のコマンドでkernel と開発パッケージをインストールする参考：https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#post-installation-actionssudo yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r)次に CUDA TOOLKIT を入れる参考：https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&target_distro=CentOS&target_version=7&target_type=rpmnetworksudo yum-config-manager --add-repo http:/...