積みゲー消化ゲーミング
kuro ein
0:00 / 0:00
積みゲー消化ゲーミング
106 просмотров · Трансляция закончилась 2 нед. назад
kuro ein
60 подписчиков
106 просмотров · Трансляция закончилась 2 нед. назад
━━━━━━━━━━━━━━━━━━━━━━━━
🟢 この配信について
━━━━━━━━━━━━━━━━━━━━━━━━
この配信には、AIが搭載された「ずんだもん」が一緒にいます。
みんなのコメントをリアルタイムで読んで、声で返事してくれます。
ゲームの画面も見ているので、プレイ内容に合わせたリアクションもします。
━━━━━━━━━━━━━━━━━━━━━━━━
💬 コメントで使える機能
━━━━━━━━━━━━━━━━━━━━━━━━
【🏷️ あだ名を変えたい時】
「〇〇って呼んで」とコメントすると、
ずんだもんがあなたの呼び方を変えてくれます。
例)「先生って呼んで」→ 次から「先生」と呼ばれます
【🧠 覚えてくれる機能】
ずんだもんは、来てくれた人のことを覚えています。
次に来た時も「おかえりなのだ!」と迎えてくれます。
「私のこと覚えてる?」と聞くと、記憶を教えてくれます。
【❓ 質問・相談】
ゲームのことでも雑談でも、コメントで聞いてみてください。
ずんだもんが丁寧に答えてくれます。
【👁️ 画面を見てほしい時】
「画面見て」「これ見て」「今の見て」
とコメントすると、ずんだもんが今の画面を見て
感想やコメントを返してくれます。
━━━━━━━━━━━━━━━━━━━━━━━━
⚠️ ご注意
━━━━━━━━━━━━━━━━━━━━━━━━
・AIなので、たまに変なことを言うかもしれません
・短い相槌だけのコメント(「草」「なるほど」等)は
スキップされることがあります
・不適切なコメントには反応しません
━━━━━━━━━━━━━━━━━━━━━━━━
🛠️ 使用技術スタック
━━━━━━━━━━━━━━━━━━━━━━━━
■ AI / LLM
・Gemini 3.1 Pro Preview — メイン会話生成(Google AI Studio)
・Gemini 3 Flash Preview — トピック生成・文字起こし
・Google Search(Grounding) — リアルタイム情報検索
・Gemini Vision API — 画面キャプチャの画像認識
■ 音声合成(TTS)
・VOICEVOX(GPU版) — ずんだもん音声
・自動再起動によるVRAMライフサイクル管理
■ 音声認識(STT)
・Gemini API + VAD(Voice Activity Detection)
・AudioRecorder(WebAudio API)でリアルタイム録音
■ アバター制御
・VTube Studio API(WebSocket)
・11種の感情タグ → ホットキー連動
■ コメント取得
・YouTube Data API v3(ポーリング方式)
・わんコメ OneSDK(WebSocket購読方式)
■ 配信基盤
・OBS Studio(WebSocket 5.x 接続監視)
・ブラウザソース字幕オーバーレイ(display.html)
■ バックエンド
・Python 3 / FastAPI + Uvicorn
・VOICEVOX プロセス管理(起動/停止/再起動)
・パフォーマンスCSV記録 API
・画面キャプチャ(mss + OpenCV)
■ フロントエンド
・Vanilla HTML/JS(モジュール構成)
・LocalStorage — 視聴者プロフィール永続化
・WebSocket — VTubeStudio / OBS 接続
━━━━━━━━━━━━━━━━━━━━━━━━
🔧 AITuberシステム技術詳細
━━━━━━━━━━━━━━━━━━━━━━━━
■ プロンプトアーキテクチャ
3層構造(Core / Streamer / Viewer)で構成。
配信者向けと視聴者向けで異なるプロンプト層を動的に切替。
ルートA(質問)/ ルートB(雑談)/ ルートC(視聴者対応)
の3大分岐 + 12サブルートで応答パターンを制御。
■ 笑いの錬金術(Laugh Alchemy Framework)
独自の「情報距離5」理論に基づく比喩生成エンジン。
3ステップ(感情抽出→情景検索→シード選定)で
距離5の絶妙な面白さを安定生成。
■ 視聴者インタラクション
・プロフィール記憶(LocalStorage永続化)
・あだ名リアルタイム変更(AIコマンド解析)
・スキップ判定(相槌・絵文字の自動フィルタリング)
・初見/常連の自動判別と応答切替
■ マルチモーダル入力
・テキスト(YouTubeチャット / わんコメ)
・音声(配信者マイク → Gemini STT)
・画像(ゲーム画面 → Gemini Vision)
3つの入力を統合してAIに送信。
■ パフォーマンス
・Gemini応答 / コマンド解析 / 音声合成 の3区間計測
・全コメントをCSVで自動記録(配信後分析用)
・ルート選択理由(ROUTE_REASON)も記録