Перейти к содержимому

積みゲー消化ゲーミング

kuro ein

0:00 / 0:00

積みゲー消化ゲーミング

106 просмотров · Трансляция закончилась 2 нед. назад
kuro ein
60 подписчиков
106 просмотров · Трансляция закончилась 2 нед. назад
━━━━━━━━━━━━━━━━━━━━━━━━ 🟢 この配信について ━━━━━━━━━━━━━━━━━━━━━━━━ この配信には、AIが搭載された「ずんだもん」が一緒にいます。 みんなのコメントをリアルタイムで読んで、声で返事してくれます。 ゲームの画面も見ているので、プレイ内容に合わせたリアクションもします。 ━━━━━━━━━━━━━━━━━━━━━━━━ 💬 コメントで使える機能 ━━━━━━━━━━━━━━━━━━━━━━━━ 【🏷️ あだ名を変えたい時】 「〇〇って呼んで」とコメントすると、 ずんだもんがあなたの呼び方を変えてくれます。 例)「先生って呼んで」→ 次から「先生」と呼ばれます 【🧠 覚えてくれる機能】 ずんだもんは、来てくれた人のことを覚えています。 次に来た時も「おかえりなのだ!」と迎えてくれます。 「私のこと覚えてる?」と聞くと、記憶を教えてくれます。 【❓ 質問・相談】 ゲームのことでも雑談でも、コメントで聞いてみてください。 ずんだもんが丁寧に答えてくれます。 【👁️ 画面を見てほしい時】 「画面見て」「これ見て」「今の見て」 とコメントすると、ずんだもんが今の画面を見て 感想やコメントを返してくれます。 ━━━━━━━━━━━━━━━━━━━━━━━━ ⚠️ ご注意 ━━━━━━━━━━━━━━━━━━━━━━━━ ・AIなので、たまに変なことを言うかもしれません ・短い相槌だけのコメント(「草」「なるほど」等)は  スキップされることがあります ・不適切なコメントには反応しません ━━━━━━━━━━━━━━━━━━━━━━━━ 🛠️ 使用技術スタック ━━━━━━━━━━━━━━━━━━━━━━━━ ■ AI / LLM ・Gemini 3.1 Pro Preview — メイン会話生成(Google AI Studio) ・Gemini 3 Flash Preview — トピック生成・文字起こし ・Google Search(Grounding) — リアルタイム情報検索 ・Gemini Vision API — 画面キャプチャの画像認識 ■ 音声合成(TTS) ・VOICEVOX(GPU版) — ずんだもん音声 ・自動再起動によるVRAMライフサイクル管理 ■ 音声認識(STT) ・Gemini API + VAD(Voice Activity Detection) ・AudioRecorder(WebAudio API)でリアルタイム録音 ■ アバター制御 ・VTube Studio API(WebSocket) ・11種の感情タグ → ホットキー連動 ■ コメント取得 ・YouTube Data API v3(ポーリング方式) ・わんコメ OneSDK(WebSocket購読方式) ■ 配信基盤 ・OBS Studio(WebSocket 5.x 接続監視) ・ブラウザソース字幕オーバーレイ(display.html) ■ バックエンド ・Python 3 / FastAPI + Uvicorn ・VOICEVOX プロセス管理(起動/停止/再起動) ・パフォーマンスCSV記録 API ・画面キャプチャ(mss + OpenCV) ■ フロントエンド ・Vanilla HTML/JS(モジュール構成) ・LocalStorage — 視聴者プロフィール永続化 ・WebSocket — VTubeStudio / OBS 接続 ━━━━━━━━━━━━━━━━━━━━━━━━ 🔧 AITuberシステム技術詳細 ━━━━━━━━━━━━━━━━━━━━━━━━ ■ プロンプトアーキテクチャ 3層構造(Core / Streamer / Viewer)で構成。 配信者向けと視聴者向けで異なるプロンプト層を動的に切替。 ルートA(質問)/ ルートB(雑談)/ ルートC(視聴者対応) の3大分岐 + 12サブルートで応答パターンを制御。 ■ 笑いの錬金術(Laugh Alchemy Framework) 独自の「情報距離5」理論に基づく比喩生成エンジン。 3ステップ(感情抽出→情景検索→シード選定)で 距離5の絶妙な面白さを安定生成。 ■ 視聴者インタラクション ・プロフィール記憶(LocalStorage永続化) ・あだ名リアルタイム変更(AIコマンド解析) ・スキップ判定(相槌・絵文字の自動フィルタリング) ・初見/常連の自動判別と応答切替 ■ マルチモーダル入力 ・テキスト(YouTubeチャット / わんコメ) ・音声(配信者マイク → Gemini STT) ・画像(ゲーム画面 → Gemini Vision) 3つの入力を統合してAIに送信。 ■ パフォーマンス ・Gemini応答 / コマンド解析 / 音声合成 の3区間計測 ・全コメントをCSVで自動記録(配信後分析用) ・ルート選択理由(ROUTE_REASON)も記録