AIニュースを自動収集し、RAGで会話するチャットボット
AIスクレイピングChatbot
ITmedia AI＋ や Ledge.ai などのAIニュースを HTML スクレイピングで自動収集し、本文をクリーニング・チャンク化して多言語埋め込みを生成、pgvector によるベクトル検索で関連情報を引き当て、ローカル LLM が会話調の日本語で回答する RAG チャットボットです。収集は1日1回自動更新され、接続時には直近のSNSバズ話題と最新記事の日付を添えて挨拶します。出典の丸写しではなく、要点をかみ砕いて自然な会話で説明します。
デモ1: データ収集 + RAG構築
AIニュースサイトを定期的に HTML スクレイピングで収集し、本文を正規化・チャンク分割します。多言語埋め込みでベクトル化して pgvector の知識ベースを育て、収集は1日1回自動更新されます(robots.txt・レート制限を遵守)。
デモ2: RAG活用 Chatbot
蓄積した知識をベクトル検索で引き当て、オンプレ LLM(LM Studio)が会話調の日本語で回答します。直前の会話文脈も考慮し、SSE で回答をリアルタイム表示。詳細ページのボタンから、ページ内でそのまま起動できます。
主な機能
- AIニュースを毎日1回 HTML スクレイピングで自動収集し知識ベースを更新(robots.txt・レート制限を遵守)
- 本文をクリーニング・チャンク化し、多言語埋め込みでベクトル化
- pgvector によるベクトル検索で関連情報を引き当てる RAG 構成
- オンプレ LLM(LM Studio)が要点をかみ砕いて会話調の日本語で回答、SSEで逐次表示
- 接続時に直近のSNSバズ話題と最新記事の日付を添えて挨拶
- Shadow DOM で本番サイトのCSSと干渉しない埋め込みウィジェット
使用技術
- Python
- FastAPI(SSE)
- PostgreSQL + pgvector
- オンプレLLM(LM Studio: gemma-4-26b / nomic埋め込み)
- TypeScript製埋め込みウィジェット(Shadow DOM)
- Astro
- Docker / Ubuntu + リバースプロキシ