项目概述

DA Agent Backend 是一个基于 FastAPI 的社交数据采集后端，负责缓存复用、异步任务处理以及 RAG 增强问答。它接收来自 Web 端的 Agent 请求，提取研究关键词，判断历史任务是否可复用；如需新数据则触发外部采集供应商，将归一化数据存入 PostgreSQL / Supabase，构建 RAG 分块索引，并对外提供任务状态、汇总结果与 RAG 增强聊天。

核心能力

• 请求接入：FastAPI 路由接收 Web Agent 的研究请求。
• 缓存复用：对相似历史任务结果直接复用，避免重复采集。
• 异步采集：通过 Worker 调用外部供应商完成数据采集。
• 归一化存储：将不同来源数据写入 PostgreSQL/Supabase。
• RAG 索引：在采集内容上构建 pgvector 分块索引。
• 任务状态 & 汇总：返回任务进度、总结响应以及 RAG 增强对话。

集成的外部供应商

• OpenRouter（LLM 调用）
• Serper（搜索）
• XPOZ
• Bright Data

技术栈

• Python 3.11+
• FastAPI
• PostgreSQL / Supabase
• pgvector
• asyncpg
• uv（依赖管理）