数据集、工具与研究
WildChat:真实的 ChatGPT 对话
从用户与语言模型的实际对话,研究人们如何使用聊天机器人。
WildChat 包含多语言、多轮对话。这些对话在征得用户同意后,通过 Hugging Face Spaces 上的聊天机器人收集,包括 yuntian-deng/ChatGPT。数据用于研究用户行为、模型安全、评测和指令微调。
下载 WildChat-4.8M,或申请访问 WildChat-4.8M-Full。如果访问申请未收到回复,可以给 Yuntian Deng 发邮件:yuntian@uwaterloo.ca。
原始论文 · ICLR 2024
WildChat: 1M ChatGPT Interaction Logs in the Wild
WildChat 提供经用户同意采集的、与 GPT-3.5 和 GPT-4 的多语言、多轮对话,并结合时间戳和元数据研究不同时间与地点的使用情况。论文分析语言与提示的多样性、有害内容和越狱,并通过 WildLlama 展示指令微调。
数据将对话文本与时间戳、地理位置、哈希化的 IP 地址和请求头等元数据结合,用于分析不同语言、地点和时间的使用情况。地理位置由 IP 地址推断;论文第 6 节讨论了服务的用户群体与采样偏差。阅读采集方法与分析。
从哪里开始
WildChat、WildVis 与 WildVisualizer
WildChat 是对话数据集。WildVis 是检索与可视化工具及其论文,支持过滤对话和查看嵌入空间中的分布。WildVisualizer 是代码仓库名,在线工具位于 wildvisualizer.com,也包含 LMSYS-Chat-1M。
复现与引用
记录下载的数据仓库、revision、采集时间范围与过滤条件。使用 WildChat 数据时引用 ICLR 2024 原始论文;使用可视化工具时引用 WildVis 论文。下载 BibTeX、CSL-JSON 与论文记录。
数据处理代码说明了对话重建、敏感信息处理、内容审核及评测数据留出方式。