WildChat / 研究指南

数据集、工具与研究

WildChat:真实的 ChatGPT 对话

从用户与语言模型的实际对话,研究人们如何使用聊天机器人。

WildChat 包含多语言、多轮对话。这些对话在征得用户同意后,通过 Hugging Face Spaces 上的聊天机器人收集,包括 yuntian-deng/ChatGPT。数据用于研究用户行为、模型安全、评测和指令微调。

下载 WildChat-4.8M,或申请访问 WildChat-4.8M-Full。如果访问申请未收到回复,可以给 Yuntian Deng 发邮件:yuntian@uwaterloo.ca。

原始论文 · ICLR 2024

WildChat: 1M ChatGPT Interaction Logs in the Wild

Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng

WildChat 提供经用户同意采集的、与 GPT-3.5 和 GPT-4 的多语言、多轮对话,并结合时间戳和元数据研究不同时间与地点的使用情况。论文分析语言与提示的多样性、有害内容和越狱,并通过 WildLlama 展示指令微调。

数据将对话文本与时间戳、地理位置、哈希化的 IP 地址和请求头等元数据结合,用于分析不同语言、地点和时间的使用情况。地理位置由 IP 地址推断;论文第 6 节讨论了服务的用户群体与采样偏差。阅读采集方法与分析。

从哪里开始

下载与访问

4.8M 系列将采集范围扩展到 2025 年 7 月。公开版过滤了被审核工具标记的对话;Full 版保留标记内容,移除涉及未成年人的性内容类别,并需要申请访问。

查看条数、过滤规则与访问方法

用户行为与模型研究

围绕真实对话,研究者分析隐私、安全、用户反馈、写作、语言文化、模型评测与训练。每篇研究使用的数据版本和筛选方法需要分别确认。

阅读带注释的研究列表(英文)

WildChat、WildVis 与 WildVisualizer

WildChat 是对话数据集。WildVis 是检索与可视化工具及其论文,支持过滤对话和查看嵌入空间中的分布。WildVisualizer 是代码仓库名,在线工具位于 wildvisualizer.com,也包含 LMSYS-Chat-1M。

打开 WildVisualizer · WildVis 论文 · 代码

复现与引用

记录下载的数据仓库、revision、采集时间范围与过滤条件。使用 WildChat 数据时引用 ICLR 2024 原始论文;使用可视化工具时引用 WildVis 论文。下载 BibTeX、CSL-JSON 与论文记录。

数据处理代码说明了对话重建、敏感信息处理、内容审核及评测数据留出方式。