当前位置: 首页 > news >正文

【数据集】多视图文本数据集

多视图文本数据集指的是包含多个不同类型或来源的信息的文本数据集。不同视图可以来源于不同的数据模式(如原始文本、元数据、网络结构等),或者不同的文本表示方法(如 TF-IDF、词嵌入、主题分布等)。这些数据集常用于多视图文本分类、文本聚类、情感分析等任务。


1. 20 Newsgroups (20NG)

  • 简介

    • 20 Newsgroups 是一个著名的文本数据集,包含 20 个不同主题的新闻组文章,涉及科技、宗教、体育等多个领域。

  • 数据规模

    • 约 20,000 篇文章,分为 20 类,每类约 1,000 篇文章。

  • 视图划分

    • 视图 1(TF-IDF 词向量):使用 TF-IDF 提取的词频特征向量。

    • 视图 2(Word2Vec 词嵌入):利用 Word2Vec 预训练模型转换成密集向量。

    • 视图 3(LDA 主题分布):使用 LDA(潜在狄利克雷分配)进行主题建模,得到文章的主题分布。

  • 适用任务

    • 多视图文本聚类、多视图分类、多模态学习。


2. Reuters-21578

  • 简介

    • Reuters-21578 是一个金融新闻数据集,包含路透社 1987 年发布的新闻稿。

  • 数据规模

    • 21,578 篇新闻,覆盖 135 个不同类别(如“贸易”、“经济”、“科技”等)。

  • 视图划分

    • 视图 1(文本内容):使用 TF-IDF 或词向量表示新闻内容。

    • 视图 2(元数据):新闻发布时间、新闻作者等信息。

    • 视图 3(类别标签):虽然是分类数据,但可用于半监督聚类。

  • 适用任务

    • 文本分类、多视图文本聚类、主题建模。


3. Amazon Reviews Multi-View Dataset

  • 简介

    • 该数据集包含亚马逊用户对商品的评论,常用于情感分析和商品推荐。

  • 数据规模

    • 数百万条商品评论,涵盖多个产品类别(如电子产品、图书、服饰等)。

  • 视图划分

    • 视图 1(评论文本):用户对产品的评论文本,TF-IDF 或 BERT 词向量表示。

    • 视图 2(评分):用户给出的 1-5 星评分(数值特征)。

    • 视图 3(商品类别):商品的分类标签,如“电子产品”或“家居用品”。

  • 适用任务

    • 多视图情感分析、用户偏好分析、个性化推荐。


4. Wikipedia Multi-View Dataset

  • 简介

    • 该数据集包含维基百科中的文章,常用于知识图谱构建和文本分类。

  • 数据规模

    • 数百万篇文章,覆盖不同领域(如科学、历史、艺术等)。

  • 视图划分

    • 视图 1(正文文本):TF-IDF 词向量或 BERT 词嵌入表示的文章内容。

    • 视图 2(超链接结构):文章之间的超链接关系,构成网络结构。

    • 视图 3(主题分布):使用 LDA 生成的主题分布。

  • 适用任务

    • 主题聚类、知识图谱构建、文本分类。


5. Twitter Multi-View Dataset

  • 简介

    • 该数据集包含推特社交媒体数据,适用于舆情分析、社交网络分析等任务。

  • 数据规模

    • 包含数百万条推文,涉及不同主题(如政治、娱乐、科技等)。

  • 视图划分

    • 视图 1(文本内容):推文的原始文本,采用 TF-IDF 或 BERT 词嵌入表示。

    • 视图 2(用户信息):用户的社交属性(关注者数量、影响力评分等)。

    • 视图 3(社交网络结构):用户之间的关注关系和互动(点赞、转发)。

  • 适用任务

    • 舆情分析、多视图社交网络聚类、热点话题检测。


6. Ohsumed Multi-View Medical Dataset

  • 简介

    • 该数据集包含医学文献,适用于医学文本分类和生物医学信息挖掘。

  • 数据规模

    • 约 343,000 篇医学文章,覆盖多个医学主题(如心血管、神经病学等)。

  • 视图划分

    • 视图 1(医学文本):使用 TF-IDF 或 BERT 表示医学摘要。

    • 视图 2(MeSH 主题标签):每篇文章的医学主题标签(如“心脏病”)。

    • 视图 3(文献引用关系):文章之间的相互引用关系,形成网络结构。

  • 适用任务

    • 医学文本分类、信息检索、临床知识挖掘。


7. Yelp Multi-View Dataset

  • 简介

    • 该数据集包含 Yelp 商户评论,适用于情感分析和商户推荐。

  • 数据规模

    • 约 600,000 条评论,覆盖 10,000+ 家商户。

  • 视图划分

    • 视图 1(评论文本):采用 TF-IDF 或 BERT 表示用户评论。

    • 视图 2(评分):用户对商户的评分(1-5 分)。

    • 视图 3(商户类别):商户的行业类别(如餐厅、酒店)。

  • 适用任务

    • 多视图情感分析、推荐系统、用户行为预测。


总结

数据集数据规模主要视图适用任务
20 Newsgroups20,000 篇新闻TF-IDF、Word2Vec、LDA文本分类、聚类
Reuters-2157821,578 篇新闻文本、元数据、类别主题建模、新闻聚类
Amazon Reviews数百万条评论文本、评分、商品类别情感分析、推荐系统
Wikipedia数百万篇文章文本、超链接、主题知识图谱、文本聚类
Twitter数百万条推文文本、用户信息、社交网络舆情分析、话题检测
Ohsumed343,000 篇医学文献医学文本、MeSH 标签、引用关系医学信息检索
Yelp600,000 条评论文本、评分、商户类别商户推荐、情感分析

后续用的时候可以来找一下。。

http://www.dtcms.com/a/109554.html

相关文章:

  • Python第七章09:自定义python包.py
  • maven引入项目内本地包方法
  • WEB安全--文件上传漏洞--php伪协议的利用
  • MySQL索引(操作篇)
  • 分布式锁之redis6
  • GenerationMixin:_sample方法(GenerationMode.SAMPLE, GenerationMode.GREEDY_SEARCH)
  • 程序员学商务英语之Establing Biz Relations Inquiry
  • 自适应卡尔曼滤波
  • 探索 GitHub Copilot:当 AI 成为你的贴身编码助手
  • Win11本地从零开始部署dify全流程
  • TP6图片操作 Image::open 调用->save()方法时候报错Type is not supported
  • Redis基础知识-3
  • linux - 字符设备驱动简介
  • MySql 数据库题目
  • 三防笔记本有什么用 | 三防笔记本有什么特别
  • CentOS中挂载新盘LVM指南:轻松扩展存储空间,解决磁盘容量不足问题
  • ORM mybits mybits-plus
  • 探索现代网络技术:从负载均衡到 Kubernetes
  • ECMAScript介绍
  • 使用C#写的一个Kafka的使用工具
  • git的作用,以及和github的区别
  • 数据结构与算法学习笔记----贪心区间问题
  • C++中的IO流
  • 【动态规划】最长上升子序列模板
  • 网络编程—网络概念
  • 国产编辑器EverEdit - 扩展脚本:让EverEdit支持“批量查找”功能
  • 使用 requests 和 BeautifulSoup 解析淘宝商品
  • 安利免费开源的声音克隆、文本转语音整合包软件、一键本地安装!
  • Shopify独立站开发与运营全解析
  • iOS 18.4修复多个核心安全漏洞,间接增强Find My服务的数据保护能力