麻省理工学院联手IBM，发明可解决文档分类的黑科技

　　你是否经常因为文档分类太复杂而苦恼，世界顶级理工院校麻省理工学院联手IBM，解决了这个难题，他们认为，这个方法只需要考虑一个人的历史偏好，或一群人的偏好，就可以覆盖数百万的可能性。

　　即使是最好的文本解析推荐算法也会受到一定大小的数据集的阻碍。为了提供比大多数现有方法更快，更好的分类性能，MIT-IBM Watson AI 实验室和 MIT 的 Geometric Data Processing Group 的团队设计了一种结合了嵌入式和最优传输等流行人工智能工具的技术。

　　这项研究的主要作者、麻省理工学院的助理教授 Justin Solomon 在一份声明中表示，互联网上有大量文字，任何有助于贯穿这些材料的东西都是非常有用的。

　　为此， Justin Solomon 和他的同事使用算法将文本集合归纳成基于集合中常用单词的主题。紧接着，它将每个文本分成 5 到 15 个最重要的主题，并通过排名显示每个主题对整个文本的重要性。

　　另外，嵌入有助于使单词之间的相似性显而易见，而最佳传输则有助于计算在多个目的地之间移动对象(或数据点)的最有效方式。同时，嵌入能够让“利用两次最优传输”成为可能：首先是比较集合中的主题，然后度量公共主题重叠的程度。

　　研究人员称，这种方法在扫描大量书籍和文件时尤其有效。在 Gutenberg Project 数据集中的 1720 个标题的评估工作中，该算法成功地在一秒钟内比较完所有标题，比第二名快了近 800 倍。

　　此外，与其他方法相比，该算法在分类文档方面做得更好。例如，按作者对古腾堡数据集中的书籍进行分组;或是按部门对亚马逊上的产品评论进行分组。同时，该算法还提供了主题列表，能够向用户解释推荐给定文档的原因，便于用户理解。

　　不过，研究人员并未满足于现有的技术水平。他们还将继续开发一种端到端的培训技术，这种技术可以联合优化嵌入、主题模型和最优传输，而不是像当前实现那样单独优化。在应用方面，他们还希望将他们的方法应用于更大的数据集，并研究图像或三维数据建模的应用。

　　在论文总结工作报告中， Justin Solomon 表示，(我们的算法)捕捉差异的方式似乎与让一个人比较两个文档的方式相同：先将每个文档分解成容易理解的概念，然后比较概念······

　　对于更近一步的想法，Justin Solomon 说道：“让单词嵌入提供全局语义语言信息，主题模型提供特定于语料库的主题和主题分布。从经验上看，这些因素结合在一起，可以在各种基于度量的任务中提供优异的性能。”