🔎大家好，第章的推我是构建Sonhhxg_柒，希望你看完之后，基于荐系能对你有所帮助，外向维基不足请指正！百科共同学习交流🔎

📝个人主页－Sonhhxg_柒的链接博客_CSDN博客 📃

🎁欢迎各位→点赞👍 + 收藏⭐️ + 留言📝​

📣系列专栏 - 机器学习【ML】 自然语言处理【NLP】  深度学习【DL】

​

 🖍foreword

✔说明⇢本人讲解主要包括Python、机器学习（ML）、第章的推深度学习（DL）、构建自然语言处理（NLP）等内容。基于荐系

如果你对这个系列感兴趣的外向维基话，可以关注订阅哟👋

推荐系统传统上是百科根据先前收集的用户评分进行训练的。我们想预测用户的链接评分，所以从历史评分开始感觉很自然。第章的推但是构建，这要求我们在开始之前拥有大量的基于荐系评级，并且它不允许我们在尚未评级的新项目上做得很好。此外，我们故意忽略我们在项目上拥有的元信息。

在本章中，您将探索如何构建一个简单的电影推荐系统，该系统仅基于传出的 Wikipedia 链接。您将从 Wikipedia 中提取训练集开始，然后根据这些链接训练嵌入。然后，您将实现一个简单的支持向量机分类器来提供建议。最后，您将探索如何使用新训练的嵌入来预测电影的评论分数。

本章中的代码可以在这些笔记本中找到：

04.1 从维基百科收集电影数据04.2 基于传出的维基百科链接构建推荐系统

4.1 收集数据

问题

您想要获取用于训练特定领域（如电影）的数据集。

解决方案

解析 Wikipedia 转储并仅提取电影页面。

笔记

本秘籍中的代码展示了如何从 Wikipedia 中获取和提取训练数据，这是一项非常有用的技能。但是，下载和处理完整转储需要相当长的时间。笔记本文件夹的数据目录包含我们将在本章剩余部分中使用的预提取的前 10,000 部电影，因此您无需运行本秘籍中的步骤。

让我们首先从 Wikipedia 下载最近的转储。您可以使用自己喜欢的浏览器轻松完成此操作，如果您不需要最新版本，您可能应该选择附近的镜子。但您也可以通过编程方式进行。以下是获取最新转储页面的方法：

index = requests.get('https://dumps.wikimedia.org/backup-index.html').textsoup_index = BeautifulSoup(index, 'html.parser')dumps = [a['href'] for a in soup_index.find_all('a')             if a.has_attr('href') and a.text[:-1].isdigit()]

我们现在将遍历转储并找到实际完成处理的最新转储：

for dump_url in sorted(dumps, reverse=True):    print(dump_url)    dump_html = index = requests.get(        'https://dumps.wikimedia.org/enwiki/' + dump_url).text    soup_dump = BeautifulSoup(dump_html, 'html.parser')    pages_xml = [a['href'] for a in soup_dump.find_all('a')                 if a.has_attr('href')                 and a['href'].endswith('-pages-articles.xml.bz2')]    if pages_xml:        break    time.sleep(0.8)

注意睡眠保持在维基百科的速率限制之下。现在让我们获取转储：

wikipedia_dump = pages_xml[0].rsplit('/')[-1]url = url = 'https://dumps.wikimedia.org/' + pages_xml[0]path = get_file(wikipedia_dump, url)path

我们检索到的转储是一个 bz2 压缩的 XML 文件。我们将使用它sax来解析 Wikipedia XML。我们对