{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# yf_amazon 说明\n", "0. **下载地址：** [百度网盘](https://pan.baidu.com/s/1SbfpZb5cm-g2LmnYV_af8Q)\n", "1. **数据概览：** 52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据\n", "2. **推荐实验：** 推荐系统、情感/观点/评论 倾向性分析\n", "2. **数据来源：** [亚马逊](https://www.amazon.cn/)\n", "3. **原数据集：** [JD.com E-Commerce Data](http://yongfeng.me/dataset/)，Yongfeng Zhang 教授为 WWW 2015 会议论文而搜集的数据\n", "4. **加工处理：**\n", " 1. 将全角字符转换为半角字符，并采用 UTF-8 编码\n", " 2. 整理成与 [MovieLens](https://grouplens.org/datasets/movielens/) 兼容的格式\n", " 3. 进行脱敏操作，以保护用户隐私" ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [], "source": [ "import pandas as pd" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [], "source": [ "path = 'yf_amazon_文件夹_所在_路径'" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "# 1. products.csv" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 加载数据" ] }, { "cell_type": "code", "execution_count": 3, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "产品数目：525619\n" ] } ], "source": [ "products = pd.read_csv(path + 'products.csv')\n", "\n", "print('产品数目：%d' % products.shape[0])" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 字段说明\n", "\n", "| 字段 | 说明 |\n", "| ---- | ---- |\n", "| productId | 产品 id (从 0 开始，连续编号) |\n", "| name | 产品名称 |\n", "| catIds | 类别 id（从 0 开始，连续编号，从左到右依次表示一级类目、二级类目、三级类目） |" ] }, { "cell_type": "code", "execution_count": 4, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
productIdnamecatIds
331420331420欧意金狐狸 女式 皮手套 QT602802,143,996
130945130945YESO TOT 中性 单肩包/斜挎包 均码 94111111,864,781
179886179886李斯特论柏辽兹与舒曼832,552,337
504123504123Tuscarora 途斯卡洛拉 中性 烈焰驰骋无缝头巾 PSU30831111,522,720
387785387785我们的故事:一百个北大荒老知青的人生形态832,519,599
406231406231图读周易832,723,724
199072199072Barbie 芭比 女童 运动休闲鞋 A22993802,777,601
518528518528HiVi 惠威 多媒体音箱 D1080MKII 2.0声道 棕色1057,439,1064
446621446621HALTI 男式 JUOVAJACKET 芬兰国家队系列 羽绒滑雪服 H05919221111,651,693
379960379960塑料回收再生术:百工百技832,1096,509
\n", "
" ], "text/plain": [ " productId name catIds\n", "331420 331420 欧意金狐狸 女式 皮手套 QT602 802,143,996\n", "130945 130945 YESO TOT 中性 单肩包/斜挎包 均码 9411 1111,864,781\n", "179886 179886 李斯特论柏辽兹与舒曼 832,552,337\n", "504123 504123 Tuscarora 途斯卡洛拉 中性 烈焰驰骋无缝头巾 PSU3083 1111,522,720\n", "387785 387785 我们的故事:一百个北大荒老知青的人生形态 832,519,599\n", "406231 406231 图读周易 832,723,724\n", "199072 199072 Barbie 芭比 女童 运动休闲鞋 A22993 802,777,601\n", "518528 518528 HiVi 惠威 多媒体音箱 D1080MKII 2.0声道 棕色 1057,439,1064\n", "446621 446621 HALTI 男式 JUOVAJACKET 芬兰国家队系列 羽绒滑雪服 H0591922 1111,651,693\n", "379960 379960 塑料回收再生术:百工百技 832,1096,509" ] }, "execution_count": 4, "metadata": {}, "output_type": "execute_result" } ], "source": [ "products.sample(10)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "# 2. categories.csv" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 加载数据" ] }, { "cell_type": "code", "execution_count": 5, "metadata": { "scrolled": true }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "类别数目：1175\n" ] } ], "source": [ "categories = pd.read_csv(path + 'categories.csv')\n", "\n", "print('类别数目：%d' % categories.shape[0])" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 字段说明\n", "\n", "| 字段 | 说明 |\n", "| ---- | ---- |\n", "| catId | 类别 id (从 0 开始，连续编号) |\n", "| category | 类别名称 |" ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
catIdcategory
947947理发器
818818电脑硬件
212212帐篷
815815路由器/中继器
829829拉杆箱/包
391391女鞋
756756大型健身器械
1111其他运动器材
633633垂钓用品
115115卡通
\n", "
" ], "text/plain": [ " catId category\n", "947 947 理发器\n", "818 818 电脑硬件\n", "212 212 帐篷\n", "815 815 路由器/中继器\n", "829 829 拉杆箱/包\n", "391 391 女鞋\n", "756 756 大型健身器械\n", "11 11 其他运动器材\n", "633 633 垂钓用品\n", "115 115 卡通" ] }, "execution_count": 6, "metadata": {}, "output_type": "execute_result" } ], "source": [ "categories.sample(10)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "# 3. ratings.csv" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 加载数据" ] }, { "cell_type": "code", "execution_count": 7, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "用户 数目：1424596\n", "评分/评论 数目（总计）：7202921\n", "\n" ] } ], "source": [ "pd_ratings = pd.read_csv(path+'ratings.csv')\n", "\n", "print('用户 数目：%d' % pd_ratings.userId.unique().shape[0])\n", "print('评分/评论 数目（总计）：%d\\n' % pd_ratings.shape[0])" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 字段说明\n", "\n", "| 字段 | 说明 |\n", "| ---- | ---- |\n", "| userId | 用户 id (从 0 开始，连续编号) |\n", "| productId | 即 products.csv 中的 productId |\n", "| rating | 评分，[1,5] 之间的整数 |\n", "| timestamp | 评分时间戳 |\n", "| title | 评论的标题 |\n", "| comment | 评论的内容 |" ] }, { "cell_type": "code", "execution_count": 8, "metadata": { "scrolled": false }, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
userIdproductIdratingtimestamptitlecomment
4287636230944.03945055.01393084800赞!NaN
394083816628.0847895.01389715200喜欢NaN
4064284325829.0941083.01384531200磨脚右脚小脚趾磨掉一块皮
4802616586385.02540025.01383408000哦~NaN
292946842028.02314495.01369324800致我们终将逝去的青春NaN
2306551933226.02190154.01341763200有点大 不过很漂亮外观很精致的说 就是外形有点偏大
1707442402851.02283215.01374076800给宝宝讲讲挺好的,内容简单,便于宝宝理解。给宝宝讲讲挺好的,内容简单,便于宝宝理解。
3641724123473.05156234.01305475200书很好,但居然没有包装!?!?!?书很好,但居然没有包装!?!?!?这么好的书却没有包装!?!?!?
1921912435946.0632384.01357228800嗯NaN
14751511612.01390444.01316102400一般香味没有前面评价那么香,就是普通的爽肤水,有点黏黏的
\n", "
" ], "text/plain": [ " userId productId rating timestamp title \\\n", "4287636 230944.0 394505 5.0 1393084800 赞! \n", "3940838 16628.0 84789 5.0 1389715200 喜欢 \n", "4064284 325829.0 94108 3.0 1384531200 磨脚 \n", "4802616 586385.0 254002 5.0 1383408000 哦~ \n", "292946 842028.0 231449 5.0 1369324800 致我们终将逝去的青春 \n", "2306551 933226.0 219015 4.0 1341763200 有点大 不过很漂亮 \n", "1707442 402851.0 228321 5.0 1374076800 给宝宝讲讲挺好的,内容简单,便于宝宝理解。 \n", "3641724 123473.0 515623 4.0 1305475200 书很好,但居然没有包装!?!?!? \n", "1921912 435946.0 63238 4.0 1357228800 嗯 \n", "1475151 1612.0 139044 4.0 1316102400 一般 \n", "\n", " comment \n", "4287636 NaN \n", "3940838 NaN \n", "4064284 右脚小脚趾磨掉一块皮 \n", "4802616 NaN \n", "292946 NaN \n", "2306551 外观很精致的说 就是外形有点偏大 \n", "1707442 给宝宝讲讲挺好的,内容简单,便于宝宝理解。 \n", "3641724 书很好,但居然没有包装!?!?!?这么好的书却没有包装!?!?!? \n", "1921912 NaN \n", "1475151 香味没有前面评价那么香,就是普通的爽肤水,有点黏黏的 " ] }, "execution_count": 8, "metadata": {}, "output_type": "execute_result" } ], "source": [ "pd_ratings.sample(10)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "# 4. links.csv" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 加载数据" ] }, { "cell_type": "code", "execution_count": 9, "metadata": {}, "outputs": [], "source": [ "links = pd.read_csv(path + 'links.csv')" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 字段说明\n", "\n", "| 字段 | 说明 |\n", "| ---- | ---- |\n", "| productId | 即 products.csv 和 ratings.csv 中的 productId |\n", "| amazonId | 亚马逊的产品编号 |" ] }, { "cell_type": "code", "execution_count": 10, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
productIdamazonId
436251436251B00F91KYGK
194578194578B00GICSVUK
336998336998B00GMKUNBI
371924371924B008RIA4AS
433617433617B00332FJ7Q
236918236918060614479X
388158388158B008TI5V2C
479855479855B002NSML6I
311842311842B001DTWV2C
445227445227B0055PT83U
360465360465B005UTT2QY
2583632583630805092919
308642308642B0079WMXT8
232740232740B0018HKRAW
335318335318B00840LWKU
497048497048B003ZI61RA
388969388969B00BIUYL06
1044810448B00GMZ9DKK
7575275752B002R0DNB4
392345392345B0041IY7CE
\n", "
" ], "text/plain": [ " productId amazonId\n", "436251 436251 B00F91KYGK\n", "194578 194578 B00GICSVUK\n", "336998 336998 B00GMKUNBI\n", "371924 371924 B008RIA4AS\n", "433617 433617 B00332FJ7Q\n", "236918 236918 060614479X\n", "388158 388158 B008TI5V2C\n", "479855 479855 B002NSML6I\n", "311842 311842 B001DTWV2C\n", "445227 445227 B0055PT83U\n", "360465 360465 B005UTT2QY\n", "258363 258363 0805092919\n", "308642 308642 B0079WMXT8\n", "232740 232740 B0018HKRAW\n", "335318 335318 B00840LWKU\n", "497048 497048 B003ZI61RA\n", "388969 388969 B00BIUYL06\n", "10448 10448 B00GMZ9DKK\n", "75752 75752 B002R0DNB4\n", "392345 392345 B0041IY7CE" ] }, "execution_count": 10, "metadata": {}, "output_type": "execute_result" } ], "source": [ "links.sample(20)" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.6.5" }, "widgets": { "state": {}, "version": "1.1.2" } }, "nbformat": 4, "nbformat_minor": 2 }