诚信为本,市场在变,诚信永远不变...

公司动态

‘JDB官网入口’我用Python爬了一个零售网站,分析了一千多种葡萄酒!

本文摘要:本文作者是一名地隧道道的法式员,最大的兴趣就是爬种种网站。

本文作者是一名地隧道道的法式员,最大的兴趣就是爬种种网站。特别是在已往的一年里,为了娱乐和利润而爬掉了无数网站。

JDB官网入口

从小众到主流电子商店再到新闻媒体和文学博客,通过使用简朴的工具(如BeautifulSoup)获得了许多有趣且洁净的数据—我也很喜欢Chrome 的Headless模式。本文,作者将分析从Greek wine e-shop商店(一个希腊葡萄酒网站)中获得的数据,来看看哪种葡萄酒最受接待。

scraper自己相当简朴,可以在GitHub页面(https://github.com/Florents-Tselai/greek-wines-analysis)找到。作者将着重于通过使用尺度的Python包对获得的数据(1125个奇特的标签)做一些快速的探索性分析。scraper自己袒露了一个相当简朴的API。

首先,请求葡萄酒页面的数据,并将数据返回给nicedict,如下所示:In [2]:In [3]:Out[3]:然后,界说一些matplotlib。In [4]:加载由houseofwine_gr.dump模块生成的数据转储,开发者也可以在GitHub页面找到.json,.csv和.xlsx的数据集。

In [5]:以下是所拥有数据的视图:In [6]:Out[6]:用np.nan替换空的字符串,使它们更容易处置惩罚 Pandas。In [7]:重命名一些包罗特殊字符的列名,以便将它们用作本机DataFrame存储器。

In [8]:我们还将适当的类型分配给列:In [9]:让我们将color列值从希腊语翻译成英语。In [10]:以下是数据集的颜色直方图。In [11]:以下是每种葡萄酒的简朴指标漫衍情况:In [12]:如图所示,Average Rating列险些为正态漫衍,μ值高达85以上。

Reddit上的Kroutoner解释了为什么会发生这种情况(并纠正了作者以前的错误):典型的葡萄酒评级是50-100,而不是0-100。所以看起来似乎只有一半漫衍,实际上是一个险些完全的漫衍。此外,90分以上的葡萄酒一般被认为效果更好,销售也更好。这个事实改变了对数据的解释,也就是说大多数葡萄酒被评为好,只有一小部门被评为很是好。

为了进一步推进,来看一下tags 列。似乎每个标签列表可以给出有关葡萄酒的种种属性(品种,甜味等)的信息。

接下来,作者将这些属性离开,将tags列元素从list 转换为set列表元素,因为这样会使操作更简朴。也就是说,不是在一个if x in -else-try-except-IndexError中,我们将使用set操作。

现在,做一些简朴操作来提取关于甜度,温和性等信息,以下信息同样从希腊语翻译到了英语。以下是4个属性中每一个属性的直方图:在这一点上,开发者可以(险些)宁静地假设所有剩下的标签显示每种葡萄酒的品种信息,所以界说一个新的列来存储它们。由于剖析错误,列中泛起了一些整数,我们将其过滤掉。

我们也可以添加一个布尔变量varietal。酒中的混淆物只有一种的称为varietal,至少有两种混淆物的称作blends。对于varietal葡萄酒,我们设定了一个single_variety - 对于其他非varietal的葡萄酒来说,这个数值将是NaN。

JDB官网入口

让我们来看看Varietal / Blend的漫衍是怎样的。这是一些指示性的情节。In [27]:看起来Chardonnay是最盛行的品种,而Vidal和Sangiovese是最昂贵的品种。

评分最高的是Malvasia,但所有品种都很是靠近。把注意力转移到blends上,我们做了一些Numpy和Scikit-Learn来发生blends的矩阵。

上面的代码简朴地从这里获得:对此:这些是blends中泛起频率最高的品种。In [30]:这里是一个热图,显示哪些品种通常混淆在一起。

In [31]:In [32]:如果你有兴趣,接待来Github页面与作者交流。


本文关键词:JDB电子,Jdb电子官网,JDB官网入口

本文来源:JDB电子-tjlisu.com

新闻资讯

电话:046-99935196

传真:0353-820849750

手机:13738641585

邮箱:admin@tjlisu.com

地址:天津市天津市天津区东高大楼33号