可以加速 Pandas（即使在 CPU 环境中）而无需编码...... FireDucks

引言

使用 Pandas 处理大量数据时，是否曾因处理时间过长而感到沮丧？
显然，一个库已经发布，可以在不改变现有代码的情况下加速 Pandas。
由 NEC Laboratories 发布的名为 FireDucks 的库的 Beta 版本可以免费使用。
而且，即使在CPU环境下它似乎也更快。详情请参阅网站。

这是测试版，但是免费的，这太棒了！　　　　　　　　　　　　　　　　　　　　　　　　　　　　
赶紧去看看吧。

环境

有两种使用 FireDucks 的方法：“隐性导入”和“显式导入”。
对于“import hook”，可以通过在启动 python 时指定选项来运行它，而无需重写代码。另一方面，对于“显式导入”，请在导入语句中显式指定fireducks。

python3 -m fireducks.imhook your_script.py

# import pandas as pd
import fireducks.pandas as pd

这次，我们将使用“显式导入”来与Google Collaboration进行验证。

简单验证

让我们使用标准泰坦尼克数据进行验证。
会尝试测量groupby()方法的效果，但由于数据量很小，将循环它10,000次并测量它。
操作环境是Google Collaboration，并且使用可能会产生影响的CPU资源。

正常的 Pandas 环境

import pandas as pd
import time# 直接读取Github上发布的数据
url = 'https://raw.githubusercontent.com/pandas-dev/pandas/master/doc/data/titanic.csv'
titanic = pd.read_csv(url)start = time.time()for i in range(10000):titanic.groupby(["Sex", "Pclass"])["Fare"].mean()elaps = time.time() - start
print(elaps)

在这里插入图片描述大约用了 9.5 秒。

FireDucks环境

安装fireducks

!pip install fireducks

验证 FireDucks 中的处理时间

import fireducks.pandas as pd2
url = 'https://raw.githubusercontent.com/pandas-dev/pandas/master/doc/data/titanic.csv'
titanic2 = pd2.read_csv(url)import timestart = time.time()for i in range(10000):titanic2.groupby(["Sex", "Pclass"])["Fare"].mean()elaps = time.time() - start
print(elaps)