我们在几乎所有的编程语言中都学习过循环。所以，默认情况下，只要有重复性的操作，我们就会开始实施循环。但是当我们处理大量的迭代（数百万/数十亿行）时，使用循环真是遭罪啊～，你可能会被卡住几个小时，后来才意识到这是行不通的。这就是在Python中实现向量化变得超级关键的地方。

什么是向量化？

向量化是在数据集上实现（NumPy）数组操作的技术。在后台，它对数组或系列的所有元素一次性进行操作（不像"for"循环那样一次操作一行）。

在这篇博客中，我们将看看一些用例，在这些用例中，我们可以很容易地用向量化代替Python循环。这将帮助你节省时间，并在编码方面变得更加熟练。

(资料图)

使用案例1:寻找数字的总和

首先，我们来看看一个基本的例子，即在Python中使用循环和向量来寻找数字的总和。

使用循环

import time start = time.time()# 遍历之和total = 0# 遍历150万个数字for item in range(0, 1500000):    total = total + itemprint("sum is:" + str(total))end = time.time()print(end - start)#1124999250000#0.14 Seconds

使用向量化

import numpy as npstart = time.time()# 向量化和--使用numpy进行向量化# np.range创建从0到1499999的数字序列print(np.sum(np.arange(1500000)))end = time.time()print(end - start)##1124999250000##0.008 Seconds

与使用范围函数的迭代相比，向量化的执行时间约18倍。在使用Pandas DataFrame时，这种差异将变得更加明显。

使用案例2:DataFrame数学运算

在数据科学中，当使用Pandas DataFrame时，开发者会使用循环来创建新的数学运算的派生列。

在下面的例子中，我们可以看到，在这样的用例中，循环可以很容易地被向量化所取代。

创建DataFrame

DataFrame是以行和列的形式存在的表格数据。

我们正在创建一个有500万行和4列的pandas DataFrame，其中充满了0到50之间的随机值。

import numpy as npimport pandas as pddf = pd.DataFrame(np.random.randint(0, 50,                                     size=(5000000, 4)),                  columns=("a","b","c","d"))df.shape# (5000000, 5)df.head()

我们将创建一个新的列"ratio"，以找到列"d"和"c"的比率。

使用循环

import time start = time.time()# Iterating through DataFrame using iterrowsfor idx, row in df.iterrows():    # creating a new column     df.at[idx,"ratio"] = 100 * (row["d"] / row["c"])  end = time.time()print(end - start)### 109 Seconds

使用向量化

start = time.time()df["ratio"] = 100 * (df["d"] / df["c"])end = time.time()print(end - start)### 0.12 seconds

我们可以看到DataFrame有了明显的改进，与python中的循环相比，向量化几乎快了1000倍。

使用案例3:DataFrame上If-else语句

我们实现了很多需要我们使用"if-else"类型逻辑的操作。我们可以很容易地用python中的向量化操作代替这些逻辑。

看一下下面的例子来更好地理解它（我们将使用在用例2中创建的DataFrame）。

想象一下，如何根据退出的列"a"的一些条件来创建一个新的列"e"。

使用循环

import time start = time.time()# Iterating through DataFrame using iterrowsfor idx, row in df.iterrows():    if row.a == 0:        df.at[idx,"e"] = row.d        elif (row.a <= 25) & (row.a > 0):        df.at[idx,"e"] = (row.b)-(row.c)        else:        df.at[idx,"e"] = row.b + row.cend = time.time()print(end - start)### Time taken: 177 seconds

使用向量化

start = time.time()df["e"] = df["b"] + df["c"]df.loc[df["a"] <= 25, "e"] = df["b"] -df["c"]df.loc[df["a"]==0, "e"] = df["d"]end = time.time()print(end - start)## 0.28007707595825195 sec

与带有if-else语句的python循环相比，向量化操作要比循环快600倍。

使用案例4:解决机器学习/深度学习网络

深度学习要求我们解决多个复杂的方程，而且是针对数百万和数十亿行的方程。在Python中运行循环来解决这些方程是非常慢的，此时，向量化是最佳的解决方案。

例如，要计算以下多线性回归方程中数百万行的y值。

我们可以用向量化代替循环。

m1,m2,m3...的值是通过使用对应于x1,x2,x3...的数百万个值来解决上述方程而确定的（为了简单起见，只看一个简单的乘法步骤）

创建数据

>>> import numpy as np>>> # 设置 m 的初始值 >>> m = np.random.rand(1,5)array([[0.49976103, 0.33991827, 0.60596021, 0.78518515, 0.5540753]])>>> # 500万行的输入值>>> x = np.random.rand(5000000,5)

使用循环

import numpy as npm = np.random.rand(1,5)x = np.random.rand(5000000,5)total = 0tic = time.process_time()for i in range(0,5000000):    total = 0    for j in range(0,5):        total = total + x[i][j]*m[0][j]             zer[i] = total toc = time.process_time()print ("Computation time = " + str((toc - tic)) + "seconds")####Computation time = 28.228 seconds

使用向量化

tic = time.process_time()#dot product np.dot(x,m.T) toc = time.process_time()print ("Computation time = " + str((toc - tic)) + "seconds")####Computation time = 0.107 seconds

np.dot在后端实现了向量的矩阵乘法。与python中的循环相比，它的速度提高了165倍。

写在最后

Python中的向量化是非常快的，当在处理非常大的数据集时，建议你应该优先考虑向量化而不是循环。这样，随着时间的推移，你会逐渐习惯于按照向量化的思路来编写代码。

关键词： 一个新的 变得更加 可能会被 的形式存在的 执行时间