使用Scikit-Learn pipeline 减少ML项目的代码量并提高可读性

在构建和部署机器学习模型时,最佳好的方法是使它们尽可能的成为端到端的工作,这意味着尝试将大多数与模型相关的数据转换分组到一个对象中。

在ML世界中,采用pipeline的最简单方法是使用Scikit-learn。如果你不太了解它们,这篇文章就是为你准备的。我将通过一个简单的用例,首先尝试通过采用一个简单的机器学习工作流来解决这个问题,然后我将通过使用Scikit-Learn pipeline来解决这个问题,这样就能看出差异。

pipeline

pipeline允许你封装所有的预处理步骤,特性选择,扩展,特性编码,最重要的是它帮助我们防止数据泄漏,主要的好处是:

方便和封装:您只需要对数据调用fit和预测一次,就可以拟合整个估计序列。

联合参数选择:可以一次对pipeline中所有估计器的参数进行网格搜索。

在交叉验证中,安全pipeline有助于避免将测试数据中的统计信息泄漏到训练好的模型中

下面Scikit-learn pipelines流程图

一个转换序列(预处理,特征工程),和一个单一实体组装和执行的估计器(ML模型等)组成了pipelines。

转换对象(Transformers )是包含 FIT 和TRANSFORM方法的对象,例如one-hot encoder, simple imputer,等

估计器对象(Estimator )具有FIT和PREDICT方法的对象:(比如回归模型和分类模型等)

注意:在上面我已经连续放置了多个Transformers ,但它们不必这样设置,根据您的需要,您可以并行地实现它们。(你会在下面的例子中看到更多)

本例数据说明

我将使用来自Kaggle的数据集:Telco-Customer-Churn practice problem.

# Importing the Dependencies
import pandas as pd 
from sklearn.model_selection import train_test_split
import numpy as np

import warnings
warnings.filterwarnings('ignore')

df=pd.read_csv("/kaggle/input/telco-customer-churn/WA_Fn-UseC_-Telco-Customer-Churn.csv")
df

查看特征和数据类型

df.dtypes

#Defining Dependent Variables
X=df.drop(columns=   ['Churn','customerID','gender','PhoneService',
                      'MultipleLines', 'PaperlessBilling','PaymentMethod'], axis=1)

#Independent Variable
y=df['Churn']

# Converting this variable to object, it is deifined as int64
df['SeniorCitizen']=df['SeniorCitizen'].astype(object)

我们将专注于获得一个可行的模型,而不是专注于如何针对用例提出最佳模型。 这里没有做任何EDA,而只是考虑不需要任何预处理的功能。

# Split Train Test
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.30, random_state=124)

#Numeric Feature
numeric_features = ['tenure']

#Categorical Features
categorical_features = ['SeniorCitizen', 'Partner', 'Dependents', 'PhoneService',
                        'InternetService','OnlineSecurity','OnlineBackup',
                        'DeviceProtection','TechSupport','StreamingTV',
                        'StreamingMovies','Contract']

这里仅将准确性作为测试指标来“公正”获得工作模型。 我们将要预测的独立目标变量高度不平衡(如您在上面看到的)。 为了最好地评估此问题,应该使用其他指标而不是准确性。

方案1:不使用pipeline的用例(典型ML工作流程)

# Importing the Dependencies
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.linear_model import LogisticRegression

在下面的第一个解决方案中,我将实现一个典型的机器学习工作流程,首先从定义转换对象开始,然后将这些对象拟合(FIT)到训练数据中(从数据中学习),然后应用这些转换 (TRANSFORM)功能训练数据 接下来,我们在转换后的数据上训练模型,现在我们将所有这些转换再一次应用于测试集。 这里我们不应用任何FIT(因为它不必从数据中学习),我们仅应用TRANSFORM函数来防止数据的泄露

对训练数据使用“fit & transform”

在测试/新数据上使用“transform”。 这样可以防止数据泄漏并将相同的转换应用于这两组数据。

得到结果如下

方案2:采用Scikit-learn pipeline

现在,让我们尝试使用Scikit-learn pipeline执行相同的操作,我将进行相同的转换并应用相同的算法

建立pipeline的第一步是定义每个转换器。约定是为我们拥有的不同变量类型创建转换器。
脚步:

1)数值转换器:创建一个数值转换器,该转换器首先估算所有缺失值。然后应用StandardScaler。

2)分类转换器:创建一个分类转换器,该转换器采用OneHotEncoder将分类值转换为整数(1/0)。

3)列转换器:ColumnTransformer用于将上述转换应用于数据帧中的正确列,我将它们传递给我,这是我在上一节中定义的数字和分类特征的两个列表。

4)使用Estimator(Classifier)进行流水线操作:在这里,我将Column Transformer与最终的Transformer进行流水线化,后者是Estimator(我选择Logistic回归作为二进制分类器)

得到结果如下

我们得到了相同的准确率。这里没有多次进行拟合和变换,我们使用转换器和最终估计器对整个pipeline进行了一次拟合,并且我们应用了计算分数的方法(score) 以获得模型的准确率。 如果要可视化我们创建的pipeline,我们可以使用以下命令将其可视化。

from sklearn import set_config
set_config(display='diagram')
pipeline

访问pipeline的元素

我们可以使用以下命令访问每个元素

pipeline.named_steps

pipeline.named_steps['transform_column'].transformers_[0]

pipeline.named_steps['transform_column'].transformers_[1]

方案2改进:采用Scikit-learn pipeline (最少代码)

在Scikit-learn中,还有两个以上的函数与我们在上述实现中使用的函数(Column Transformer和pipeline)相同:

  • *make_column Transformer*
  • *make_pipeline*

这两个函数允许我们简化到更少的代码,它们有什么不同?

实现结构与前面完全相同,唯一的区别是,我们只传递需要的对象,而不是在函数内部传递元组。正如您在下面看到的,我没有给(SimpleImputer、standardscaler和Onehotencoder)对象指定特定的名称,而是直接将它们输入到pipeline中。

我们没有对pipeline做任何结构上的改变。唯一的区别是解决方案2我们没有任何名称传递给对象,这可以看到可视化的pipeline(下图),我们可以看到,这两个pipeline我们默认为数值和分类处理创建命名pipeline1和2,而上面的实现我们选择设置pipeline的名称。

快速比较上述解决方案

方案1:标准的基本ML工作流

# Replaces missing values
imputer = SimpleImputer(strategy="median")

# scales the numerical feature
scaler = StandardScaler()

# one-hot the categorical features
one_hot=OneHotEncoder(handle_unknown='ignore',sparse=False)

# Define the classifier
lr = LogisticRegression()

# learn/train/fit from the data
imputer.fit(X_train[numeric_features])
imputed=imputer.transform(X_train[numeric_features])
scaler.fit(imputed)
scaled=scaler.transform(imputed)
one_hot.fit(X_train[categorical_features])
cat=one_hot.transform(X_train[categorical_features])

# Concatenating the scaled and one hot matrixes 
Final_train=pd.DataFrame(np.concatenate((scaled, cat), axis=1))
lr.fit(Final_train, y_train)

# Predict on the test set-using the trained classifier-still need to do the transformations
X_test_filled = imputer.transform(X_test[numeric_features])
X_test_scaled = scaler.transform(X_test_filled)
X_test_one_hot = one_hot.transform(X_test[categorical_features])
X_test=pd.DataFrame(np.concatenate((X_test_scaled, X_test_one_hot), axis=1))
lr.score(X_test,y_test)

方案2:采用Scikit-learn pipeline

from sklearn.pipeline import pipeline
from sklearn.compose import ColumnTransformer

numeric_transformer = pipeline(steps=[
                                     ('meanimputer',     SimpleImputer(strategy='mean')),
                                     ('stdscaler', StandardScaler())
                                     ])

categorical_transformer = pipeline(steps=[
                                         ('onehotenc', OneHotEncoder(handle_unknown='ignore'))
                                         ])

col_transformer = ColumnTransformer(transformers=[('numeric_processing',numeric_transformer,                                                                 numeric_features),
                                                    ('categorical_processing', categorical_transformer,                                                       categorical_features)
                                                  
                                                  
pipeline = pipeline([
                     ('transform_column', col_transformer),
                     ('logistics', LogisticRegression())
                    ])          
                           
                                                  
pipeline.fit(X_train, y_train)
pipeline.score(X_test, y_test)     

方案2改进

from sklearn.compose import make_column_transformer
from sklearn.pipeline import make_pipeline

numeric_transformer = make_pipeline((SimpleImputer(strategy='mean')),
                                    (StandardScaler()))

categorical_transformer = make_pipeline(OneHotEncoder(handle_unknown='ignore'))

col_transformer = make_column_transformer((numeric_transformer, numeric_features),
                                           (categorical_transformer, categorical_features))

pipeline = make_pipeline(col_transformer,LogisticRegression())

pipeline.fit(X_train, y_train)
pipeline.score(X_test, y_test)           

通过查看以上代码片段,我们了解到如何在工作流程中采用pipeline,并得得到的更干净,维护良好的代码以及更少的代码行数:我们从大约30行代码减少到20行代码。

结论

在本文中,我尝试向您展示了pipeline的功能,特别是Scikit-learn库提供的pipeline的功能,一旦理解,后者将是非常通用且易于实现的。 我开始使用Scikit-learnpipeline作为数据科学的最佳实践,

精通使用pipeline和更好的ML工作流并不需要太多的练习,但是一旦掌握了它,肯定会让您的生活更轻松。 如果您已经了解它们并使用它们,那么我很高兴能刷新您的记忆和技能。 谢谢阅读

作者:Sivakar Siva

deephub翻译组

已标记关键词 清除标记
相关推荐
课程简介: 历经半个多月的时间,Debug亲自撸的 “企业员工角色权限管理平台” 终于完成了。正如字面意思,本课程讲解的是一个真正意义上的、企业级的项目实战,主要介绍了企业级应用系统中后端应用权限的管理,其中主要涵盖了六大核心业务模块、十几张数据库表。 其中的核心业务模块主要包括用户模块、部门模块、岗位模块、角色模块、菜单模块和系统日志模块;与此同时,Debug还亲自撸了额外的附属模块,包括字典管理模块、商品分类模块以及考勤管理模块等等,主要是为了更好地巩固相应的技术栈以及企业应用系统业务模块的开发流程! 核心技术栈列表: 值得介绍的是,本课程在技术栈层面涵盖了前端和后端的大部分常用技术,包括Spring Boot、Spring MVC、Mybatis、Mybatis-Plus、Shiro(身份认证与资源授权跟会话等等)、Spring AOP、防止XSS攻击、防止SQL注入攻击、过滤器Filter、验证码Kaptcha、热部署插件Devtools、POI、Vue、LayUI、ElementUI、JQuery、HTML、Bootstrap、Freemarker、一键打包部署运行工具Wagon等等,如下图所示: 课程内容与收益: 总的来说,本课程是一门具有很强实践性质的“项目实战”课程,即“企业应用员工角色权限管理平台”,主要介绍了当前企业级应用系统中员工、部门、岗位、角色、权限、菜单以及其他实体模块的管理;其中,还重点讲解了如何基于Shiro的资源授权实现员工-角色-操作权限、员工-角色-数据权限的管理;在课程的最后,还介绍了如何实现一键打包上传部署运行项目等等。如下图所示为本权限管理平台的数据库设计图: 以下为项目整体的运行效果截图: 值得一提的是,在本课程中,Debug也向各位小伙伴介绍了如何在企业级应用系统业务模块的开发中,前端到后端再到数据库,最后再到服务器的上线部署运行等流程,如下图所示:
©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页