• Scikit-Learn Transformer 示例
    • Label Encoder
    • Scikit-Learn 中的 OneHotEncoder
    • MLeap 的 OneHotEncoder

    Scikit-Learn Transformer 示例

    接下来我们列出了一些更为复杂的 Transformer，以及一些需要额外处理来更好兼容 Pipeline 和特征联合的 Transformer。

    Label Encoder

    在 Spark 中，LabelEncoder 和 StringIndexer 是等价的，但是在 Scikit-Learn 中，我们需要去考虑一些独有的特性：

    1. LabelEncoder 一次只能作用于单个特征
    2. LabelEncoder 的输出是一个 (1, n)，而非 (n, 1) 的 numpy 数组，因此还需要进行例如 One-Hot-Encoding 之类的进一步处理。

    下面是一个 LabelEncoder 的示例 Pipeline。

    1. # Create a dataframe with some a categorical and a continuous feature
    2. df = pd.DataFrame(np.array([ ['Alice', 32], ['Jack', 18], ['Bob',34]]), columns=['name', 'age'])
    4. # Define our feature extractor
    5. feature_extractor_tf = FeatureExtractor(input_scalars=['name'], 
    6.                                         output_vector='name_continuous_feature', 
    7.                                         output_vector_items=['name_label_encoded'])
    9. # Label Encoder for x1 Label 
    10. label_encoder_tf = LabelEncoder()
    11. label_encoder_tf.mlinit(input_features = feature_extractor_tf.output_vector_items, output_features='name_label_le')
    13. # Reshape the output of the LabelEncoder to N-by-1 array
    14. reshape_le_tf = ReshapeArrayToN1()
    16. # Create our pipeline object and initialize MLeap Serialization
    17. le_pipeline = Pipeline([(feature_extractor_tf.name, feature_extractor_tf),
    18.                         (label_encoder_tf.name, label_encoder_tf),
    19.                         (reshape_le_tf.name, reshape_le_tf)
    20.                         ])
    21. le_pipeline.mlinit()
    23. # Transform our DataFrame
    24. le_pipeline.fit_transform(df)
    26. # output
    27. array([[0],
    28.        [2],
    29.        [1]])

    接下来我们来结合 LabelIndexer 和 OneHotEncoder。

    Scikit-Learn 中的 OneHotEncoder

    我们继续来看 Scikit-Learn 自带的 OneHotEncoder 是如何运作的：

    1. ## Vector Assembler for x1 One Hot Encoder
    2. one_hot_encoder_tf = OneHotEncoder(sparse=False) # Make sure to set sparse=False
    3. one_hot_encoder_tf.mlinit(prior_tf=label_encoder_tf, output_features = '{}_one_hot_encoded'.format(label_encoder_tf.output_features))
    4. #
    6. # Construct our pipeline
    7. one_hot_encoder_pipeline_x0 = Pipeline([
    8.                                          (feature_extractor_tf.name, feature_extractor_tf),
    9.                                          (label_encoder_tf.name, label_encoder_tf),
    10.                                          (reshape_le_tf.name, reshape_le_tf),
    11.                                          (one_hot_encoder_tf.name, one_hot_encoder_tf)
    12.                                         ])
    14. one_hot_encoder_pipeline_x0.mlinit()
    16. # Execute our LabelEncoder + OneHotEncoder pipeline on our dataframe
    17. one_hot_encoder_pipeline_x0.fit_transform(df)
    18. matrix([[ 1.,  0.,  0.],
    19.         [ 0.,  0.,  1.],
    20.         [ 0.,  1.,  0.]])

    Scikit-Learn 中的 OneHotEncoder 的一个缺点是其缺失了 ML Pipeline 所要求的 drop_last 功能。

    MLeap 带来的 OneHotEncoder 则提供了这个功能。

    MLeap 的 OneHotEncoder

    类似于 Scikit-Learn 的 OneHotEncoder，但是我们设置了一个额外的 drop_last 属性。

    1. from mleap.sklearn.extensions.data import OneHotEncoder
    3. ## Vector Assembler for x1 One Hot Encoder
    4. one_hot_encoder_tf = OneHotEncoder(sparse=False, drop_last=True) # Make sure to set sparse=False
    5. one_hot_encoder_tf.mlinit(prior_tf=label_encoder_tf, output_features = '{}_one_hot_encoded'.format(label_encoder_tf.output_features))
    6. #
    8. # Construct our pipeline
    9. one_hot_encoder_pipeline_x0 = Pipeline([
    10.                                          (feature_extractor_tf.name, feature_extractor_tf),
    11.                                          (label_encoder_tf.name, label_encoder_tf),
    12.                                          (reshape_le_tf.name, reshape_le_tf),
    13.                                          (one_hot_encoder_tf.name, one_hot_encoder_tf)
    14.                                         ])
    16. one_hot_encoder_pipeline_x0.mlinit()
    18. # Execute our LabelEncoder + OneHotEncoder pipeline on our dataframe
    19. one_hot_encoder_pipeline_x0.fit_transform(df)
    20. matrix([[ 1.,  0.],
    21.         [ 0.,  0.],
    22.         [ 0.,  1.]])