### 实现方案 为了实现从 DataFrame 中根据 A 列的特定值提取 B 列中两个百分号之间的子字符串，可以采用 PySpark UDF 或者使用内置函数组合的方式。下面展示如何通过这两种方法来完成此操作。 #### 方法一：利用UDF处理数据 当面对较为复杂的逻辑时，创建一个用户定义函数 (User Defined Function, UDF)，能够更灵活地满足需求。这里先构建一个 Python 函数用于查找并截取所需部分，再将其注册成 UDF 应用到整个 DataFrame 上： ```python from pyspark.sql.functions import col, udf from pyspark.sql.types import StringType def extract_substring(s): if 'L' in s or 'P' in s or 'O' in s: parts = s.split('%') if len(parts) >= 4: # 至少有三个%才能获取第二和第三个间的子串 return '%'.join(parts[2:-1]) return None extract_udf = udf(extract_substring, StringType()) data = [('LOP%', 'abc%def%ghi'), ('ABC', 'jkl%mno%pqr')] columns = ['A', 'B'] df = spark.createDataFrame(data, columns) result_df = df.withColumn('C', extract_udf(col('B'))).filter((col('A').contains('L')) | (col('A').contains('P')) | (col('A').contains('O'))) result_df.show() ``` 上述代码实现了对符合条件记录的操作，并将结果存储在一个新的列 C 中[^1]。 #### 方法二：不使用UDF而依赖于表达式解析 如果不想引入额外开销，则可以直接运用正则表达式的强大功能，在不需要编写自定义函数的情况下解决问题。这种方法通常会更加高效： ```python import re from pyspark.sql.functions import regexp_extract, col pattern = r"(?<=%).*?(?=%%)" # 匹配任意数量字符直到遇到第二个% filtered_df = df.filter((col('A').like('%L%')) | (col('A').like('%P%')) | (col('A').like('%O%'))) \ .withColumn('D', regexp_extract('B', pattern, 0)) filtered_df.show() ``` 这段脚本同样完成了相同的功能——筛选出 A 列含有指定字母的数据项，并从中抽取位于连续两次出现 `%` 符号间的内容作为新字段 D 加入原表格[^2]。