spark 中当列的类型为 Array 或者 Map 的时候，如何判断两列是否相等

[linuxchild]

Schema 如下：

 |-- list: array (nullable = true)
 |    |-- element: map (containsNull = true)
 |    |    |-- key: string
 |    |    |-- value: array (valueContainsNull = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- Date: integer (nullable = true)
 |    |    |    |    |-- Name: string (nullable = true)
 |-- list2: array (nullable = true)
 |    |-- element: map (containsNull = true)
 |    |    |-- key: string
 |    |    |-- value: array (valueContainsNull = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- Date: integer (nullable = true)
 |    |    |    |    |-- Name: string (nullable = true)

想过滤出来 list 和 list2 相等的数据，该如何判断？

使用filter($"list" === $"list2")判断会提示错误：

org.apache.spark.sql.AnalysisException: cannot resolve '(`list` = `list2`)' due to data type mismatch: Cannot use map type in EqualTo, but the actual input type is array<map<string,array<str
uct<Date:int,Name:string>>>>.;;

以上，感谢～

[linuxchild]

木有人搞么

[MasterC]

自己写 function 进行遍历比较

[czheo]

udf

[linuxchild]

@MasterC 嗯，刚刚搞出来了，貌似只能自己写 UDF 了


@czheo 嗯，的确只能这样，感谢