Slice过滤重复元素

[kevinyan815]

Slice去除重复元素

golang标准库本身没有提供一个去除slice中重复元素的函数，需要自己去实现。 代码示例

package main

import (
    "fmt"
)

func main() {
    s := []string{"hello", "world", "hello", "golang", "hello", "ruby", "php", "java"}

    fmt.Println(removeDuplicateElement(s)) //output: hello world golang ruby php java
}

func removeDuplicateElement(languages []string) []string {
    result := make([]string, 0, len(languages))
    temp := map[string]struct{}{}
    for _, item := range languages {
        if _, ok := temp[item]; !ok {
            temp[item] = struct{}{}
            result = append(result, item)
        }
    }
    return result
}

解释

• removeDuplicateElement函数总共初始化两个变量，一个长度为0的slice，一个空map。由于slice传参是按引用传递，没有创建占用额外的内存空间。
• map[string]struct{}{}创建了一个key类型为String值类型为空struct的map，等效于使用make(map[string]struct{})
• 空struct不占内存空间，使用它来实现我们的函数空间复杂度是最低的。

Playground URL Reference URL

适配多个切片类型

上面的去除重复元素的函数，只能处理字符串切片对于其他类型的切片就不行了。如果不想针对每种类型的切片都写一个去重函数的话可以使用Go的type-switch自己写一个可以处理多个切片类型的处理函数。下面是我写的一个实现：

package common

import (
    "fmt"
)

type sliceError struct {
    msg string
}

func (e *sliceError) Error() string {
    return e.msg
}

func Errorf(format string, args ...interface{}) error {
    msg := fmt.Sprintf(format, args...)
    return &sliceError{msg}
}

func removeDuplicateElement1(originals interface{}) (interface{}, error) {
    temp := map[string]struct{}{}
    switch slice := originals.(type) {
    case []string:
        result := make([]string, 0, len(originals.([]string)))
        for _, item := range slice {
            key := fmt.Sprint(item)
            if _, ok := temp[key]; !ok {
                temp[key] = struct{}{}
                result = append(result, item)
            }
        }
        return result, nil
    case []int64:
        result := make([]int64, 0, len(originals.([]int64)))
        for _, item := range slice {
            key := fmt.Sprint(item)
            if _, ok := temp[key]; !ok {
                temp[key] = struct{}{}
                result = append(result, item)
            }
        }
        return result, nil
    default:
        err := Errorf("Unknown type: %T", slice)
        return nil, err
    }
}

• 函数接收一个空接口类型的参数，然后使用类型选择进入相应的分支进行处理。这里可以根据需求实现函数需支持的切片类型的处理程序。

• 每个分支里同样创建了一个key类型为string值类型为空struct的map。key的值是切片元素的字符串表现形式(类型的String()方法的返回值)

• 函数返回值的类型是空接口，所以拿到返回值后要进行类型断言才能使用。

[yuemingming]

func distinct[T comparable](input []T) []T {
    set := make(map[T]struct{})
    res := make([]T, 0, len(set))
    for _, value := range input {
        if _, ok := set[value]; !ok {
            set[value] = struct{}{}
            res = append(res, value)
        }
    }
    return res
}

提供一个泛型实现