[python] 순서를 유지하면서 목록에서 중복 항목을 어떻게 제거합니까?

2016 년 편집

Raymond가 지적했듯이OrderedDict C로 구현 된 python 3.5 이상에서는 목록 이해 접근 방식이 느립니다 OrderedDict(실제로 목록이 필요하지 않은 한 입력이 매우 짧은 경우에만). 따라서 3.5+에 가장 적합한 솔루션은 OrderedDict입니다.

중요 편집 2015

@abarnert가 지적 했듯이 more_itertools라이브러리 ( pip install more_itertools)에는 목록 이해에서 읽을 수없는 ( ) 돌연변이unique_everseen 없이이 문제를 해결하기 위해 작성된 함수가 포함되어 있습니다 . 이것은 또한 가장 빠른 솔루션입니다.not seen.add

>>> from  more_itertools import unique_everseen
>>> items = [1, 2, 0, 1, 3, 2]
>>> list(unique_everseen(items))
[1, 2, 0, 3]

단 하나의 간단한 라이브러리 가져 오기 및 해킹 없음. 이것은 itertools 레시피의 구현에서 비롯됩니다 unique_everseen.

def unique_everseen(iterable, key=None):
    "List unique elements, preserving order. Remember all elements ever seen."
    # unique_everseen('AAAABBBCCDAABBB') --> A B C D
    # unique_everseen('ABBCcAD', str.lower) --> A B C D
    seen = set()
    seen_add = seen.add
    if key is None:
        for element in filterfalse(seen.__contains__, iterable):
            seen_add(element)
            yield element
    else:
        for element in iterable:
            k = key(element)
            if k not in seen:
                seen_add(k)
                yield element

파이썬 2.7+에서 허용되는 일반적인 관용구 (작동하지만 속도에 최적화되지 않았으므로 이제는 unique_everseen)를 사용합니다 collections.OrderedDict.

런타임 : O (N)

>>> from collections import OrderedDict
>>> items = [1, 2, 0, 1, 3, 2]
>>> list(OrderedDict.fromkeys(items))
[1, 2, 0, 3]

이것은 다음보다 훨씬 멋지게 보입니다.

seen = set()
[x for x in seq if x not in seen and not seen.add(x)]

못생긴 해킹을 사용하지 않습니다 .

not seen.add(x)

이는 set.add항상 반환되는 인플레 이스 (in-place) 메소드라는 사실에 의존 None하므로 not None평가됩니다 True.

그러나 해킹 솔루션은 동일한 런타임 복잡도 O (N)를 갖지만 원시 속도가 더 빠릅니다.

답변

>>> from collections import OrderedDict
>>> list(OrderedDict.fromkeys('abracadabra'))
['a', 'b', 'r', 'c', 'd']

>>> list(dict.fromkeys('abracadabra'))
['a', 'b', 'r', 'c', 'd']

>>> list(dict.fromkeys('abracadabra'))
['a', 'b', 'r', 'c', 'd']

sequence = ['1', '2', '3', '3', '6', '4', '5', '6']
unique = []
[unique.append(item) for item in sequence if item not in unique]

import pandas as pd

my_list = [0, 1, 2, 3, 4, 1, 2, 3, 5]

>>> pd.Series(my_list).drop_duplicates().tolist()
# Output:
# [0, 1, 2, 3, 4, 5]

from itertools import groupby
[ key for key,_ in groupby(sortedList)]

list1 = ['b','c','d','b','c','a','a']
list2 = list(set(list1))
list2.sort(key=list1.index)
print list2

list1 = ['b','c','d','b','c','a','a']
list2 = sorted(set(list1),key=list1.index)
print list2 

list1 = ['b','c','d','b','c','a','a']
list2 = []
for i in list1:
    if not i in list2:
        list2.append(i)`
print list2

list1 = ['b','c','d','b','c','a','a']
list2 = []
[list2.append(i) for i in list1 if not i in list2]
print list2