【Python】リストから重複した要素を削除する方法

Pythonのデータ型の一つ「リスト」から重複した要素を削除するには以下に示す方法があります。

• dict.fromkeys()
• set型へ変換
• set関数とsorted関数の組み合わせ
• OrderedDict
• Numpy
• Pandas

もちろん上記の方法を使わなくても、for文やif文を利用してリストから重複した要素を削除することはできます。以下に一例を記します。

>>> list1 = [5, 4, 4, 5, 54, 1]
>>> list2 = []
>>> for num in list1:
...     if num not in list2:
...         list2.append(num)
>>> list2
[5, 4, 54, 1]

上記コードでも問題なく重複した要素を削除できていますが、コードが長くなり簡潔ではありません。本記事で紹介している方法であれば、より短いコードで簡潔にプログラムを組むことができます。

ちなみに上記のコードをリスト内包表記で表すと次のようになります。

>>> list1 = [5, 4, 4, 5, 54, 1]
>>> list2 = []
>>> [list2.append(num) for num in list1 if not num in list2]
>>> list2
[5, 4, 54, 1]

リスト内包表記について詳しくは以下記事をご参照ください。

【Python】リスト内包表記とは：リストから新しいリストを生成する

簡単にリストから重複要素を削除する方法については次項より解説していきます。

dict.fromkeys()を使用したリストから重複要素を削除する流れは以下の通りです。

1. dict.fromkeys()で重複を省いた辞書に変換
2. list関数で辞書からリストへ変換

>>> list1 = [5, 4, 4, 5, 54, 1]
>>> dict1 = dict.fromkeys(list1)
>>> dict1
{5: None, 4: None, 54: None, 1: None}

>>> list2 = list(dict1)
>>> list2
[5, 4, 54, 1]

set型へ変換することによるリストから重複要素を削除する流れは以下の通りです。

1. set関数でリストからセットへ変換
2. list関数でセットからリストへ変換

１．set関数でリストからセットへ変換

set関数にリストを指定すると、重複要素を削除したsetのオブジェクトを取得できます。重複した要素が削除されるのは、setの特徴の一つ「ユニークな要素の集合」を利用しているからです。setについて詳しくは以下記事をご参照ください。

【Python】set型：ユニークな（重複しない）要素の集合

以下にset関数を使ったリストlist1から重複要素を削除したsetを取得する例を記します。

>>> list1 = [5, 4, 4, 5, 54, 1]
>>> set1 = set(list1)
>>> set1
{1, 4, 5, 54}

>>> list2 = list(set1)
>>> list2
[1, 4, 5, 54]

set関数とsorted関数を組み合わせることによってリストの重複要素を削除できます。組み込み関数のsorted関数は指定された要素をソートし、そのリストを返す関数です。

sorted関数にリストを渡したset関数を指定することで重複要素を削除したリストを取得できます。

>>> list1 = [5, 4, 4, 5, 54, 1]
>>> list2 = sorted(set(list1))
>>> list2
[1, 4, 5, 54]

単にsorted関数を実行するだけでは、上記のように元のリストの順序を保持しません。リストの順序を保持するために、引数keyにリストのメソッドindex()を指定します。これにより順序を保持して重複のないリストを得ることができます。

>>> list1 = [5, 4, 4, 5, 54, 1]
>>> list2 = sorted(set(list1), key=list1.index)
>>> list2
[5, 4, 54, 1]

使っているPythonのバージョンが3.7よりも以前の場合、dict.fromkeys()ではなくcollections.OrderedDictを使用してください。これは古いバージョンのPythonではdict.fromkeys()ではリストの順序を保てないためです。

OrderedDictを使用したリストから重複要素を削除する流れは以下の通りです。

1. OrderedDictで重複を省いた辞書に変換
2. list関数で辞書からリストへ変換

>>> from collections import OrderedDict
>>> list1 = [5, 4, 4, 5, 54, 1]
>>> dict1 = OrderedDict.fromkeys(list1)
>>> dict1
OrderedDict([(5, None), (4, None), (54, None), (1, None)])

>>> list2 = list(dict1)
>>> list2
[5, 4, 54, 1]

Numpyを使うことでリストの重複要素を削除することもできます。

NumpyはPythonで利用できる数値計算ライブラリです。ここではNumpyのunique()やtolist()を利用します。Numpyについて詳しくは以下記事をご参照ください。

【Python】NumPyとは？使い方や機械学習での利用について

Numpyは標準ライブラリではないため、事前にpipなどでインストールしておいてください。

>>> import numpy
>>> list1 = [5, 4, 4, 5, 54, 1]
>>> list2 = numpy.unique(list1).tolist()
>>> list2
[1, 4, 5, 54]

重要な点としてNumpyを利用した場合、元のリストの順序を保持していないことに注意してください。

Pythonのデータ分析ライブラリであるPandasを利用してリストの重複要素を削除することができます。

>>> import pandas
>>> list1 = [5, 4, 4, 5, 54, 1]
>>> list2 = pandas.unique(list1).tolist()
>>> list2
[5, 4, 54, 1]

重要な点としてPandasの場合、元のリストの順序を保ったまま重複要素を削除できます。

本記事「【Python】リストから重複した要素を削除する方法」はいかがでしたか。

ここで紹介したリストから重複した要素を削除する方法は以下の通りです。

本記事で紹介した方法をぜひ利用してみてください。