【Python】Seleniumでの待機処理（暗黙的な待機、明示的な待機）

WebDriverWaitとexpected_conditionsの組み合わせ

私はSeleniumで待機処理を行う場合は、基本的にWebDriverWaitとexpected_conditionsを組み合わせた方法を使用します。

WebDriverWaitでは、タイムアウトするまでの時間を指定します。
expected_conditionsでは、明示的な待機における「特定の条件」を定義します。

これらをプログラム内で使用するために、プログラムの先頭で次のようにインポートします。

expected_conditionsは簡潔に記載できるようにECとしています。

後ほど詳しく解説しますが、「特定の条件」のトリガーとなるDOM要素は(By.CSS_SELECTOR, '#username')のようにタプル（ロケータ）で指定します。

タプル（ロケータ）の第一要素は、By.CSS_SELECTORやBy.IDのようByオブジェクトを使って指定するため、from selenium.webdriver.common.by import Byもプログラム先頭でインポートしてください。

WebDriverWait().until()

WebDriverWait().until()を使って、指定した要素が表示されるまで待機する処理を以下に記します。タイムアウト時間は10秒とします。

このWebDriverWait().until()によって、WebElementオブジェクトが返されます。
このWebElementオブジェクトに対して、click()メソッドやsend_key()メソッドなどが使用できます。

WebDriverWaitは、デフォルトでは500ミリ秒ごとにexpected_conditionsの条件が満たされているかを確認します。
タイムアウト時間を過ぎても条件が満たされないとTimeoutExceptionの例外処理が発生します。

タイムアウト時間をまとめる

WebDriverWaitの待機処理によるタイムアウト時間をすべて統一するなら、以下のように記述しておくと、プログラムを書くのが楽になります。

このようにすることで、待機処理を記述する際は次のように簡潔に書くことができます。

expected_conditionsのメソッド

明示的な待機における「特定の条件」expected_conditions（EC）のメソッド一覧を以下に記します。

上記のメソッドでは単数のWebElementオブジェクトが返されます。
DOM上で指定したセレクタを含む複数の要素を取得したい場合は次のようなメソッドを使用します。

上記では複数のWebElementオブジェクトをリストで返します。

サンプルプログラム

明示的な待機を使用した本サイトを対象にしたブラウザ操作プログラムを下記に記します。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome(executable_path='chromedriver.exe')

url = "https://office54.net"
driver.get(url)

wait = WebDriverWait(driver, 10)

selector = 'header ul.category-name li.category-python a'
element = wait. until(EC.visibility_of_element_located((By.CSS_SELECTOR, selector)))

element.click()

time.sleep()

timeクラスのsleep()メソッドでは明示した秒数、待機処理をします。

この方法はあまり効率が良いとは言えません。
なぜなら、Webページをロードする時間はネットのスピードやサーバーの負荷状態など様々な要因で変化するからです。

しかしWebサーバーに負荷をかけすぎないように、あえてtime.sleep()を使用する場面はあるので、一概に使えないというわけではありません。