Поиск элементов

Selenium управляет настоящим браузером из кода: открывает страницы, нажимает кнопки, заполняет формы и читает результат. Так автоматизируют рутину и тестируют сайты. В отличие от requests и BeautifulSoup, Selenium видит страницу так же, как человек, — вместе со всем, что нарисовал JavaScript.

В курсе вы соберёте автозаполнение формы: найти поля, ввести данные, дождаться ответа сайта и проверить результат.

Подготовка

Нужен установленный Google Chrome. Драйвер для управления им Selenium скачает сам при первом запуске (это может занять минуту).

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()            # откроется окно Chrome
try:
    driver.get("https://example.com")
    print(driver.title)
    print(driver.find_element(By.TAG_NAME, "h1").text)
finally:
    driver.quit()                      # закрыть браузер в любом случае

Без окна (быстрее, удобно на сервере): options = webdriver.ChromeOptions(); options.add_argument("--headless=new"); webdriver.Chrome(options=options).

Поиск элементов

driver.find_element(By.ID, "login")                 # первый элемент или исключение NoSuchElementException
driver.find_elements(By.CSS_SELECTOR, "article h2") # список, может быть пустым
driver.find_element(By.NAME, "email")
driver.find_element(By.XPATH, "//button[text()='Войти']")

Способы поиска (By): ID, NAME, CLASS_NAME, TAG_NAME, CSS_SELECTOR, XPATH, LINK_TEXT. Чаще всего хватает CSS-селекторов — тех же, что в CSS и BeautifulSoup:

Селектор	Что найдёт
#main	элемент с id="main"
.title	элементы с классом title
article h2	h2 где-то внутри article
nav > a	a прямо внутри nav
input[name=email]	input с атрибутом name="email"

Искать можно и внутри найденного элемента: row.find_elements(By.TAG_NAME, "td").

Что можно узнать об элементе

• .text — видимый текст;
• .get_attribute("href") — значение атрибута (у ссылок — полный адрес);
• .is_displayed(), .is_enabled(), .is_selected() — виден ли, активен ли, отмечен ли;
• .tag_name.

Как проверяются задачи

Проверка запускает Chrome без окна и открывает маленькую страницу прямо из программы (адрес data:text/html,… — без интернета). «Запустить у себя» открывает видимое окно браузера, чтобы вы видели, как программа работает.

Итог

• webdriver.Chrome(), get, quit в finally;
• find_element (один, или исключение) и find_elements (список);
• By.CSS_SELECTOR и другие способы поиска; поиск внутри элемента;
• .text, .get_attribute(...).