Selenium crashing on headless mode 해결하기

소개

Selenium을 사용하여 웹 자동화를 하다 보면, 때때로 'headless mode'에서 크래시가 발생하는 경우를 경험할 수 있습니다. 헤드리스 모드는 브라우저가 사용자 인터페이스 없이 실행되기 때문에, 성능 테스트와 자동화에 유용하지만, 안정을 해치는 원인이 될 수 있습니다. 이 블로그 글에서는 Selenium이 헤드리스 모드에서 충돌하는 원인과 그에 대한 해결 방법을 알아보겠습니다.

에러 발생 예시 코드

먼저, Selenium에서 헤드리스 모드를 사용하던 중 크래시가 발생할 수 있는 예시 코드를 살펴보겠습니다.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 크롬 드라이버를 위한 옵션 설정
options = Options()
options.headless = True  # 헤드리스 모드 활성화

# 웹 드라이버 생성
driver = webdriver.Chrome(options=options)

# 웹 페이지 열기
driver.get('http://www.example.com')

# 페이지 제목 출력
print(driver.title)

# 드라이버 종료
driver.quit()

에러 해결 방법

1. 디스플레이 또는 GPU 설정 확인하기

헤드리스 모드에서 브라우저가 디스플레이 환경에 의존할 때 크래시가 발생할 수 있습니다. 이 경우, '--no-sandbox' 및 'disable-dev-shm-usage'와 같은 옵션을 추가해보세요.

options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

2. ChromeDriver와 Chrome 버전 확인

Selenium 본체는 버전에 관계 없이 잘 작동하지만, ChromeDriver와 Chrome 브라우저의 버전이 일치하지 않으면 문제가 발생할 수 있습니다. 따라서 ChromeDriver의 버전을 업그레이드하고, Chrome 버전과 잘 호환되는지를 확인하세요.

3. 헤드리스 모드의 대안 사용

헤드리스 모드에서 발생하는 문제를 우회하는 방법으로, 실제로 브라우저를 시각적으로 띄워서 테스트할 수도 있습니다. 아래 코드는 헤드리스 모드 대신 일반 모드로 실행하는 방법입니다.

options.headless = False  # 일반 모드로 설정

마무리

이번 블로그 글에서는 Selenium의 헤드리스 모드에서 발생하는 크래시 에러에 대한 해결 방법을 다루어보았습니다. 'no-sandbox' 및 'disable-dev-shm-usage'와 같은 옵션을 추가하거나, ChromeDriver와 Chrome 버전이 일치하는지 확인하는 것이 중요합니다. 때때로, 헤드리스 모드의 사용을 피하고 일반 모드로 전환하는 것도 해결책이 될 수 있습니다. 항상 안정성을 고려하며 자동화 작업을 수행하세요!