Web Crawling - 웹 크롤링

웹 크롤러

Web Crawler

웹 페이지의 텍스트, 이미지 데이터 반복수집 및 분류저장 자동화.

대상 도메인에 대한 합리적인 속도와 정교한 리소스 요청으로 안티 크롤링 방지.

Web Driver

웹브라우져 시뮬레이터

사용자가 사이트에서 정보를 탐색하는 과정을, 프로그램적으로 재현.

웹 드라이버