Python 웹 스크래핑 자동화 — BeautifulSoup과 Selenium 실무 가이드
requests로 긁었는데 빈 리스트가 돌아왔다. 알고 보니 JavaScript 렌더링 페이지였다. BeautifulSoup과 Selenium을 실무에서 어떻게 나눠 쓰는지, 삽질 과정과 함께 정리했다.
requests로 긁었는데 빈 리스트가 돌아왔다. 알고 보니 JavaScript 렌더링 페이지였다. BeautifulSoup과 Selenium을 실무에서 어떻게 나눠 쓰는지, 삽질 과정과 함께 정리했다.
requests 순차 호출로 8초 걸리던 API 집계를 asyncio.gather와 aiohttp로 1.6초까지 줄인 과정이다. event loop 충돌, 세션 관리, 동시성 제어까지 프론트 출신 백엔드 개발자 시점에서 풀어냈다.
인덱스 걸면 빨라진다고들 하는데, 실제로는 그렇지 않은 경우가 많다. EXPLAIN ANALYZE 해석부터 복합 인덱스 컬럼 순서, partial index까지 PostgreSQL 인덱스 최적화 실무에서 겪은 시행착오를 정리했다.