copy selector1 프로젝트(3)_파이썬 웹 크롤링(Session,select,text) 진짜 본격적으로 크롤링을 시작하도록 하겠습니다 ! 일단 앞에서 배운 내용을 바탕으로 크롤링을 위한 모듈을 import한 후 코드를 작성해주면 됩니다. 잊지 않으셨겠죠 ?? Python에서 HTTP 요청을 보내는 모듈인 requests 모듈과 파이썬으로 웹을 크롤링해서 파싱할 수 있게 만들어주는 오픈소스 라이브러리인 beautifulsoup 라이브러리를 사용하기 위해 코드의 맨 첫 줄에 import문을 작성합니다. import requests from bs4 import BeautifulSoup as bs 이 때 as bs 는 앞으로 BeautifulSoup를 사용할 때에 편의성을 위해 bs 를 사용하겠다는 뜻입니다. 저희가 크롤링할 페이지는 로그인이 꼭 필요한 페이지입니다. 따라서 로그인을 한 후에 나오.. 2021. 11. 18. 이전 1 다음 반응형
