olbiizl_.tistory.com

진짜 본격적으로 크롤링을 시작하도록 하겠습니다 ! 일단 앞에서 배운 내용을 바탕으로 크롤링을 위한 모듈을 import한 후 코드를 작성해주면 됩니다. 잊지 않으셨겠죠 ?? Python에서 HTTP 요청을 보내는 모듈인 requests 모듈과 파이썬으로 웹을 크롤링해서 파싱할 수 있게 만들어주는 오픈소스 라이브러리인 beautifulsoup 라이브러리를 사용하기 위해 코드의 맨 첫 줄에 import문을 작성합니다. import requests from bs4 import BeautifulSoup as bs 이 때 as bs 는 앞으로 BeautifulSoup를 사용할 때에 편의성을 위해 bs 를 사용하겠다는 뜻입니다. 저희가 크롤링할 페이지는 로그인이 꼭 필요한 페이지입니다. 따라서 로그인을 한 후에 나오..

본격적으로 저희 프로젝트의 결과물이 생성된 과정에 대하여 설명하는 글을 쓰려고 합니다. 저와 비슷한 프로젝트를 진행하는 분들은 제 게시물 잘 따라와보세요 ! 웹 크롤링(Web Crawling)이란 ? 컴퓨터 소프트웨어 기술로, 웹 사이트에서 원하는 정보를 추출하는 것 저희는 웹 크롤링이라는 방법으로 이캠퍼스 페이지에서 필요한 부분만 추출할 것입니다. 크롤링의 방법에는 여러가지가 존재하는데 그 중에서 HTML 페이지를 파싱하고, 필요한 데이터만 추출하는 기법 을 사용할게요. (파싱 : 어떤 페이지에서 원하는 데이터를 특정 패턴이나 순서로 추출해 가공하는 것) HTML 페이지를 파싱하는 방법으로 크롤링을 하기 위해서는 크롤링할 페이지의 html 파일이 있어야 합니다. 원하는 페이지에서 F12 버튼만 누른다면..

우리의 첫 번째 프로젝트 NEXT LEVEL 제 열정만땅 동기 햄 and 성규와 함께 방학에 첫 번째 프로젝트 넥스트 레블 (NEXT LEVEL)을 진행하게 되었숩니다 ㅎㅎ 저희의 프로젝트가 어떻게 진행되었고, 어떤 결과물을 완성했는지에 대해 글을 써보려고 해요 💙첫 프로젝트 게시물 START💙 일단 "NEXT LEVEL" 은 무엇인가???? 저희는 현재 풋풋한 21살 2학년이지만 비대면 수업으로 학교에 가지도 못하고 집순 집돌이가 되어버린 코로나 학번입니다. 저희 학교는 E-CAMPUS라는 프로그램을 통해 수업을 진행하고 있어요. 이렇게 이캠퍼스라는 페이지를 들어가면 제가 듣고 있는 강의들의 링크들이 쭉~ 뜨게 됩니다. 이때, 강의마다 강의와 과제를 마감기한 안에 듣고, 제출해야 합니다. 듣고 있는 강..