웹개발 종합반 3주차

파이썬을 이용한 데이터 크롤링에 대해 알아보았다.

데이터 크롤링.. 말만 들었는데 이러한 느낌이었구나.

 

숙제 코드를 한번 살펴보자.

 

import requests

from bs4 import BeautifulSoup

URL = "https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20230101"

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

data = requests.get(URL, headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

song_list = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in song_list:

    title = tr.select_one('.title.ellipsis').text.strip()

    artist = tr.select_one('.artist.ellipsis').text.strip()

    rate = tr.select_one('.number').text[0:2].strip()

    print(rate,title,artist)

 

여기에 배운것의 대부분이 들어있다고 보면 되겠다.

다양한 라이브러리를 인스톨하고..

마지막으로 웹 사이트에서 데이터를 뽑아오는 연습을 할 수 있었다.

 

지니뮤직.. 순위표... 

 

soup문법이야 복사해서 쓰면 된다하고..

나머지 변수 지정이나 리스트 작성, 데이터를 보기좋게 만드는 것이 역량이 될 것 같다.

 

아무튼 열심히 합시다.