Python Request 로 부동산 실거래가 페이지에서 정보를 크롤링하기!

request 크롤링에 앞서 내가 정보를 얻고 싶은 사이트로 접속합니다.

 

저는 예시로 직방에 아래 사이트로 접속했습니다!

https://www.zigbang.com/home/apt/danjis/12313

서울숲1차푸르지오

 

우선 직방에서 정보를 취득한다고 가정해보겠습니다!

 

 

해당 사이트에서 F12를 누릅니다.

F12를 누르면 우측에 개발자 모드가 펼쳐집니다!

 

F12를 누르시면 나오는 창(개발자모드)에서 Network라고 있는 탭을 선택해줍니다.

Network 탭을 눌러서 화면전환을 시켜줌

 

다음으로 정보를 얻을 단지를 클릭해줍니다.

우리가 정보를 취득할 단지를 선택함

 

다음에 왼쪽에 리스트에서 한개씩 눌러가며, 우측에 Preview에서 정보가 업데이트 되는지 확인합니다.

 

여기에서 내가 원하는 정보를 찾았다면 성공입니다!

 

저는 해당 단지에 관련된 여러 정보들을 얻고 싶었습니다!

 

업데이트된 화면에서 리스트에 값들을 선택하며 정보가 맞는지 확인

 

다음으로 Headers를 눌러서 Request URL을 눌러서 주소를 복사해줍니다.

맞다면 Request URL 주소를 복사!

 

자 이제 페이지에서 우리가 크롤링할 정보를 찾고, 그것을 불러올 URL정보를 얻었습니다.

 

이제 Python으로 돌아가서 아래와 같이 코드를 작성해줍니다.

 

여기서 우리가 위에서 얻은 Request URL을 입력해주면됩니다.

import requests, json
req = requests.get(f"https://apis.zigbang.com/apt/danjis/12313")
if 'NotFoundError' not in str(req.text):
    data1 = json.loads(req.text)
data1

 

그러면 아래와 같이 해당 주소의 Preview에서 확인한 정보를 정상적으로 출력하는 것을 확인할 수 있습니다.

최종적으로 데이터가 잘 불러와졌음을 확인!