부동산 실거래가 자동 수집해서 내 집 마련하기! 아파트 실거래가 매크로

 

오늘은 제가 파이썬으로 자동화해서

어떻게 새로운 보금자리를 매수하게 되었는지 알려드리려고 합니다! 🏡

 

우선 작년에 영끌로 매수를 하는 바람에 집값이 다소 하락하긴 했지만.. 나름 데이터로 보수적으로 매수해서 다른 단지보다는 상황이 나쁘지 않습니다... (그럼에도 흐르는 눈물..🥲)

 

사실 처음부터 저도 처음부터 자동화로 데이터를 모아서 분석하고 찾을 생각은 아니였습니다. 그런데 여러 어플로 찾다보니 너무 불편한 부분이 있었습니다.

 

보통 매수를 하거나 전/월세를 찾을때 아래와 같이 조건을 정해놓고 찾으시는 경우가 많을겁니다.

 

[ 부동산 매수에 고려하는 조건(예시) ]

1. 서울지역
2. 아파트 20평형대
3. 준공년도가 90~93년도 (28~30년차 아파트)
4. 세대수 500세대 이상
5. 최근 전세가가 매매가의 50% 정도 수준
6. 올라온 매물의 가격이 6억 정도 수준

(엄청 불편한 검색 절차)

대표사진 삭제

고통의 매물찾기

그런데 이 조건대로 어플에서 매물을 찾는다고 하면 아주 복잡/번거로운 순서로 반복작업을 해줘야 합니다... 

  ✅ 챗GPT  머신러닝 자동화 무료 세미나 진행중 !   
https://event-us.kr/kihome/event

[ 어플에서 단지 탐색 과정]

1. 원하는 지역 검색
2. 조건 선택
3. (평형/준공년도/세대수 등등등..)
4. 화면에서 적합한 단지를 클릭
5. 실거래가 창을 열어서 전세가 등 확인
6. (→ 적합하지 않다면 다른 단지 클릭)
7. 매물이 있는지 확인
8. (→매물이 없다면 다른 단지 클릭)

 

이 작업을 반복하다 보니 서로 다른 단지들간의 차이를 비교하기도 어렵고 혼란스럽습니다...

 

도저히 이렇게 해서는 답이 안나오겠다 싶어서 혹시라도 부동산 실거래가 정보가 엑셀로 정리되어있는게 있나? 라는 생각을 하게 되었고 찾아보았습니다.

 

(내가 상상한 부동산 엑셀표)

(뭔가 이런 데이터가 있을거라 생각했음)

 

분명 이런 엑셀 시트가 어디엔가는 있을 것 같았는데, 어디에서도 찾을 수 없었습니다.. 

 심지어는 국토교통부에서 API조차도 실거래 가격만 알려주지, 공급면적/전용면적/용적률/세대수 등 실질적으로 필요한 정보는 없었습니다.

 

그래서 이대로 포기해야하나 싶다가 파이썬으로 서울의 모든 부동산 데이터를 취득해보자고 생각했습니다!! 💪

(화이팅!)

 

 

서울시 모든 부동산 데이터를 받아보자!

우선 서울시의 모든 부동산 데이터를 취득해야 하는데, 일부 사이트들은 반복된 동작을 할 경우 자동으로 차단하는 정책을 가지고 있었습니다. 그래서 자동화를 가동시켜도 차단당하지 않는 사이트를 찾아야 했습니다.

 

네이버와 KB부동산의 경우 가장 매물이 많이 올라와있고 신뢰도도 높지만 차단 정책을 가지고 있기 때문에 배제를 할 수 밖에 없었습니다.

 

그래서 찾은 것이 직방이었고, 이 사이트는 당시까지는 여러번의 검색을 해도 차단당하지 않았습니다.

  ✅ 챗GPT  머신러닝 자동화 무료 세미나 진행중 !   
https://event-us.kr/kihome/event

(이렇게 페이지의 정보를 취득할 수 있습니다)

(조금 기술적인 이야기 #1)

첫번째로 직방에서 서울의 모든 아파트 단지를 돌며 해당 페이지의 모든 데이터를 받는 방식(웹페이지에 requests를 던져서 취득)으로 데이터를 받았습니다.

이를 통해 각 단지별 기본 정보인 세대수/중앙난방/주차대수 등의 데이터를 받을 수 있었습니다.

 

 

(상세 정보들은 각각 별도로 크롤링)

(조금 기술적인 이야기 #2)

두번째로 해당 단지의 과거 거래가격 정보와 현재 올라와있는 매물의 정보 그리고 타입 별 평형, 구성요소(화장실 방 개수)를 selenium이라는 크롤링 툴로 다운받았습니다.

 

(그렇게 해서 서울시의 모든 정보가 엑셀로 취득되었습니다!)

 

그렇게 취득한 정보로 최종적으로는 아래와 같이 4개의 엑셀 데이터를 취득할 수 있었습니다! 👏🥳🎉

1. 서울시 아파트 단지별 기본 정보
2. 아파트 단지 평형대별 정보
3. 단지별 과거 거래 이력
4. 현재 매물 가격

 

  ✅ 챗GPT  머신러닝 자동화 무료 세미나 진행중 !   
https://event-us.kr/kihome/event

 

 

이제 이 데이터를 파이썬으로 정리해서 하나의 sheet로 만들었으며 제가 가진 예산에서 + 제가 원하는 조건의 단지를 찾을 수 있었습니다!

 

 

그러나... 이 데이터에서 부족한 부분이 있었습니다. 바로 현재 해당 단지의 매물의 가격이 없다는 것입니다.

그 이유는 부동산 매물의 대부분은 네이버에 업로드 되어있지 직방에는 많이 없기 때문입니다 

 

그래서 어쩔수 없이 다시 네이버로 넘어가게 되었으며, 직방에서의 데이터를 기반으로 네이버에서 검색하는 모듈을 붙히게 되었습니다.

 

이렇게해서 제가 고려할 수 있는 단지를 골라주고,

매물이 새로 올라온다면 알려주는 자동화 Tool을 만들수 있게 되었습니다!

 

[ 그렇게 얻게된 작고 귀여운(소중한) 보금자리 모습 ]

 

그러나 이후에 부동산을 매수하면서 알아보다보니, 매수할때 고려해야할 중요한 정보들이 아직은 데이터화 되지 않은게 많다는 것을 알게되었습니다. (서울시 도시개발 계획, 대출, 학구열 등등)

 

  ✅ 챗GPT  머신러닝 자동화 무료 세미나 진행중 !   
https://event-us.kr/kihome/event

 

그러나 매물을 직접 찾아주는 것 만으로도시간을 많이 줄여주고

다른 더 중요한 곳에 시간을 쓸 수 있었던 것 같습니다!

 

 

 

혹시라도 제가 작성한 코드가 궁금하시다면,

아래 링크를 참고해주세요!

(특별히 어려운 부분은 없겠지만 조금 복잡할 수 있습니다 ㅜㅜ)

  부동산 크롤링 코드 링크