웹 크롤링 프로그램 만들기 전에 알아 둘 것

크롤링 프로그램 가격

크몽의 비용 안내를 보면 무엇을 얼마나 모으느냐에 따라 값이 크게 갈립니다.

크몽 크롤링·스크래핑 개발 비용 안내(2025년 9월 게시) 기준.

가격을 올리는 건 대개 이런 것들입니다.

• 모을 사이트 수와 항목 수
• 얼마나 자주 도는지 — 한 번, 매일, 한 시간마다
• 로그인이 필요한지 — 고객 본인 계정으로 보는 거래처 사이트 같은 경우
• 화면을 자바스크립트로 그리는 사이트라 실제 브라우저를 띄워야 하는지
• 결과를 어디로 받는지 — 엑셀, 구글시트, 데이터베이스, 카카오톡·텔레그램 알림
• 컴퓨터를 꺼도 서버에서 알아서 돌아야 하는지

한 번 돌리고 끝나는 단순 수집이라면 재능 마켓의 싼 상품이 더 맞을 수 있습니다. 형인소프트는 매일 돌아야 하고 멈추면 안 되는 수집을 맡습니다. 기본형 100만 원부터, 서버에서 알아서 도는 무인 운영형 250만 원부터입니다.

크롤링이 불법이 되는 경우

크롤링 자체를 금지하는 법은 없습니다. 문제가 되는 건 어떻게 들어가서, 무엇을 모아, 어디에 쓰느냐입니다. 국내에서 자주 인용되는 판결 두 개를 보면 기준이 잡힙니다.

야놀자와 여기어때

여기어때 쪽이 야놀자 앱이 쓰는 서버 주소를 알아내 숙박업소 정보를 프로그램으로 대량 수집한 사건입니다. 형사 재판에서는 대법원이 무죄를 확정했습니다(2022년 5월, 2021도1533). 그 서버 주소는 누구나 간단히 알아낼 수 있었고 접근을 막는 조치가 없었다는 점, 가져간 정보가 이미 앱에서 누구나 볼 수 있는 정보였다는 점이 이유였습니다.

하지만 같은 일을 두고 민사 재판에서는 여기어때가 야놀자에 10억 원을 물어 주라는 판결이 나왔고, 항소심에서도 유지됐습니다. 남이 상당한 투자와 노력을 들여 만든 데이터를 무단으로 가져다 영업에 쓴 것을 문제로 본 것입니다. 처벌받지 않는 것과 책임이 없는 것은 다릅니다.

잡코리아와 사람인

사람인이 잡코리아에 올라온 채용 공고를 크롤링해 자기 사이트에 올린 사건입니다. 서울고등법원은 이를 데이터베이스 제작자의 권리 침해로 보고 손해배상을 명했습니다(2017년). 남의 데이터베이스를 통째로, 또는 상당 부분을 가져다 경쟁 서비스에 쓰면 문제가 된다는 대표적인 판결입니다.

함께 보는 법

• 저작권법 — 남이 만든 데이터베이스의 전부나 상당한 부분을 복제해 쓰는 경우
• 부정경쟁방지법 — 남이 상당한 투자나 노력으로 만든 성과를 무단으로 영업에 쓰는 경우
• 정보통신망법 — 접근 권한이 없거나 허용된 범위를 넘어 들어가는 경우
• 개인정보 보호법 — 이름·연락처 같은 개인정보를 동의 없이 모으는 경우
• 형법(업무방해) — 요청을 너무 많이 보내 상대 서버에 장애를 일으키는 경우

이 글은 판결과 법을 일반적으로 정리한 것이고 법률 자문이 아닙니다. 모은 데이터로 사업을 하시려면 변호사 확인을 권합니다.

형인소프트가 맡지 않는 수집

로그인이나 차단을 우회하는 수집, 개인정보 무단 수집, 사이트 약관을 어기는 수집, 상대 서버에 부담을 주는 대량 요청은 정중히 거절합니다. 공식 API가 있으면 그걸 먼저 씁니다.

만든 뒤가 더 중요합니다

크롤링 프로그램은 상대 사이트가 화면을 바꾸면 멈춥니다. 정말 곤란한 건 멈춘 줄 모르고 며칠 동안 빈 결과를 보는 경우입니다. 그래서 만들 때부터 이런 장치를 넣습니다.

• 결과가 비거나 평소와 크게 다르면 바로 알림
• 프로그램이 멈추면 스스로 다시 켜기
• 언제 무엇을 모았는지 기록 남기기

저희가 운영하는 실시간 데이터 수집은 80개가 넘는 데이터를 동시에 모으고, 10분 넘게 멈추면 스스로 알아챕니다. 수집 방식을 바꿔 전달 시간을 6초에서 1.4초로 줄이기도 했습니다. 맡겨 주시는 수집도 같은 방식으로 만듭니다. 납품 후 30일은 무상으로 고치고, 그 뒤에는 월 정액 운영(시스템 1개당 월 20만 원부터)을 맡기실 수 있습니다.

맡기기 전에 준비할 것

• 모을 사이트 주소
• 모을 항목 — 예: 상품명, 가격, 재고, 올라온 날짜
• 주기 — 한 번, 매일, 한 시간마다
• 받고 싶은 형태 — 엑셀, 구글시트, 카카오톡·텔레그램 알림
• 지금 손으로 만들고 있는 결과물이 있으면 그 파일

이 다섯 가지를 보내 주시면 가능 여부와 금액을 영업일 기준 24시간 안에 알려드립니다. 자세한 내용은 업무 자동화 페이지에 있습니다.

출처

• 리걸타임즈 — 여기어때 전 대표 무죄 확정(대법원 2021도1533) (새 창)
• 법률신문 — 대법원 2021도1533 판결(야놀자 v. 여기어때)의 검토 (새 창)
• 법무법인 민후 — 야놀자·여기어때 데이터베이스 크롤링 사건 항소심 (새 창)
• ZDNet Korea — 잡코리아, 사람인 저작권침해 2심서 승소(2017) (새 창)
• 크몽 — 크롤링·스크래핑 개발 비용 안내 (새 창)