크롤링 ip 차단 해제 or 우회

크롤링을 할 경우 ip 차단을 당하는 경우가 종종 있다

 

이것을 해결하기 위해 여러가지 방법을 찾고 있다.

0. 해당 업체에 IP 차단 해제를 해달라는 것이다.

 

1. 가장 심플한 방법은 delay를 길게 주는것이다.

하지만 그만큼 속도가 느리기 때문에 많은 양을 수집 할 때는 좋은 방법은 아니다.

 

2. header 값을 여러개 만들어두고 섞어서 만들어서 조금이나마 차단을 피해보는 방법인데 ip차단에 통하는지는 모르겠다.

-> 소용없다

 

3. 쿠키값을 이용하는것도 하나의 방법이 될수도 있다

-> 로그인 할땐 통하지만 큰 소용은 없다.

 

4. Tor를 사용하여 접근하는 방법인데 이는 delay를 주는것보다 속도가 느리다

 

5. vpn을 사용하여 접근하는 방법인데 vpn을 사용하면 일반 보다 속도는 체감상 2배 느려지지만 그래도 나름 괜찮은속도인것같다.

-> 소용없다, 차단이 느릴뿐 결국 차단된다.

 

6. 임시적인 방법이지만 Free Proxy 사이트

https://sslproxies.org/

SSL Proxy List | HTTPS Proxy List - Free Proxy List

해당 정보를 가져와 입력하는 방법도 존재. (현재 발견한것 중 무료로써 가장 Best)

 

7. VPN 사이트를 이용한다.

국내외 여러가지 VPN 사이트를 이용하여 프록시를 이용하면 된다.