그냥 아이피 바꾸니 다시 돌아가네요
==========

딜레이를 좀 주세요 VPN써도 아이피가 안바뀌면 차단 가능하죠

리퀘스트 겟으로 접속하는데, 접속을 여러번 인터벌을 길게해서 자주 접속시키면 될까요? 너무 자주 접속하면 또 의심받을텐데…

내 아이피가 블락된 것인지 아닌지는 휴대폰에서 와이파이 꺼놓고 접속해 보면 쉽게 확인할 수 있겠죠.

내 아이피가 블락된 것이면 (확률은 낮아보이지만), 휴대폰을 경유해서 인터넷 하면 되겠죠.

그것도 블락되면, 차 타고 다니면서, 중계기를 넘어다니면서 휴대폰 접속을 변경 시키면 되구요.

딜레이도 고정값이 아닌 랜덤으로 하면 스크립트인지 사람인지 확인할 방법은 없죠.

어떤 데이터를 스크래핑 하시는지 궁금하네요.

웹 브라우저상으로는 모든게 다 정상으로 접속이 되요. 파이쏜 코드에서만 접속이 안되네요.
아마존 싸이트같은거 데이타 긁어와서 분석하는 일을 좀 하고 있어요.

파이썬 말고 cscript 로 실행시키는 vb script 로 접속해 보세요.
그리고, 리퀘스트로 하지 말고, document 를 접속하세요.
document 로 접속은 서버에서 알 수 없습니다.

저도 정확히 기억은 안나는데 아마 셀레늄으로 크롬드라이버 설치해서 긁어오실거같은데 (아니면 죄송합니다) 그 크롬드라이버 관련해서 문제가 있는 바람에 다시 깔고 나니까 403에러가 없어졌습니다. 소켓도 설정해주고 time.pause 로 10초이상 쉬어주고 했는데도 계속 떠가지고 결국에 크롬 드라이버 다시 깔고 베이직한거 부터 되는지 확인하고 나니 되더군요. 한번 확인해보세요

굳이 파이썬 쓰신다면, URL 제거하고, 소스 올려 보세요.

샤워하고 나서 안졸리면 한번 봐드릴께요.

님아, respond header에 혹시 쿠키 낑겨보내고 있었는지 확인해보세오. 그리고 request header에 user-agent도 크롬등으로 바꾸고요.

원글을 지운거 보니 떳떳한 스크래핑은 아니였나 보네요 ㅎㅎㅎ

네 저는 셀레늄에 크롬 드라이버 올려서 썻는데 git 버전 예전걸로 돌리면서 크롬드라이버 자체를 좀 다시 깔았던걸로 기억합니다.
예전 버전으로 돌아가면서 다른 코드들 일부도 돌아갔긴 했겠지만 제 생각에 크롬드라이버 영향이었던걸로 기억합니다
다른 사이트는 잘 크롤링하는지 확인해보시는걸 추천해드려요