빈티드 스크레이퍼

이것은 Vinted & Depop에서 이미지를 다운로드하고 데이터를 스크래핑하여 SQLite 데이터베이스에 저장하는 도구입니다.

-- 현재 버전 2.0 (WIP) 작업 중 --

사용 방법

1. 이 저장소를 다운로드/복제하세요
2. pip install -r requirements.txt 사용하여 종속성을 다운로드합니다.
3. python scraper.py 스크립트를 실행하세요

빈티드

계정의 사용자 ID를 users.txt에 입력하고 스크립트를 실행하세요. 스크립트는 모든 이미지를 다운로드하여 다운로드 폴더에 저장합니다. 데이터는 SQLite 데이터베이스에 저장됩니다.

디팝

users.txt 파일에 계정 사용자 이름을 입력하고 -d 사용하여 스크립트를 실행하세요. 스크립트는 모든 이미지와 비디오를 다운로드하여 다운로드 폴더에 저장합니다. 데이터는 SQLite 데이터베이스에 저장됩니다.

인수

-p [Vinted] 개인 메시지에서 모든 이미지를 스크래핑합니다. (로그인하려면 -s 필요하고 사용자 ID를 설정하려면 -u 필요합니다)
-s "your_vinted_fr_session" [Vinted]을 사용하여 계정에 로그인합니다. 세션 ID를 얻는 방법은 무엇입니까?
-u [Vinted] 사용자 ID를 설정합니다
-i [Vinted] 다운로드할 최대 이미지 수를 정의합니다. 최소 이미지는 1개입니다. (예: -i 1 제품의 첫 번째 이미지만 다운로드합니다.)
-n [Depop] 파일 다운로드 비활성화(제품 정보만 스크래핑)
-g [Depop] 판매된 상품도 다운로드합니다
-b [Depop] 특정 항목부터 시작합니다. (예: python3 scraper.py -d -n -b "coose-navy-lee-sweatshirt-amazing-lee" )

예:

Vinted 계정의 개인 메시지에서 모든 이미지를 다운로드하세요
python scraper.py -p -u 123456789 -s "RS9KcmE1THMxV3NlclRsbEVRdU52ZVp4UG.......ASFe26"

스크래핑될 데이터

사용자의 모든 제품 이미지가 다운로드됩니다. 사용자의 아바타도 다운로드됩니다.

모든 정보는 다음 표의 sqlite db에 저장됩니다.

Vinted 사용자

Username
User_id
Gender
Given_item_count
Taken_item_count
Followers_count
Following_count
Positive_feedback_count
Negative_feedback_count
Feedback_reputation
Avatar
Created_at
Last_loged_on_ts
City_id
City
Country_title
Verification_email
Verification_facebook
Verification_google
Verification_phone

빈티드 제품

ID
User_id
Url Favourite Gender
Category
Size
State
Brand
Colors
Price
Images
Description
Title
Platform

디팝 사용자

Username
User_id
Bio
first_name
followers
following
initials
items_sold
last_name
last_seen
Avatar
reviews_rating
reviews_total
verified
website

디팝 제품

ID
Sold
User_id
Gender
Category
Size
State
Brand
Colors
Price
Image
Description
Title
Platform
Address
discountedPriceAmount
dateUpdated

기능 요청 사항이 있으면 언제든지 이슈를 열어주세요 :)

부인 성명

이 스크립트는 교육 목적으로만 설계되었습니다. 웹 스크래핑 기술을 보여주기 위한 것이며 상업적 또는 개인적 이익을 위해 사용해서는 안 됩니다. 이 소프트웨어를 사용하는 것은 Vinted 및 Depop 웹사이트의 서비스 약관을 위반할 수 있으며, 사용으로 인해 발생할 수 있는 모든 결과에 대한 책임은 사용자에게 있습니다. 이 스크립트 작성자는 소프트웨어 사용 중 발생하는 어떠한 손해, 부상 또는 손실에 대해서도 책임을 지지 않습니다. 사용에 따른 모든 책임은 사용자에게 있습니다.