ヴィンテッド・スクレーパー

これは、Vinted と Depop から画像をダウンロードし、データをスクレイピングして、SQLite データベースに保存するツールです。

--現在バージョン 2.0に取り組んでいます(WIP) --

使い方

1. このリポジトリをダウンロード/クローンする
2. pip install -r requirements.txtを使用して依存関係をダウンロードします。
3. スクリプトpython scraper.pyを実行する

ヴィンテージ

アカウントのユーザーIDをusers.txtに入力し、スクリプトを実行してください。スクリプトはすべての画像をダウンロードし、ダウンロードフォルダに保存します。データはSQLiteデータベースに保存されます。

デポップ

アカウントのユーザー名をusers.txtに入力し、スクリプトを-d付きで実行します。スクリプトはすべての画像と動画をダウンロードし、ダウンロードフォルダに保存します。データはSQLiteデータベースに保存されます。

議論

-p [Vinted] プライベートメッセージからすべての画像を取得します。(ログインするには-s 、ユーザーIDを設定するには-u必要です)
-s "your_vinted_fr_session" [Vinted] でアカウントにログインします。セッションIDを取得するにはどうすればいいですか?
-u [Vinted] ユーザーIDを設定する
-i [Vinted] ダウンロードする画像の最大数を指定します。最小値は1枚です。(例: -i 1製品の最初の画像のみをダウンロードします)
-n [Depop] ファイルのダウンロードを無効にする（製品情報のみをスクレイピングする）
-g [Depop] 販売済みのアイテムもダウンロード
-b [Depop] 特定のアイテムから開始します。(例: python3 scraper.py -d -n -b "coose-navy-lee-sweatshirt-amazing-lee" )

例：

Vintedアカウントのプライベートメッセージからすべての画像をダウンロードする
python scraper.py -p -u 123456789 -s "RS9KcmE1THMxV3NlclRsbEVRdU52ZVp4UG.......ASFe26"

スクレイピングされるデータ

ユーザーの商品の画像がすべてダウンロードされます。また、ユーザーのアバターもダウンロードされます。

すべての情報は、次のテーブルの sqlite データベースに保存されます。

Vintedユーザー

Username
User_id
Gender
Given_item_count
Taken_item_count
Followers_count
Following_count
Positive_feedback_count
Negative_feedback_count
Feedback_reputation
Avatar
Created_at
Last_loged_on_ts
City_id
City
Country_title
Verification_email
Verification_facebook
Verification_google
Verification_phone

ヴィンテージ製品

ID
User_id
Url Favourite Gender
Category
Size
State
Brand
Colors
Price
Images
Description
Title
Platform

Depopユーザー

Username
User_id
Bio
first_name
followers
following
initials
items_sold
last_name
last_seen
Avatar
reviews_rating
reviews_total
verified
website

デポップ製品

ID
Sold
User_id
Gender
Category
Size
State
Brand
Colors
Price
Image
Description
Title
Platform
Address
discountedPriceAmount
dateUpdated

機能に関するご要望がありましたら、遠慮なく問題をご報告ください :)

免責事項

このスクリプトは教育目的のみに設計されています。ウェブスクレイピング技術のデモンストレーションを目的としており、商業目的または個人的な利益のために使用しないでください。このソフトウェアの使用は、VintedおよびDepopのウェブサイトの利用規約に違反する可能性があり、使用に起因するあらゆる結果について、すべての責任はお客様が負うことになりますのでご注意ください。このスクリプトの作成者は、ソフトウェアの使用中に発生した損害、傷害、または損失について一切責任を負いません。自己責任でご使用ください。