Vinted-scrapper

Vinted-Scraper

这是一个从 Vinted & Depop 下载图像和抓取数据并将其存储在 SQLite 数据库中的工具。

--目前正在开发2.0 版本（WIP）--

如何使用

1. 下载/克隆此 repo
2. 使用pip install -r requirements.txt下载依赖项
3. 运行脚本python scraper.py

Vinted

将帐户的用户 ID 放入 users.txt 并运行脚本。脚本将下载所有图片并将其放入下载文件夹。数据将存储在 SQLite 数据库中。

弹出

将账户的用户名放入 users.txt 文件中，然后使用-d选项运行脚本。脚本将下载所有图片和视频，并将其保存在 downloads 文件夹中。数据将存储在 SQLite 数据库中。

参数

-p [Vinted] 从您的私人消息中抓取所有图片。（需要-s登录并-u设置您的用户 ID）
-s "your_vinted_fr_session" [Vinted] 登录您的帐户。如何获取 sessionid？
-u [Vinted] 设置你的用户 ID
-i [Vinted] 定义最多下载的图片数量。最少下载 1 张图片。（例如： -i 1表示仅下载产品的第一张图片）
-n [Depop] 禁用文件下载（仅抓取产品信息）
-g [Depop]同时下载已售出的物品
-b [Depop] 从特定项目开始。（例如： python3 scraper.py -d -n -b "coose-navy-lee-sweatshirt-amazing-lee" ）

例子：

从您的 Vinted 帐户下载私人消息中的所有图片
python scraper.py -p -u 123456789 -s "RS9KcmE1THMxV3NlclRsbEVRdU52ZVp4UG.......ASFe26"

将被抓取的数据

用户的所有产品图片都将被下载。用户的头像也将被下载。

所有信息都将存储在下表中的 sqlite db 中：

Vinted 用户

Username
User_id
Gender
Given_item_count
Taken_item_count
Followers_count
Following_count
Positive_feedback_count
Negative_feedback_count
Feedback_reputation
Avatar
Created_at
Last_loged_on_ts
City_id
City
Country_title
Verification_email
Verification_facebook
Verification_google
Verification_phone

Vinted 产品

ID
User_id
Url Favourite Gender
Category
Size
State
Brand
Colors
Price
Images
Description
Title
Platform

Depop 用户

Username
User_id
Bio
first_name
followers
following
initials
items_sold
last_name
last_seen
Avatar
reviews_rating
reviews_total
verified
website

Depop 产品

ID
Sold
User_id
Gender
Category
Size
State
Brand
Colors
Price
Image
Description
Title
Platform
Address
discountedPriceAmount
dateUpdated

如果您有任何功能请求，请随时提出问题:)

免责声明

此脚本仅供教育用途。它旨在演示网页抓取技术，不得用于任何商业或个人用途。请注意，使用此软件可能违反 Vinted 和 Depop 网站的服务条款，您将承担因使用此软件而产生的任何后果的全部责任。此脚本的创建者对使用此软件造成的任何损害、伤害或损失概不负责。使用风险自负。