SEARU.ORG
当前位置:SEARU.ORG > Linux 软件 > 正文

分布式视频信息爬虫 videoSpider

分布式视频信息爬虫,从豆瓣,bilibili等收集电视剧、电影、动漫、演员等信息,
使用:requests 发送请求,BeatufulSoup解析html,SQLAlchemy 作为ORM,Alembic数据库版本控制。 

使用:协程(gevent)+多进程,分布式(Celery)

model:

流程: 

未经允许不得转载:SEARU.ORG » 分布式视频信息爬虫 videoSpider

赞 (0)
分享到:更多 ()

评论 0