Nom du projet: ScrapyProject
Introduction du projet:
1 Livres d'exploration http://www.shicimingju.com:
1). 请求图书详情页parse(self, response)函数的修改-ScrapyProject/ScrapyProject/spiders/book.py
2). 对章节详情页进行解析parse_chapter_detail函数的修改-ScrapyProject/ScrapyProject/spiders/book.py
3). 将采集的数据存储到文件中, pipeeline组件-ScrapyProject/ScrapyProject/pipelines.py
4). 设置文件中启动pipeline组件-ScrapyProject/ScrapyProject/settings.py
2 Prenez les informations détaillées de la marchandise, la situation de stockage
1. 用过sqlalchemy(ORM)将数据信息添加到数据库中
2.日志信息的配置,图片的配置
3.根据python数据类型解析商品的详情信息
4.将尺寸信息序列化为json字符串,如果总库存存在 存储商品信息
Difficultés techniques:
1) 如何处理解析后的数据?
2). 如何获取/下载小说章节详情页的链接并下载到本地?
Difficultés rencontrées lors de la rédaction du projet
1. Comment analyser les informations importantes à explorer sur le site Web
2. Comment comprendre le rôle des éléments du projet
3. Le choix des ressources du projet d'exploration à écrire dans la base de données, ce qui signifie
4. Si l'URL à analyser a un code de vérification de mot de passe utilisateur pour se connecter comment résoudre
URL du projet: https://gitee.com/huojin181/ScrapyProject.git