博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
scrapy管道MySQL简记
阅读量:4566 次
发布时间:2019-06-08

本文共 1796 字,大约阅读时间需要 5 分钟。

import pymysql from scrapy.exceptions import DropItem import time class ErshouchePipeline(object):     def __init__(self):         self.conn = pymysql.connect(             host = '127.0.0.1',             port = 3306,             user = 'root',             passwd = 'mlpythonlmoi',             db = 'ershouche',             charset = 'utf8'         )         self.cusor = self.conn.cursor(cursor=pymysql.cursors.DictCursor)         sql1 = "select 路由网址 from 二手车之家"         result = self.cusor.execute(sql1)#读取已经爬取的数据url         # print(result)         temp = self.cusor.fetchall()#返回查询到的所有记录         print('返回查询得到的记录:',temp)         self.url_list = []         for i in temp:             self.url_list.append(i['路由网址'])         print('存在的:',self.url_list)     def process_item(self, item, spider):         if item['car_url'] not in self.url_list:             sql = "insert into 二手车之家 values(Null,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"             lst = (item['city'],item['trademark'],item['model'],item['colour'],item['price'],item['purpose'],                    item['vehicle_condition'],item['drive_mode'],item['Truck_kilometer'],item['car_license'],                    item['Stop_displacemen'],item['year_jian_due'],item['insurance_policy_matures'],item['assurance_due'],                    item['emission_standard'],item['guohu_number'],item['maintenance'],item['car_url'])             self.cusor.execute(sql,lst)             self.conn.commit()         else:             raise DropItem('该item数据库中已经存在!')         return item     def close_spider(self, spider):          self.cusor.close()          self.conn.close()#关闭连接          print("操作结束!")          print('结束时间:' + time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()))

转载于:https://www.cnblogs.com/Army-Knife/p/10610831.html

你可能感兴趣的文章
【nodejs】让nodejs像后端mvc框架(asp.net mvc)一样处理请求--请求处理结果适配篇(7/8)...
查看>>
MySQL 删除数据库
查看>>
JavaScript 字符串(String) 对象
查看>>
How to use VisualSVN Server and TortoiseSVN to host your codes and control your codes' version
查看>>
微信小程序picker组件 - 省市二级联动
查看>>
Dynamics CRM 给视图配置安全角色
查看>>
Eclipse修改已存在的SVN地址
查看>>
(转)使用 python Matplotlib 库绘图
查看>>
进程/线程切换原则
查看>>
20165301 2017-2018-2 《Java程序设计》第四周学习总结
查看>>
Vue的简单入门
查看>>
urllib 中的异常处理
查看>>
通过SQL Server的扩展事件来跟踪SQL语句在运行时,时间都消耗到哪儿了?
查看>>
20181227 新的目标
查看>>
androidtab
查看>>
php 事件驱动 消息机制 共享内存
查看>>
剑指offer 二叉树的bfs
查看>>
LeetCode Maximum Subarray
查看>>
让我们再聊聊浏览器资源加载优化
查看>>
underscore demo
查看>>