item數據model保存到數據庫中

1.如何將item 數據model保存到數據庫中

首先在本地創建好MySQL數據庫，再數據庫中創建好數據表


# 創建數據庫
create database item_database;
set global validate_password_length = 1;
set global validate_password_policy = 0;
grant all on item_database.* to 'xkd'@'%' identified by '123456';
flush privileges;
# 根據item創建數據表
create table item (title varchar(255) not null, image_url varchar(255) not null, date date not null, image_path varchar(255) not null, url varchar(255) not null, url_id char(50) not null primary key);

2. 安裝Python MySQL驅動


pip install mysqlclient

3. 在settings文件中修改pipeline

然后爬取頁面，進行頁面解析，返回item交由settings.py文件中定義好的pipelines處理


ITEM_PIPELINES = {
   # 'XKD_Dribbble_Spider.pipelines.XkdDribbbleSpiderPipeline': 300,
   # 當items.py模塊yield之后，默認就是下載image_url的頁面
   'XKD_Dribbble_Spider.pipelines.ImagePipeline': 1,
   'XKD_Dribbble_Spider.pipelines.MysqlPipeline': 2,
}

4. 新建pipeline，寫入item到MySQL中

接著在pipelines.py文件中新建一個新的pipelines類，如MysqlPipeline，在這個類中初始化數據庫連接，重寫 process_item() 方法將item的字段讀取出來，再提交到數據中表中；最后運行項目成功后，可以使用命令行工具查看數據是否插入成功；


class MysqlPipeline:
    def __init__(self):
        self.conn = MySQLdb.connect(host='localhost', user='xkd', password='123456', database='item_database', use_unicode=True, charset='utf8')
        self.cursor = self.conn.cursor()
    def process_item(self, item, spider):
        sql = 'insert into item(title, image_url, date, image_path, url, url_id)' \
              'values (%s, %s, %s, %s, %s, %s)'
        date = item['date']
        self.cursor.execute(sql, args=(item['title'], item['image_url'], date.strftime('%y-%m-%d'), item['image_path'], item['url'], item['url_id']))
        self.conn.commit()
        return item
    def spider_closed(self, spider):
        self.cursor.close()
        self.conn.close()

5.在本地搭建MySQL數據庫的步驟

先創建數據庫： create database 數據庫名;
成都做網站、成都網站設計的開發，更需要了解用戶，從用戶角度來建設網站，獲得較好的用戶體驗。創新互聯公司多年互聯網經驗，見的多，溝通容易、能幫助客戶提出的運營建議。作為成都一家網絡公司，打造的就是網站建設產品直銷的概念。選擇創新互聯公司，不只是建站，我們把建站作為產品，不斷的更新、完善，讓每位來訪用戶感受到浩方產品的價值服務。
然后給用戶授權： grant all on 數據庫名.* to '用戶名'@'%' identified by '密碼';
記得刷新MySQL的系統權限相關表： flush privileges;
在進入創建好的數據庫根據item創建數據庫表： create table item(字段);