上一篇文章已经运用了Pymongo这个包，本篇文章详细介绍下Pymongo的使用

1.Pymongo

PyMongo是Mongodb的Python接口开发包，是使用python和Mongodb的推荐方式。

官方文档

2.安装

进入虚拟环境

sudo pip install pymongo

或源码安装

python setup.py

3.使用

• 导入模块

import pymongo 

#或者

from pymongo import MongoClient

• 建立于MongoClient 的连接：

client = MongoClient('localhost', 27017) 

# 或者 

client = MongoClient('mongodb://localhost:27017/') 

• 得到数据库

db = client.test_database

# 或者 

db = client['test-database'] 

• 得到一个数据集合

collection = db.test_collection

# 或者 

collection = db['test-collection'] 

• MongoDB中的数据使用的是类似Json风格的文档

>>> import datetime 

>>> post = {"author": "Mike",    

            "text": "My first blog post!",    

            "tags": ["mongodb", "python", "pymongo"], 

            "date": datetime.datetime.utcnow()} 

• 插入一个文档

>>> posts = db.posts 

>>> post_id = posts.insert_one(post).inserted_id 

>>> post_id 

ObjectId('...') 

• 查找一条数据

>>> posts.find_one() 

{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']}   

>>> posts.find_one({"author": "Mike"}) 

{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']}   

>>> posts.find_one({"author": "Eliot"}) 

>>> 

• 通过ObjectId来查找

>>> post_id ObjectId(...) 

>>> posts.find_one({"_id": post_id})

{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']} 

• 不要转化ObjectId的类型为String

>>> post_id_as_str = str(post_id) 

>>> posts.find_one({"_id": post_id_as_str}) # No result 

>>> 

• 如果post_id是字符串

from bson.objectid import ObjectId  

# The web framework gets post_id from the URL and passes it as a string def get(post_id):   

    # Convert from string to ObjectId:   

    document = client.db.collection.find_one({'_id': ObjectId(post_id)}) 

• 多条插入

>>> new_posts = [{"author": "Mike", 

                  "text": "Another post!", 

                  "tags": ["bulk", "insert"], 

                  "date": datetime.datetime(2009, 11, 12, 11, 14)}, 

                  {"author": "Eliot", 

                  "title": "MongoDB is fun", 

                  "text": "and pretty easy too!", 

                  "date": datetime.datetime(2009, 11, 10, 10, 45)}] 

>>> result = posts.insert_many(new_posts) 

>>> result.inserted_ids 

[ObjectId('...'), ObjectId('...')] 

• 查找多条数据

>>> for post in posts.find(): 

...  post 

... 

{u'date': datetime.datetime(...), u'text': u'My first blog post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'mongodb', u'python', u'pymongo']} 

{u'date': datetime.datetime(2009, 11, 12, 11, 14), u'text': u'Another post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'bulk', u'insert']} 

{u'date': datetime.datetime(2009, 11, 10, 10, 45), u'text': u'and pretty easy too!', u'_id': ObjectId('...'), u'author': u'Eliot', u'title': u'MongoDB is fun'} 



#查找多个文档2

cur=stu.find()

cur.next()

• 获取集合的数据条数

posts.count() 



#满足某种查找条件的数据条数：

posts.find({"author": "Mike"}).count() 

• 范围查找

#比如说时间范围

>>> d = datetime.datetime(2009, 11, 12, 12) 

>>> for post in posts.find({"date": {"$lt": d}}).sort("author"): 

...  print post 

{u'date': datetime.datetime(2009, 11, 10, 10, 45), u'text': u'and pretty easy too!', u'_id': ObjectId('...'), u'author': u'Eliot', u'title': u'MongoDB is fun'} 

{u'date': datetime.datetime(2009, 11, 12, 11, 14), u'text': u'Another post!', u'_id': ObjectId('...'), u'author': u'Mike', u'tags': [u'bulk', u'insert']} 

4.mongoDB其它操作

1.超级管理员

• 为了更安全的访问mongodb，需要访问者提供用户名和密码，于是需要在mongodb中创建用户
  采用了角色-用户-数据库的安全管理方式
  常用系统角色如下：

root：只在admin数据库中可用，超级账号，超级权限
Read：允许用户读取指定数据库
readWrite：允许用户读写指定数据库

• 创建超级管理用户

use admin

db.createUser({

    user:'admin',

    pwd:'123',

    roles:[{role:'root',db:'admin'}]

})

• 添加访问用户

mongo进入操作界面



use admin   # 指定数据库



db.addUser(“用户名”, “密码”) 添加用户    # 可以使用，已经提示过时



db.createUser(“用户名”, “密码”) 添加用户

• 启用安全认证
  修改配置文件

sudo vi /etc/mongod.conf

• 启用身份验证
  注意：keys and values之间一定要加空格, 否则解析会报错

security:

  authorization: enabled

• 重启服务

sudo service mongod stop

sudo service mongod start

• 终端连接

 mongo -u 'admin' -p '123' --authenticationDatabase 'admin'

• 普通用户管理
  使用超级管理员登录，然后进入用户管理操作
  查看当前数据库的用户

use test1

show users

• 创建普通用户

db.createUser({

    user:'t1',

    pwd:'123',

    roles:[{role:'readWrite',db:'test1'}]

})

• 终端连接

mongo -u t1 -p 123 --authenticationDatabase test1

• 切换数据库，执行命令查看效果
  修改用户：可以修改pwd、roles属性

db.updateUser('t1',{pwd:'456'})

2.主从双备

复制的优点

• 复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性，并可以保证数据的安全性
• 复制还允许从硬件故障和服务中断中恢复数据

• 数据备份
• 数据灾难恢复
• 读写分离
• 高（24* 7）数据可用性
• 无宕机维护
• 副本集对应用程序是透明

• 复制的工作原理

• 复制至少需要两个节点A、B...
• A是主节点，负责处理客户端请求
• 其余的都是从节点，负责复制主节点上的数据
• 节点常见的搭配方式为：一主一从、一主多从
• 主节点记录在其上的所有操作，从节点定期轮询主节点获取这些操作，然后对自己的数据副本执行这些操作，从而保证从节点的数据与主节点一致
• 主节点与从节点进行数据交互保障数据的一致性

• 复制的特点

• N 个节点的集群
• 任何节点可作为主节点
• 所有写入操作都在主节点上
• 自动故障转移
• 自动恢复

案例：

• step1:创建数据库目录t1、t2
  在Desktop目录下演示，其它目录也可以，注意权限即可

mkdir t1

mkdir t2

• step2:使用如下格式启动mongod，注意replSet的名称是一致的

mongod --bind_ip 192.168.10.110 --port 27018 --dbpath ~/Desktop/t1 -->replSet rs0

mongod --bind_ip 192.168.10.111 --port 27019 --dbpath ~/Desktop/t2 -->replSet rs0

• step3:连接主服务器，此处设置192.168.10.110:27018为主服务器

mongo --host 192.168.10.110 --port 27018

• step4:初始化

rs.initiate()

• step5:查看当前状态

rs.status()

• step6:添加复本集

rs.add('192.168.10.111:27019')

• step8:新开窗口，连接第二个mongo服务

mongo --host 192.168.10.111 --port 27019

• step9:向主服务器中插入数据

use test1

for(i=0;i<10;i++){db.t1.insert({_id:i})}

db.t1.find()

• step10:在从服务器中插查询
  说明：如果在从服务器上进行读操作，需要设置rs.slaveOk()

rs.slaveOk()

db.t1.find()

• 其它说明
  删除从节点

rs.remove('192.168.10.111:27019')

关闭主服务器后，再重新启动，会发现原来的从服务器变为了主服务器，新启动的服务器（原来的从服务器）变为了从服务器

3.备份

• 语法

mongodump -h dbhost -d dbname -o dbdirectory



#例

sudo mkdir test1bak

sudo mongodump -h 192.168.10.110:27017 -d test1 -o ~/flex/test1bak

• -h：服务器地址，也可以指定端口号
• -d：需要备份的数据库名称
• -o：备份的数据存放位置，此目录中存放着备份出来的数据

4.恢复

• 语法

mongorestore -h dbhost -d dbname --dir dbdirectory



#例

mongorestore -h 192.168.10.110:27017 -d test2 --dir ~/flex/test1bak/test1

• -h：服务器地址
• -d：需要恢复的数据库实例
• -dir：备份数据所在位置

5.Mongodb与python交互

• 之前学习了爬虫，现在我们把爬取得到的数据存储于Mongodb中

#爬取英雄联盟英雄信息详情，并存储



#-*- coding:utf-8 -*-

import pymongo

import requests

from bs4 import BeautifulSoup



#建立于MongoClient 的连接

client = pymongo.MongoClient('localhost',27017)

#得到数据库

hero = client['hero']

#得到一个数据集合

sheet_tab = hero['sheet_tab']

url = 'http://lol.duowan.com/hero/'

req = requests.get(url)

soup = BeautifulSoup(req.text,'html.parser')

links = soup.find(id="champion_list").find_all('a')

for link in links:

    link = link['href']

    requ = requests.get(link)

    sop = BeautifulSoup(requ.text,'html.parser')

    data = {

    'title' : sop.find('h2',class_="hero-title").get_text(),

    'name' : sop.find('h1',class_="hero-name").get_text(),

    'tags' : sop.find('div',class_="hero-box ext-attr").find_all('span')[1].get_text(),

    'story' : sop.find('div',class_="hero-popup").find_all('p')[0].get_text(),

    }

    sheet_tab.insert_one(data)

• 开启mongo,运行代码

通过Robo 3T可视化工具我们可以看到抓取到了137条数据，并且已存储到mongodb中

6.完成命令行项目：学生信息管理(基于Python2.7)

• 代码操作

#-*- coding:utf-8 -*-

import pymongo



def system():

    print('◆您将进入数据库管理系统，数据无价、谨慎操作！◆')

    print('◇1:查看数据◇')

    print('◇2:增加数据◇')

    print('◇3:修改数据◇')

    print('◇4:删除数据◇')

    print('◇5:搜索数据◇')

    print('●6:退出数据库管理系统●')



    # 建立与mongodb的连接

    client = pymongo.MongoClient('localhost', 27017)

    # 得到数据库

    stu = client['stu']

    # 得到一个数据集合

    message = stu['message']



    while True:

        order = int(raw_input('请输入相关指令：'))

        if order==1:

            exit = message.count()

            if exit==0:

                print('抱歉，数据库中目前没有相关数据！')

            else:

                for data in message.find():

                    content = data['name']+data['age']+data['sex']

                    print(content)

        elif order ==2:

            name = raw_input('请输入学生姓名：')

            age = raw_input('请输入学生年龄：')

            sex = raw_input('请输入学生性别(男/女)：')

            data = {

                'name':name,

                'age':age,

                'sex':sex,

            }

            message.insert_one(data)

            print ('添加成功！')



        elif order == 3:

            name = raw_input('请输入要修改的学生姓名：')

            exit = message.count({'name': name})

            if exit != 0:

                age = raw_input('请输入修改后的学生年龄：')

                message.update({'name':name},{'$set':{'age':age}})

                print('修改成功')

            else:

                print '抱歉，数据库中没有这个学生的信息！'



        elif order == 4:

            name = raw_input('请输入要删除的学生姓名：')

            exit = message.count({'name': name})

            if exit != 0:

                message.remove({'name':name})

                print('删除成功')

            else:

                print '抱歉，数据库中没有这个学生的信息！'



        elif order == 5:

            name = raw_input('请输入要查询的学生姓名：')

            exit = message.count({'name':name})

            if exit!=0:

                data = message.find_one({'name':name})

                content = data['name']+data['age']+data['sex']

                print content

            else:

                print '抱歉，数据库中没有这个学生的信息！'



        elif order == 6:

            print('感谢您的使用！')

            break

        else:

            print('您的输入有误，请输入有效指令(1/2/3/4/5)')



if __name__ == '__main__':

    system()

测试结果