目录：

• Python网络爬虫（一）- 入门基础
• Python网络爬虫（二）- urllib爬虫案例
• Python网络爬虫（三）- 爬虫进阶
• Python网络爬虫（四）- XPath
• Python网络爬虫（五）- Requests和Beautiful Soup
• Python网络爬虫（六）- Scrapy框架
• Python网络爬虫（七）- 深度爬虫CrawlSpider
• Python网络爬虫（八） - 利用有道词典实现一个简单翻译程序

1.爬虫前的分析

因为要实现有道翻译的翻译功能，就需要找到它的接口，打开审查元素，来到网络监听窗口(Network)，查看API接口。

我们可以找到有道翻译的API接口，同时是以Post方式提交

Data的内容

Form Data

i:你好     

from:AUTO

to:AUTO

smartresult:dict

client:fanyideskweb

salt:1503049820576

sign:f21c50e08db736608d3ec3899678a725

doctype:json

version:2.1

keyfrom:fanyi.web

action:FY_BY_CLICKBUTTION

typoResult:true

通过翻译'你好'和'hellow'的对比查看不同的地方

• i：需要进行翻译的字符串，这个地方我们输入的是‘’你好‘’。
• salt：当前的时间戳
• action： 判断你是按回车提交或者点击按钮提交的方式

通过查看网页源代码的方式查看有道翻译的js文件，来查看salt和sign是怎么生成的。

• 查看网页源代码找到js文件

找到js文件，然后点击这个文件，跳转到这个源文件中，然后全选所有的代码，复制下来

• 打开站长工具，把代码格式化

• 把格式化后的代码，复制下来，用sublime或者pycharm打开都可以，然后搜索salt，找到相关的代码

2.Python使用MD5加密字符串

1. 介于有道翻译使用了MD5加密，就对MD5加密进行了学习

#导入md5加密所需模块

import hashlib



#创建md5对象

m = hashlib.md5()



#生成加密串，其中 password 是要加密的字符串

m.update('password')



#获取加密串

pw = m.hexdigest()

print(pw)

#打印结果

5f4dcc3b5aa765d61d8327deb882cf99

2 . 我们可以写成函数，直接传入要加密的字符串调用即可，由于传入的参数不是字符串会报错，所以应先对参数进行判断

import hashlib

import types



def md5(str):

    if type(str) is types.StringType:

        m = hashlib.md5()   

        m.update(str)

        return m.hexdigest()

    else:

        print(‘您传入的参数不是字符串’)

3.代码操作基于python3.5

# -*- coding:utf-8 -*-



import urllib.request

import urllib.parse

import json

import time

import requests

import hashlib



class YoudaoFanyi:

    def translate(self,key):

        d = key

        m = hashlib.md5()

        u = 'fanyideskweb'  #判断是网页还是客户端

        # 由于网页是用的js的时间戳(毫秒)跟python(秒)的时间戳不在一个级别，所以需要*1000

        f = str(int(time.time()*1000))

        c = "rY0D^0'nM0}g5Mm1z%1G4"

        #根据md5的方式：md5(u + d + f + c)，拼接字符串生成sign参数。

        m.update((u + d + f + c).encode('utf-8'))   #生成加密串

        data= {

            'i':d,

            'from':'AUTO',

            'to':'AUTO',            #判断是自动翻译还是人工翻译

            'smartresult':'dict',

            'client':u,

            'salt':f,               #当前时间戳

            'sign':m.hexdigest(),   #获取加密串

            'doctype':'json',

            'version':'2.1',

            'keyfrom':'fanyi.web',

            'action':'FY_BY_CLICKBUTTION', #判断按回车提交或者点击按钮提交的方式

            'typoResult':'true'

        }



        headers = {

            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',

            'Origin':'http://fanyi.youdao.com/',  #请求头最初是从youdao发起的，Origin只用于post请求

            'Referer':'http://fanyi.youdao.com/', #Referer则用于所有类型的请求

        }

        #print(data)

        #接口

        post = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null'

        youdaojson = requests.post(post,headers = headers,data=data).json()



        #print(youdaojson)



        print('翻译的结果是：%s'%(youdaojson['translateResult'][0][0]['tgt']))

        time.sleep(2)



if __name__== "__main__":

    youdao = YoudaoFanyi()

    while True:

        key =input("请输入你要翻译的文字('quit':退出): ").strip()

        if key=='quit':

            break

        youdao.translate(key)

实现翻译功能