6
推荐
3521
阅读
python程序生成平均脸
简介项目代码https://github.com/LiuRoy/pokerface写这个项目的本来目的是通过构建一个神经网络来训练人脸图片，最后达到能根据图片自动判断美丑的效果。可能是因为数据集过小，或者自己参数一直没有调正确，无论我用人脸关键点训练还是卷积神经网络训练，最后都没有得到任何效果。为了不让自己前期写的代码变成无用代码...
0
推荐
2028
阅读
隐马尔科夫模型python实现简单拼音输入法
在网上看到一篇关于隐马尔科夫模型的介绍，觉得简直不能再神奇，又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客，无奈大神没给可以运行的代码，只能纯手动网上找到了结巴分词的词库，根据此训练得出隐马尔科夫模型，用维特比算法实现了一个简单的拼音输入法。githuh地址：https://github.com/Li...
2
推荐
3833
阅读
python爬取github数据
爬虫流程在上周写完用scrapy爬去知乎用户信息的爬虫之后，github上star个数一下就在公司小组内部排的上名次了，我还信誓旦旦的跟上级吹牛皮说如果再写一个，都不好意思和你再提star了，怕你们伤心。上级不屑的说，那就写一个爬虫爬一爬github，找一找python大牛，公司也正好在找人。临危受命，格外激动，当天就去研究git...
1
推荐
2078
阅读
scrapy爬虫docker部署
spider_docker接我上篇博客，为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq，连接https://github.com/LiuRoy/spider_docker创建image进入spider_docker目录，执行命令：docker build --rm -t zhihu_spider src/运行完成后，执行docker iamges就可以看到生成的image 生成container在另一个...
3
推荐
2202
阅读
scrapy 知乎用户信息爬虫
zhihu_spider此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo，下载这些数据感觉也没什么用，就当为大家学习scrapy提供一个例子吧。代码地址：https://github.com/LiuRoy/zhihu_spider，欢迎各位大神指出问题，另外知乎也欢迎大家关注哈 ^_^.流程图请求https://www.zhihu.com获...
6
推荐
3869
阅读
python网络爬虫 新浪博客篇
背景上次写了一个爬世纪佳缘的爬虫之后，今天再接再厉又写了一个新浪博客的爬虫。写完之后，我想了一会儿，要不要在博客园里面写个帖子记录一下，因为我觉得这份代码的含金量确实太低，有点炒冷饭的嫌疑，就是把上次的代码精简了一下，用在另外一个网站而已，而且爬别人的博客总有一种做贼心虚的感觉，怕被各位园友认为...
3
推荐
3225
阅读
自娱自乐写爬虫 世纪佳缘篇
引言最近一段时间不知怎得像是中了什么魔怔，特别的想用python写一个网络爬虫，也许是看了知乎上的某位大牛的分享，深感能自己写一个程序在浩瀚的互联网数据海洋中发现有意思的数据的酷炫，抑或就是想单纯的体验一把程序猿的人生价值。在当我信誓旦旦的决定用一到两周准备实现这个宏伟的理想的时候，我马上就遇到了瓶颈...
5
推荐
3721
阅读
使用python抓取婚恋网用户数据并用决策树生成自己择偶观
最近在看《机器学习实战》的时候萌生了一个想法，自己去网上爬一些数据按照书上的方法处理一下，不仅可以加深自己对书本的理解，顺便还可以在github拉拉人气。刚好在看决策树这一章，书里面的理论和例子让我觉得这个理论和选择对象简直不能再贴切，看完长相看学历，看完学历看收入。如果可以从婚恋网站上爬取女性的数据...
1
推荐
2807
阅读
python实现网络爬虫下载天涯论坛帖子
最近发现天涯论坛是一个挺有意思的网站，有各种乱七八糟的帖子足以填补无聊时候的空虚感，但是相当不爽的一件事就是天涯的分页模式下想连贯的把楼主的内容看完实在是太心酸了，一个999页的帖子，百分之九十都是无聊网友的灌水，有时候连续翻几十页才能找到楼主的一条内容。所以无聊之下，就打算写一个简单的爬虫，能一次...