6
推荐
3480
阅读
python程序生成平均脸
简介项目代码https://github.com/LiuRoy/pokerface写这个项目的本来目的是通过构建一个神经网络来训练人脸图片，最后达到能根据图片自动判断美丑的效果。可能是因为数据集过小，或者自己参数一直没有调正确，无论我用人脸关键点训练还是卷积神经网络训练，最后都没有得到任何效果。为了不让自己前期写的代码变成无用代码...
0
推荐
1983
阅读
隐马尔科夫模型python实现简单拼音输入法
在网上看到一篇关于隐马尔科夫模型的介绍，觉得简直不能再神奇，又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客，无奈大神没给可以运行的代码，只能纯手动网上找到了结巴分词的词库，根据此训练得出隐马尔科夫模型，用维特比算法实现了一个简单的拼音输入法。githuh地址：https://github.com/Li...
2
推荐
3784
阅读
python爬取github数据
爬虫流程在上周写完用scrapy爬去知乎用户信息的爬虫之后，github上star个数一下就在公司小组内部排的上名次了，我还信誓旦旦的跟上级吹牛皮说如果再写一个，都不好意思和你再提star了，怕你们伤心。上级不屑的说，那就写一个爬虫爬一爬github，找一找python大牛，公司也正好在找人。临危受命，格外激动，当天就去研究git...
1
推荐
2051
阅读
scrapy爬虫docker部署
spider_docker接我上篇博客，为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq，连接https://github.com/LiuRoy/spider_docker创建image进入spider_docker目录，执行命令：docker build --rm -t zhihu_spider src/运行完成后，执行docker iamges就可以看到生成的image 生成container在另一个...
3
推荐
1963
阅读
神经网络、logistic回归等分类算法简单实现
最近在github上看到一个很有趣的项目，通过文本训练可以让计算机写出特定风格的文章，有人就专门写了一个小项目生成汪峰风格的歌词。看完后有一些自己的小想法，也想做一个玩儿一玩儿。用到的原理是深度学习里的循环神经网络，无奈理论太艰深，只能从头开始开始慢慢看，因此产生写一个项目的想法，把机器学习和深度学习...
3
推荐
2176
阅读
scrapy 知乎用户信息爬虫
zhihu_spider此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo，下载这些数据感觉也没什么用，就当为大家学习scrapy提供一个例子吧。代码地址：https://github.com/LiuRoy/zhihu_spider，欢迎各位大神指出问题，另外知乎也欢迎大家关注哈 ^_^.流程图请求https://www.zhihu.com获...
2
推荐
1792
阅读
Chrome浏览器Cookie解密
做过 web 开发的都知道：浏览器会把重要的认证登录认证信息存放到 cookie 中，在 cookie 有效期内，再次访问这个网站的时候就可以直接从 cookie 中获取到登录信息，这样就可以实现自动登录。但仅仅知道知道这些肯定不能满足很多人的旺盛的求知欲，那么我就 mac 系统下的 Chrome 浏览器 cookie 来做一次深入的讲解。...
1
推荐
1783
阅读
spark处理大规模语料库统计词汇
最近迷上了spark，写一个专门处理语料库生成词库的项目拿来练练手， github地址：https://github.com/LiuRoy/spark_splitter。代码实现参考wordmaker项目，有兴趣的可以看一下，此项目用到了不少很tricky的技巧提升性能，单纯只想看懂源代码可以参考wordmaker作者的一份简单版代码。这个项目统计语料库的结果和执行速度...
1
推荐
2351
阅读
结巴分词源码分析
闲来无事，在博客园的论坛里随意游荡，看到一个开源的python库，名字叫做结巴分词，一直很好奇这些自然语言的处理方式，但是网上的相关介绍却少的可怜，仅有的一些博客写介绍的比较浅。幸好代码量不多，花了两周的时间把代码和设计的算法仔细的梳理了一边，供大家参考，也希望能够抛砖引玉。分词算法介绍先看一下分词用...
6
推荐
3843
阅读
python网络爬虫 新浪博客篇
背景上次写了一个爬世纪佳缘的爬虫之后，今天再接再厉又写了一个新浪博客的爬虫。写完之后，我想了一会儿，要不要在博客园里面写个帖子记录一下，因为我觉得这份代码的含金量确实太低，有点炒冷饭的嫌疑，就是把上次的代码精简了一下，用在另外一个网站而已，而且爬别人的博客总有一种做贼心虚的感觉，怕被各位园友认为...
3
推荐
3203
阅读
自娱自乐写爬虫 世纪佳缘篇
引言最近一段时间不知怎得像是中了什么魔怔，特别的想用python写一个网络爬虫，也许是看了知乎上的某位大牛的分享，深感能自己写一个程序在浩瀚的互联网数据海洋中发现有意思的数据的酷炫，抑或就是想单纯的体验一把程序猿的人生价值。在当我信誓旦旦的决定用一到两周准备实现这个宏伟的理想的时候，我马上就遇到了瓶颈...
5
推荐
3703
阅读
使用python抓取婚恋网用户数据并用决策树生成自己择偶观
最近在看《机器学习实战》的时候萌生了一个想法，自己去网上爬一些数据按照书上的方法处理一下，不仅可以加深自己对书本的理解，顺便还可以在github拉拉人气。刚好在看决策树这一章，书里面的理论和例子让我觉得这个理论和选择对象简直不能再贴切，看完长相看学历，看完学历看收入。如果可以从婚恋网站上爬取女性的数据...
1
推荐
2791
阅读
python实现网络爬虫下载天涯论坛帖子
最近发现天涯论坛是一个挺有意思的网站，有各种乱七八糟的帖子足以填补无聊时候的空虚感，但是相当不爽的一件事就是天涯的分页模式下想连贯的把楼主的内容看完实在是太心酸了，一个999页的帖子，百分之九十都是无聊网友的灌水，有时候连续翻几十页才能找到楼主的一条内容。所以无聊之下，就打算写一个简单的爬虫，能一次...