Spark 开发之环境准备

JVM 是必须的,所以需要 Java(JDK 1.8+), 想写 Python 的还需要 Python(2.7.x/3.x). 快速试用或简单尝试的,可以考虑 databrick cloud 或者本地安装 spark-notebook/spark-notebook 可以在浏览器中写 Scala 代码体验一些 Spark 和 Scala 的特性。 对于 Spark 的

Python 网页爬虫入门——信息抓取

之所以需要写网页爬虫,无非是因为无法直接读取对方数据库,需要借助于网页将需要的文字和图片等信息抓取下来。不管使用什么样的工具,我们最终都需要

Python 多环境配置管理

实际工程开发中常常会对开发、测试和生产等不同环境配置不同的数据库环境,传统方式可以通过添加不同环境的配置文件达到部署时的动态切换的效果。这种

博客写作工作流

平台/工具折腾血泪史 博客陆陆续续也写了有七八年了,早年在51空间、QQ 空间、人人网、点点网上写过一些矫情的文字,后来接触了比较 geek 的 GitHub Pages 方式,