cleanup brew for python

mac升级到Maverick之后,python环境有点混乱,pip和virtualenv都出错,重新安装python,居然还是2.7.3,而不是最新的2.7.6,需要清理一下。

首先删除/usr/local/bin/下面的两个virtualenv执行文件,然后做一次brew更新:

$ sudo chown -R john /usr/local
$ cd /usr/local
$ brew update

这个更新似乎是从github更新了一堆东西。

然后删除原来的virtualenv

$ rm /usr/local/bin/virtuanenv*

重新安装python和virtualenv

$ brew install python
$ pip install virtualenv

这次安装的果然是最新的2.7.6了。然后在重新安装virtualenv

测试一下virtualenv可以使用了。Bingo,新python环境准备好了。

more ...

Scrapy: python spider

用python写网络爬虫,当然不会从头写,需要用现成的:

install

用pip安装scrapy时候会自动安装一些依赖的库,其中lxml会报错,需要安装xcode command line工具

$ xcode-select --install

然后建立一个虚拟环境,以免把系统python环境搞乱

$ virtualenv scrapy
$ cd scrapy
$ . bin/activate
$ (scrapy) $

注意提示符出现了(scrapy),表示已经在虚拟环境中了

$ (scrapy) $ pip install scrapy

自动下载安装scrapy以及需要的twisted,zope等一堆库。

simple test

参考这里的一篇文章,可以做一个简单的爬虫,去爬豆瓣里面某剧的剧照。

注意最新版本的scrapy shell里预定义选择器的名字从hxs变成了sel,所以例子需要改一下

旧:

hxs.select('//ul/li/div/a/@href').extract()

新:

sel ...
more ...

Install Pelican

安装Pelican很简单,基本上按照网站照做就好了

安装虚拟环境

安装python虚拟环境的目的是不要搞乱系统的python环境。

推荐用pip安装virtualenv

pip install virtualenv

如果没有pip,只好从source安装了

curl -O https://pypi.python.org/packages/source/v/virtualenv/virtualenv-1.9.1.tar.gz
tar xvfz virtualenv-1.9.1.tar.gz
cd virtualenv-1.9.1
python setup.py install

安装了virtualenv之后,用下列命令创建一个pelican的环境并且激活

$ cd ~
$ virtualenv pelican
$ cd palican
$ . bin ...
more ...

django 403 error

遇到一个奇怪的问题,一个很简单的django页面,GET方式可以正常访问但是在POST报403错误。

后来查到是1.3版本settings.py 文件中 'django.middleware.csrf.CsrfViewMiddleware', 造成的,把这句注掉就可以了。

more ...

Pages

  • About