SunisDown's Blog @luzhizhou-blog - Tumblr Blog

mac 下 vagrant 使用笔记

# 前几天的时候云涛同学给推荐 vagrant,但是关注了一下并没有试用,今天看到asta谢又推荐这个东东,刚好头有点晕晕沉沉的,不太想写代码,就试用了一下咯.

安装

要使用 vagrant 需要安装virtualBox 跟 vagrant,都需要从官网网站上下载安装包来安装. vagrant 下载地址 http://downloads.vagrantup.com/ virtualBox 下载地址 https://www.virtualbox.org/wiki/Downloads

下载完成直接下一步下一步完成安装

在终端下输入 vagrant 试一下是否安装成功

部署虚拟机 2.1 创建工作路径在 http://www.vagrantbox.es/ 上面有各种打包好的 box,直接下载到本地,我习惯用 gentoo 就下载了 gentoo

先创建一个虚拟机的工作目录,我在自己的~目录下面创建了 vagrant 目录 ~ >> mkdir vagrant ~ >> cd vagrant

2.2 添加虚拟机切换到创建的工作目录之后添加虚拟机通过 vagrant add { 虚拟机名称 } { box文件地址|可以是网址,也可以是目录 }

~/vagrant/ >> vagrant box add base gentoo64.box Downloading or copying the box... Extracting box...te: 36.5M/s, Estimated time remaining: --:--:--) Successfully added box 'base' with provider 'virtualbox'!

2.3 初始化虚拟机在启动之前需要先讲虚拟机初始化

vagrant init {虚拟机名字}

2.4 启动虚拟机

vagrant up {虚拟机名字}

2.5 连接虚拟机

vagrant ssh

上面几个步骤就是简单的 vagrant 用法,看起来跟单纯开启 virtualBox 然后 ssh 上去区别不大,方便在于可以直接在命令行里面进行这些操作.当然,vagrant 还有更强大的用法,但是到目前为止我都看不到在生产环境中这个会有什么用处,更多的是方便程序员搭建环境,方便测试. 应该有挺多同学都习惯在 Linux 下面写代码,至少写完代码之后会在 linux 下面测试,那 vagrant 的确是方便快捷一些

#vagrant

python装饰器

装饰器的用处就是一个函数添加额外的逻辑吧, 栗子:

In [55]: def say_hello(h): ....: def echo_hello(): ....: print "hello" ....: h() ....: return echo_hello ....: In [56]: def foo(): ....: print "Tom" ....: In [57]: f = say_hello(foo) In [58]: f Out[58]: <function __main__.echo_hello> In [59]: f() hello Tom

如上面栗子中展示的,say_hello 为 h 增加了 print "hello" 这个逻辑

#python

Haskell 之语法

Pattern matching

Haskell 中语法的比较独特,昨天看了大概,但是晚上做联系的时候基本上有全部忘光了~ 嗯,这就是不做笔记的后果.今天补上.

先上栗子:

lucky :: (Integral a) => a -> String lucky 7 = "LUCKY NUMBER SEVEN!" lucky x = "Sorry, you're out of luck, pal!"

按照上面例子中的代码,当输入lucky 7 的时候,会匹配"LUCKY NUMBER　SEVEN",其他情况则会匹配 "Sorry",

但是当将上面的例子调整为:

lucky :: (Integral a) => a -> String lucky x = "Sorry, you're out of luck, pal!" lucky 7 = "LUCKY NUMBER SEVEN!"

这个时候输入 luck 7 则会直接匹配 Sorry

在定义模式时，一定要留一个万能匹配的模式，这样可以避免因为不可预料的匹配而导致程序出错.

在匹配模式中有一个方法叫 as 模式, 就是将一个名字和 @ 放在模式前面, 这样可以在按模式分割什么东西时仍保留对其整体的引用.

capital :: String -> String capital "" = "Empty string, whoops!" capital all@(x:xs) = "The first letter of " ++ all ++ " is " ++ [x]

Guards

Guards 是类似于 if 语句.不过处理多个条件分支时 guard 的可读性要高些，并且与模式匹配契合的很好。国际惯例先上栗子开胃.

bmiTell :: (RealFloat a) => a -> String bmiTell bmi | bmi <= 18.5 = "You're underweight, you emo, you!" | bmi <= 25.0 = "You're supposedly normal. Pffft, I bet you're ugly!" | bmi <= 30.0 = "You're fat! Lose some weight, fatty!" | otherwise = "You're a whale, congratulations!"

guard 由跟在函数名及参数后面的竖线标志，通常他们都是靠右一个缩进排成一列。一个 guard 就是一个布尔表达式，如果为真，就使用其对应的函数体。如果为假，就送去见下一个 guard，最后的那个 guard 往往都是 otherwise,捕获其他的一切可能.如果没有otherwise,匹配不到合适的模式,程序则会跟匹配模式一样报错.

guard 可以在含有任意数量参数的函数中使用,上面的例子可以改成:

bmiTell :: (RealFloat a) => a -> a -> String bmiTell weight height | weight / height ^ 2 <= 18.5 = "You're underweight, you emo, you!" | weight / height ^ 2 <= 25.0 = "You're supposedly normal. Pffft, I bet you're ugly!" | weight / height ^ 2 <= 30.0 = "You're fat! Lose some weight, fatty!" | otherwise

Where

栗子开胃:

bmiTell :: (RealFloat a) => a -> a -> String bmiTell weight height | bmi <= skinny = "You're underweight, you emo, you!" | bmi <= normal = "You're supposedly normal. Pffft, I bet you're ugly!" | bmi <= fat = "You're fat! Lose some weight, fatty!" | otherwise = "You're a whale, congratulations!" where bmi = weight / height ^ 2 skinny = 18.5 normal = 25.0 fat = 30.0

敲这段代码的时候遇见了以前初学python的时间遇见的问题: 缩进问题, Haskell也是需要注意缩进的.

where 关键字通常是跟在guard 后面,最好是与竖线保持缩进一致.

函数在 where 中定义的名字只对本函数可见.然后主要缩进一致.

where 绑定可以定义名字，也可以定义函数。保持健康的编程语言风格，我们搞个计算一组 bmi 的函数：

calcBmis :: (RealFloat a) => [(a, a)] -> [a] calcBmis xs = [bmi w h | (w, h) <- xs] where bmi weight height = weight / height ^ 2

let

let,可以定义变量.可以任何位置定义局部变量，而对不同的 guard 不可见 . 语法是let [bindings] in [expressions]

case

case 就是匹配模式,只不过匹配模式是 case 的语法糖.函数参数的模式匹配只能在定义函数时使用，而 case 表达式可以用在任何地方。

#haskell

Haskell 之 type typeclasses

不知道为什么,对 Haskell 特别着迷,很长时间没有什么东西能让我这么激动.继续学习 Hasekll,继续做笔记.

Tuple

Hasekll 中的 Tuple 跟 python 也是有点类似,可以存放不同的类型的元素,但是比 python 更加严苛,不同的 Tuple 是不同的类型.比如:

*Main> :t (1,"a") (1,"a") :: Num t => (t, [Char])

有两个元素的 Tuple 有 fst 以及 snd 这两个函数,分别返回的是首个元素以及第二个元素 .不过这两个函数只适合有且仅有两个函数的 Tuple.

Type 与 Type classes

Haskell 是静态类型的语言,在 ghci 中使用 :t 可以查看函数的类型.

在编写函数的时候最好声明函数的类型.举个书里的栗子:

removeNonUppercase :: [Char] -> [Char] removeNonUppercase st = [ c | c <- st, c `elem` ['A'..'Z'] ]

在 Haskell 中有如下常见函数:

Int, Integer, Float, Double, Bool, Char... ghci> :t (==) (==) :: (Eq a) => a -> a -> Bool

在这里我们见到个新东西：=> 符号。它左边的部分叫做类型约束。我们可以这样阅读这段类型声明："相等函数取两个相同类型的值作为参数并回传一个布林值，而这两个参数的类型同在 Eq 类之中(即类型约束)"

#Haskell

夜看 haskell

中午睡太多,晚上睡不着,起来看 Hashell 吧

在Stack Overflow 上面有一个比较经典的问答 Getting started with Haskell,是有人问如果学习 Haskell 的,刚好我也有累死的疑惑,不知道从何处开始下手,看见这个问答实在是太幸运了.

回答中推荐的教程是 Learn you a haskell, 我就先看 learn you a haskell,然后一步步来吧.现在 Gentoo 上面安装了 haskell-platform,大概花了我一个半小时的时间,漫长的下载编译完成之后开始进入学习.

我不知道这个学习过程是否正确,因为到现在我都没有对函数式编程有一个比较清晰的概念,甚至不知道为什么要学习函数式编程,只是看见自己代码中有太多的赋值有的时候会觉得很丑陋,而且据说函数式编程能够大大的减少代码量

之所以学习 hashell 就是想通过 haskell 来学习函数式编程,希望有所收获

根据 Learn you a haskell 一步步来,感觉 haskell 的简单数值运算有点像 python,还是比较清晰明了的,不同在于负数的操作,haskell 中直接操作负数会报错:

Prelude> 5 * -3 <interactive>:4:1: Precedence parsing error cannot mix `*' [infixl 7] and prefix `-' [infixl 6] in the same infix expression Prelude> 5 * (-3) -15 Prelude> 5 + -3 <interactive>:6:1: Precedence parsing error cannot mix `+' [infixl 6] and prefix `-' [infixl 6] in the same infix expression

所以操作负值的时候需要将负值放在括号内()

与或非 && || not 也都跟 python 没有区别

第一个函数

编辑 body.hs 文件:

doubleMe x = x + x

保存退出,然后再终端下的 ghci shell 中

Prelude> :l body [1 of 1] Compiling Main ( body.hs, interpreted ) Ok, modules loaded: Main. *Main> doubleMe 3 6 *Main> doubleMe 9 18

在haskell 中比较常见的是写一些比较简单的函数,然后由这些函数组成比较复杂的函数,平时工作中写代码应该也有经常这样写,虽然不是用 haskell,而是 python.

haskell 中的 if 遇见简直与 python 如出一辙,看见这种形势感觉颇为亲切.区别是 python 中是 a = 123 if a > 100 else a * x, haskell 中是 if a > 100 then a else a * 2

list

list 的形势跟 python 也有点类似,都是方括号 [] 加元素的形势组成,但是在 haskell 的 list 中,只能存在同一类型元素,不像 python 中可以存在[1, 'a', 4] 这种 list,还有值得注意的是 haskell 中的字符串即是一个有字母组成的 list.

在操作 list 的时候,如果长度不足或者 list 为空的时候会报错,而这种错误不会在编译的时候报错,为避免类似错误发生,需要谨慎应对 list,检测其长度 length [2,3,4] ,判断list 是否为空 null []

range

range 这个应该是比较提神的东西,甚至让我有点点小兴奋,看栗子:

ghci> [2,4..20] [2,4,6,8,10,12,14,16,18,20]

这种牛逼的手法貌似只在 bash 中见过

起床继续看 Haskell,感觉昨天晚上意犹未尽.

List Comprehension

Haskell 的 List Comprehension 略为碉堡,举个栗子:

ghci> [x*2 | x <- [1..10], x*2 >= 12] [12,14,16,18,20]

感觉有点用纯数学的方法来写代码,[x | x <- S, p x], 取 50 到 100 之间除以 7 余 3 的数字列表:

ghci> [ x | x <- [50..100], x `mod` 7 == 3 ] [52,59,66,73,80,87,94]

取两个列表中所有数字的积:

ghci> [ x*y | x <- [2,5,10], y <- [8,10,11] ] [16,20,22,40,50,55,80,100,110]

在教材看到说 list Comprehension 可以分成多行,并建议: **若非在 ghci 之下，还是将 List Comprehension 分成多行好，尤其是需要嵌套的时候。

#haskell

unicode_literals

from __future__ import unicode_literals

在邮件列表中看见有人在讨论github上面的内容,然后看见一阁大牛说”看见别人的python代码没有from future import unicode_literals就想fork改掉…”

之前代码中确实没有加这个,嗯,受教啦

from __future__ import unicode_literals

是python2.6 之后新增加的新特性,可以使得所有的字符串文本成为Unicode字符串.

In [4]: from __future__ import unicode_literals In [5]: a = '你好' In [6]: a Out[6]: u'\u4f60\u597d'

#python

Mac 下PostgreSQL 安装与连接

最近对PostgreSQL有写兴趣,就像搞着玩玩,中间连接数据库的时候竟然遇见一些小波折,记录一下

安装PostgreSQL

这个比较简单啦, mac 下面直接用

brew install postgresql

启动PostgreSQL

mkdir /usr/local/var/postgres # 建一个数据库存放的文件夹

initdb /usr/local/var/postgres/data # 初始化数据库

pg_ctl start -D /usr/local/var/postgres/data -l /usr/local/var/log/postgres/log.log # 启动数据库

createdb test #创建数据库

进行到此处的时候报错了,

psql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/var/pgsql_socket/.s.PGSQL.1921"?

这里是因为找不到postgresql 的sock 文件,在配置文件中更改配置

#unix_socket_directory = '' # (change requires restart) #unix_socket_group = '' # (change requires restart) #unix_socket_permissions = 0777 # begin with 0 to use octal notation 中的unix_socket_directory = '' 修改为: unix_socket_directory = "/var/pgsql_socket"

然后重启 PostgresSQL:

pg_ctl stop -D /usr/local/var/postgres/data -l /usr/local/var/log/postgres/log.log pg_ctl start -D /usr/local/var/postgres/data -l /usr/local/var/log/postgres/log.log createdb test

OK 了

#Linux #PostgresSQL

centos 上安装lxml 报错

之前遇见很多次,也查了很多次了,结果今天遇见这个问题的时候又Google了,

错误信息很长,最后一句是

error: command 'gcc' failed with exit status 1

再装lxml的时候出现错误很大的几率是因为米有装依赖:

libxml2-devel libxslt-devel

这些装上应该就不会错了

#linux

Python 之 enumerate

今天看到enumerate 这个函数,然后Google之,发现limodou大牛写过enumerate了~

enumerate 主要是用再类似的场景:

In [20]:for i in xrange(len(a)): print i, a[i] ....: 0 1 1 2 2 3 3 alkj

使用enumerate可以简化代码为:

In [21]: for i, j in enumerate(a): ....: print i, j ....: 0 1 1 2 2 3 3 alkj {i:j for i,j in enumerate('abcdef')}

#python

Python 之 yield

再阅读webpy代码的时候,看见yield这个函数,不懂他的用法,随手一搜,发现这个函数并不仅仅是一个简单的函数,而是generator(生成器),调用含有yield返回的是一个iterator(迭代器).

limodou大牛的Blog中讲了比较详细的yield的用法, http://blog.donews.com/limodou/archive/2006/09/04/1028747.aspx

生成器是可以迭代的,但是其中的值只可以取一次.

def creategenerator(n): for i in xrange(n): yield i + i mygenerator = creategenerator(4) // 例子1 for i in mygenerator: print 'first ' print i // 列子2 for i in mygenerator: print '2rd' print i

上面例子中的生成器,只在例子1中迭代了一次,例子2中无法继续使用.

总体上可以把yield理解成为return,区别在于执行到yield的时候,函数并不会中断,而是执行到函数完毕,执行过程中return,会爆出StopIteration终止迭代.

需要注意的是 creategenerator() 与creategenerator(4) 的不同,类似于类的定义与实例的区别.

#python

Python 设置debug的时候设置断点

之前都是使用 pdb

后来发现有个更好用的ipdb,是类似与python 与 ipython的关系,调试的时候可以自动补全

使用方法是再需要设置断点的地方

import ipdb; ipdb.set_trace()

#python

Python的eval 和exec

将dict 转为str 形式,然后在转为dict,这种情况eval无疑是比较快捷的方法

eval经常用来执行存储在字符串中的有效Python表达式。下面是一个简单的例子。

>>> eval('2 * 3') # 6 >>> eval("{'a':123,'b':321}") # 将字符串转换为dict {'a': 123, 'b': 321}

同时eval会使用当前环境的空间名,,还可以带入自定义字典

>>> x = 123 >>> eval("x * 3") 369 >>> ns = {"x":123,"y":20} >>> eval("x + y", ns) 143

exec语句用来执行储存在字符串或文件中的Python语句。例如，我们可以在运行时生成一个包含Python代码的字符串，然后使用exec语句执行这些语句。下面是一个简单的例子。

>>> exec 'print "Hello World"' Hello World

#python

pdsh 简单用法

虽然之前用过pdsh，但是因为平时工作都在开发，真正用的时候反而不多。怕忘，整理下发上来，算是加强记忆。

pdsh 全称Parallel Distributed Shell

用途：

1 批量命令执行

2 批量文件分发

优势

1 批量命令执行的高效率

2 一致性

使用场景：

一台中控机:发起执行pdsh命令

多台被控机:接受和执行命令

注意事项：

每台机器都需要安装pdsh

配置可以无密码ssh其他机器 > 最好是用证书登录

正确配置pdsh：

定义操作方式

* export PDSH_RCMD=ssh

定义操作目标

* export WCOLL=/tmp/hosts * wcoll:192.168.1.[2-34,56-60],192.168.1.[199-208]

使用netgroup 或者 dshgroup

* netgroup /etc/netgroup/ 中添加节点列表 pdsh -g group1 hostname * dshgroup /ets/dsh/group/ or ~/.dsh/group/ 中添加节点列表 pdsh -g group1 hostname

__ 使用machines__

* /etc/machines 中添加节点列表 pdsh -a hostname

命令执行：

$ pdsh -h Usage: pdsh [-options] command ... -S return largest of remote command return values -h output usage menu and quit -V output version information and quit $pdsh -V pdsh-2.18 (+readline) rcmd modules: exec,ssh (default: ssh) misc modules: netgroup,machines -q list the option settings and quit -b disable ^C status feature (batch mode) -d enable extra debug information from ^C status -l user execute remote commands as user *指定用户名* -t seconds set connect timeout (default is 10 sec) *设置链接超时时间* -u seconds set command timeout (no default) -f n use fanout of n nodes *设置同时连接的目标主机个数* -w host,host,... set target node list on command line *用来制定主机名* -x host,host,... set node exclusion list on command line *排除主机名，通常跟-g -a组合使用* -R name set rcmd module to name *执行命令的方法通常有rsh ssh exec* -N disable hostname: labels on output lines *不显示主机名* -L list info on all loaded modules and exit -a target all nodes -g groupname target hosts in netgroup "groupname" -X groupname exclude hosts in netgroup "groupname" available rcmd modules: exec,ssh (default: ssh) pdsh -h pdsh "date" # 返回client端执行date的结果 pdsh -w 192.168.1.[2-34,56-60] "date" pdsh "ping -c 3 www.google.com > /dev/null 2>&1"

还可以省略 command 部分,用来执行一系列不确定的命令：

$ pdsh -w ssh:[email protected] pdsh> hostname 10.2.8.202: gentoo pdsh> date 10.2.8.202: 2013年 01月 16日星期三 09:43:21 Local time zone must be set--see zic manual page

文件分发:

pdcp -w [email protected] ~/sunisdown/zhizhou.github.com/index.html ~/ pdcp /etc/hosts/ /etc/hosts pdcp -r /etc /

文件收集

rpdcp -w [email protected] ~/index.html ./

#pdsh

简单图论算法

再Pycn邮件列表里面看见的问题,我自己也没有想出很好的解决方法.(T_T) 弱爆了,

然后有一位兄弟给出解法

s = [[1, 2, 3, 4], [1, 2, 3, 5], [1, 9, 4], [10, 11, 12, 7], [10, 12, 4, 5]] c = {1:{2:{3:[4, 5]}, 9:[4]}, 10:{11:{12:[7]}, 12:{4:[5]}}} r = {} for row in s: _r = r if len(row) < 2: print 'error line', row for i in row[:-2]: _r = _r.setdefault(i,{}) k, v = row[-2:] _r.setdefault(k,[]).append(v) assert c == r

https://groups.google.com/forum/?fromgroups#!topic/python-cn/-7y9_-LpznQ

#python

BUG太多的反思

产品快上线的时候突然发现很多bug,然后现在再加班改bug,跟已经离职的jin哥哥说起来的时候,进哥哥一句话让我很惭愧:

为什么每次都是要在发布前发现很多bug，并且苦逼的加班呢？

反问自己,为什么一直到快要上线的时候,才发现N多bug?

之前一直赶进度,挺多的时候我对于自己代码的要求仅仅是能跑通测试,有的时候会有种感觉这里会出问题,但是跑通测试之后就把之前的感觉丢到一边.赶下一个进度,进度貌似永远也赶不完.可是把进度赶上去,却没有回头来看写完的代码,一直等到快上了,别人来对接的时候,各种问题就开始出现了~

这种情况有公司管理上的一些缺陷造成的，但其中有一些是可以通过我来避免的。公司管理上的问题我没办法改变，但是自己的这方面确实可以做得更好。

#反思

斐波那契数列

斐波那契数是一种比较简单的数列,数列中除了第一个数与第二个数之外,其他的数字都是前两个数字想加的和

如 [1,1,2,3,5,8]