2014年3月

在这春风明媚的日子里,有位T同学很苦恼。忙碌了一整天,有个BUG愣是定位不出来。简单描述呢,现象是这样子的:

第一次处理是正常的,但是后续的处理就是报错。sendto()调用错误码是 EISCONN(已被连接)。

忧伤的问题

当然,代码BUG的范围也很快确定了,就是新加入的statsd-client-cpp工具库里。代码量不到两百行,失败的地方就是在sendto()的执行里(代码看这儿)。一看错误码(EISCONN,比较少见),说“socket已经被连接”——但咱这明明是UDP协议啊,无连接无connect的!

T同学咨询了周围的大师们,翻阅了《Unix网络编程》(没错,这书在上次的故事里也出场了!),里面说:

sendto()函数的执行流大约是这样子的:

  1. 连接套接字;
  2. 输出数据报文;
  3. 断开套接字连接;

无语了。按照圣经里说法,连接都是被断开了的啊!还怎么会报错“已被连接”?!!

失败的补救

T同学比较耿直,对付BUG比较直接粗暴:报啥错误就解决啥错误!思路有俩:

  1. 人肉断开它!
    这个实际上是行不通的(只能整个儿socket关闭销毁掉,不能只断开)
  2. 连接了也继续发!
    虽然一般情况下UDP协议的程序都是不管连接直接发sendto()的,但是先连接后再write()也是可行的。

于是按照方法2搞起!然而,实践证明这是不给力的,UDP对端根本没有收到任何数据!

正确的思路

这种头痛医头、瞎试几次的做法,本质上就不能算正确的方法。我们的思路应该是:

  1. 收集现象
  2. 分析原因
  3. 验证方案
  4. 解决问题

上面折腾了这么久,基本上还是只有一个错误码和代码出错的位置,现象数据太少了。T同学冷静下来后,开始祭出大杀器strace工具程序!
strace程序能够捕抓系统调用(system call),并把这些调用接口的时间、参数、返回值、耗时等等都记录下来;输出信息可读性相当的高(比起gdb爽多了),能反映出系统最底层的运行状况,是后台开发程序员的居家旅行必备的强(zhuang)大(bi)工具。

神奇的零

具体strace的过程就不多说了。调整进程数量、执行strace、查看log、研究执行状况:

strace32 -s 10086 -o /tmp/Strace.log -tt -p $(pidof -s get_api_key)

强大万能的strace

终于发现一个关键现象:每次的连接socket()返回值都是0!
这里稍微解释一下,为什么零值会是很特殊:socket()返回值表示的是文件描述符;在POSIX标准里,有三个特殊的文件描述符值0、1、2,分别是STDIN(标准输入)、STDOUT(标准输出)、STDERR(标准错误)。所以默认情况下,零值都会作为STDIN(标准输入)使用;只有当程序主动关闭了STDIN时,系统才会分配0值给socket()使用。

所以这时候思路有两个了:

  1. 假如系统分配的0值是正确的,那么得寻找0值后来被“弄坏”(已连接)的出现地方;
  2. 假如系统分配的0值是错误的,那么一定是某处BUG“失误”把STDIN释放掉了;

这种“辩证”的思路,让我忽然想起了《撸撸姐的超本格事件簿》里的给出各种伪解答搞笑助手:每次破案分析都至少有正反两个思路,看起来毫无盲点,但总是被撸撸姐指出第三种情况!哈哈哈!!!不过在现实场景里,正反两面都深入思考的做法,一般帮助很大的。

谁弄坏了0

所以0是被谁弄坏的?怎么弄坏的?

为了深入探究这个问题,得先了解一下程序运行的环境。这个工具库之前已经在现网的服务器里跑了很久,也有两个简约的单元测试。都没有发现过问题。这次是在往CGI接口里使用,运行环境是QZHTTP+FastCGI。

所以正常情况下,STDIN应该是CGI与qzhttp收包程序之间的连接,用来传递HTTP请求报文。而分析到的一个现象是,CGI程序的功能完全正常!也就是说程序之间传递数据(STDIN)是正常的……等等,STDIN(0值)不是分配给我们用吗??为毛还不影响功能啊啊啊???

秘诀就是——dup2(a, b)!!这个函数能够把一个文件描述符的信息拷贝到另一个描述符里!所以文章最初出现的“EISCONN”错误的原因是:

原本UDP无连接的socket,被人用dup2()“篡改”了,于是就变成了另外的文件描述符,出现了“已连接”的状态。

写个小程序验证了一下,果然能够随便拷贝到STDIN描述符里!!!而再次strace抓包查看,也发现了明显的dup调用:

dup2调用证据

可以清晰看到对STDIN、STDOUT都做了dup2()操作!!!太邪恶了!!!火速在万能的StackOverflow.com上也找到了一篇关于0值的问答,里面有人提到了如何解决这个问题!那就是把0、1、2预留下来给系统!老子不陪你们玩零了!!(傲娇地离去!)

另一个思路

等等,刚才怎么这么快就进入了“解决问题”的节奏??? T同学的案例虽然因为屏幕不够长被滚动掉了,但是我们要分析所有的现象找到原因啊!

于是进入刚才的第二个思路:是谁把STDIN给关闭了??

STDIN被close()的证据

深入strace的log,发现close(0)首次出现的位置没有太特别,距离后来socket()和sendto()调用很遥远,暂时发现不了什么(后来细想,考虑时序其实是个误导)。

不过,因为是新引入的库导致了这个问题,基本上猜测要么就是库代码有BUG,要么是库和QZHTTP不兼容。重新阅读代码中与close()有关的片段,尝试梳理一下思路.果然发现一个问题:

代码中的close()

d->sock是个关键的值,而且没有初始化!一般来说变量没有初始化,会是一个随机的值;但是我们的场景里,StatsdClient对象是一个单体实例,以static限定符实现的——所以是有初始值0的——刚好触发了BUG。

解决

再次核对代码逻辑和strace的log,脑补了一下执行的流程,基本上就确认BUG的原因就是这里了。

所以啊,在构造函数里增加一个初始化 d->sock = -1; 问题解决了。

写到这里的时候,忽然想起上两周给赵总用这个工具库,他也出现了一些诡异问题。当时他的现象是:随机出现accept错误。现在看来BUG原因都是一个,只不过赵总的使用方式是临时变量,没初始化的值就是随机值,因此偶然触发故障(他当时引起的是accept失败,也是描述符问题)。而这次是必现的问题,定位起来轻松一些。

思考

所以,要保持良好的代码编写习惯。顺手初始化了,就不会有这么纠结的问题了。(T同学浪费了一个春风明媚的周五,我错过了一个骑车回家的清凉傍晚。)

另外,厚脸皮承认,这个库是我写的,BUG也是我弄的。

今天code review时,同事B对我代码中的poll()的处理做法提出了异议。于是做了些研究,还发现了一些好玩的故事。

异议的代码

我的代码是参考manpage写的,类似下面的做法。同事B说没有处理POLLERR、而且应当使用else if

OK。我赞同补充POLLERR的处理,但不赞同使用else if。原因:

  • fd的读事件、写事件可能会同时到达,因此我想同时处理这两个事件;
  • Linux Manpage里面的示例,就是三个if语句独立的。
ret = poll(fds, 2, timeout_msecs);
if (ret > 0) {
    /* An event on one of the fds has occurred. */
    for (i=0; i<2; i++) {
        if (fds[i].revents & POLLIN ) {
            /* Priority data may be written on device number i. */
            ...
        }
        if (fds[i].revents & POLLOUT ) {
            /* Data may be written on device number i. */
            ...
        }
    }
}

诡异的经历

但是同事B举出了他偶然体验到的诡异经历:

POLLIN, POLLOUT, POLLERR同时出现。

在这种异常下,我的代码处理逻辑就会坑爹了。

于是问题变成了,什么情况下会出现这种诡异场景、三个事件同时出现究竟是什么含义?

翻阅《UNIX环境高级编程》、《UNIX网络编程》里面对poll()的讲解,均没有提到信号是否会同时出现的问题(所以也没提到该不该用else if的事情了)。

在Github上查找POLLERR相关的代码,发现大多数人都是用3个if语句处理这三个事件。那真相究竟是啥?

牛人的解答

百般搜索,终于在StackOverflow.com上看到有人提到了一个相似的问题:

Sometimes epoll_wait returns with both POLLOUT & POLLERR events set for the same socket descriptor.

终于下面有大神做了解答

Here is some good information on non-blocking tcp connect().

When a socket error is detected (i.e. connection closed/refused/timedout), epoll will return the registered interest events POLLIN/POLLOUT with POLLERR. So epoll_wait() will return POLLOUT|POLLERR if you registered POLLOUT, or POLLIN|POLLOUT|POLLERR if POLLIN|POLLOUT was registered.

Just because epoll returns POLLIN doesn't mean there will be data available to read, since recv() may just return the error from the non-blocking connect() call. I think epoll returns all the registered events with POLLERR to make sure the program calls send()/recv()/etc.. and gets the socket error. Some programs never check for POLLERR/POLLHUP and only catch socket errors on the next send()/recv() call.

翻译一下:

这儿有些很赞的关于非阻塞TCP connect()的信息。

当一个socket出现错误时(例如 连接断开/拒绝/超时),epoll()会返回POLLERR加上注册时的POLLIN/POLLOUT事件。所以,如果监听的是POLLOUT,那epoll_wait()会返回POLLOUT|POLLERR;如果监听的是POLLIN,那epoll_wait()会返回POLLIN|POLLERR。

注意epoll()返回POLLIN并不表示会有数据可读,因为recv()会立刻返回前一个错误码(即非阻塞的connect()调用)。我个人认为epoll()返回所有的注册事件加POLLERR,是为了确保程序会调用send()/recv()等等,进而发现socket出错了。毕竟有些代码从来不检测POLLERR/POLLHUP,只折腾send()/recv()等函数的错误码。

呵呵,Github上翻看了这么多代码,的确是大神说的样子。

验证

所以同事B的经历是常见的场景。而且很容易就能够触发。只要在连接上闹些问题,就能达到目的了。例如下面这段代码演示了连接失败时,POLLERR/POLLIN/POLLOUT事件都同时触发了。

示例中使用了getsockopt()来获取错误码;也可以直接使用read()/write()也是能够获取相同的错误码。

深入探究

StackOverflow的大神只做了简要的解答。真正的原因只能自己去翻看代码了。

翻阅内核代码(我的系统版本是Linux-2.6.32.57-x86 ),可以看到在tcp_poll()里(net/ipv4/tcp.c的389行,我的场景是TCP),对于所有sock错误都置了POLLERR。而异常情况下,POLLIN/POLLOUT则分别与RCV_SHUTDOWN/SEND_SHUTDOWN有关。换个视角,和连接断开有关的代码在tcp_reset()中(net/ipv4/tcp_input.c的3957行)的处理,里面的tcp_done()代码)则明确设置了sk->sk_shutdown = SHUTDOWN_MASK——所以,对于关闭的连接,总是会有POLLIN/POLLOUT事件!

研究到此解决。真相大白。

所以啊,我还是听取同事B的建议,加个else if优化一下处理逻辑吧。

简介

django-oscar 号称是 “Domain-driven e-commerce for Django”,域名驱动Django电商框架,特点是默认集成了很多组件和功能、界面,属于能够快速就上手使用的良心框架。

主要特色有:

  • 典型电商数据模型
  • 店家管理仪表盘
  • 账户与Django-admin系统整合
  • 自带bootstrap样式的网站界面
  • 自带两个版本的site示例

其中电商数据模型有:

  • 产品管理(类别和属性设定、数值和图片快速导入)
  • 客户和订单管理
  • 供应商和库存管理
  • 促销管理
  • 评价管理
  • CMS管理:独立页面、邮件目标
  • 报表管理
  • 支付管理(似乎还不太完善)

听起来是不是很齐全呢?省去好多开发工作,提升生活质量啊!

安装(Sandbox版)

其实,最快上手一个框架的做法是,拿到一个成品,看看如何配置如何使用。Django-oscar项目就贴心地附带了一个sandbox版本,可以无需开发代码就运行起一个电商网站,爽!文档里只是简单提到了这回事,但是没有给出具体步骤。来,跟着我做:

  1. 首先是下载完整版的代码包。(发行版或者pip之类的工具安装的只有框架,不包括Sandbox示例网站的)

    wget https://github.com/tangentlabs/django-oscar/archive/0.6.3.tar.gz

  2. 解压

    tar xf 0.6.3.tar.gz;

  3. 在安装django-oscar之前,得先安装python-dev和图形库(因为有个PIL库需要编译)

    sudo apt-get install --yes python-dev libjpeg-dev libpng-dev

  4. 安装django-oscar框架(它会自动安装依赖的其他包)

    `cd djang-oscar-0.6.3
    python setup.py install`

  5. 按照 requirements.txt 里的说明,安装Sandbox额外的依赖包

    `sudo apt-get install python-pip
    sudo pip install whoosh pysolr django-rosetta django-debug-toolbar-template-timings django-extensions`

  6. 进入到sandbox目录,初始化数据库(会提示创建管理员账户)

    `cd sites/sandbox/;
    python manage.py syncdb
    python manage.py migrate`

  7. 导入商品数据

    提供的示例数据在fixtures/目录,里面有三类

    • json文件: 符合django规范的数据集,直接写入数据库
    • csv文件:oscar提供的简单商品数据模板(后续再仔细解释)
    • iamges.tar.gz文件:图片文件压缩包

    三类数据分别用三个命令导入:

    `python manage.py oscar_import_catalogue fixtures/*.csv
    python manage.py oscar_import_catalogue_images fixtures/images.tar.gz
    python manage.py loaddata fixtures/*.json`

  8. 运行开发模式服务器

    python manage.py runserver 0.0.0.0:8000

  9. 访问http://127.0.0.1:8000/,就能看到网站咯!酷!

首页的所有功能都是完整可用的(除了下订单后无法付款……)
首页图片

仪表盘的入口在右上角;或者直接输入URL:http://127.0.0.1:8000/dashboard/

管理仪表盘

Admin数据库在界面上没有入库,需要手动输入URL:http://127.0.0.1:8000/admin/

Admin数据库界面

下集预告

怎么样,感觉是不是很简单就搭建好一个网站了呢?django-oscar的特色就是这样,集成了很多组件和功能,节省许多开发工作。下一集以配置一个油画电商网站为目标,主要会介绍:

  • django-oscar 的组件名词解释
  • 如何配置一个新的产品类别和属性
  • 如何录入产品

依旧不用写代码!敬请期待!