易栈网-膘叔

看上去挺有用的，所以就记录下来了。
原文：http://www.javauu.com/thread-139-1-1.html

大家现在最常用的多线程下载工具，莫过于迅雷，因为其他下载的速度确实很快，大部分的网站都适用，但其最烦人的就是时不时会弹出一些广告资讯，虽然可以理解（因为迅雷爱钱）,但却相当讨人厌;

下面介绍几个步骤来去除已安装在你本机上面的迅雷的广告:
一、关闭迅雷资讯
1.打开迅雷,在"工具"菜单中点击"配置"选项,打开"配置"对话框.
2.切换到"高级"选项卡,清空"显示迅雷资讯"选框,点击"确定"按钮即可禁止自动弹出"迅雷资讯"窗口了.

二、清除小广告
1.先关闭迅雷,然后在迅雷安装目录下打开" Program"文件夹.
如: D:\ Program Files\Thunder Network\Thunder\Program

2.找到"gui.cfg"文件,双击它打开一个文本文档.
分别找到以"ADServer="," PVServer=","ADCountingServer="和HomePage="开头的四段字符,将"="后面的网址都删除掉

3.点击"文件"→"保存"按钮保存修改的文本文档后,关闭该文档
注意还没结束

4.用右键单击"gui.cfg"文件选择"属性",打开属性对话框
勾选"只读"选框,点击"确定"按钮.再重启迅雷那些讨厌的广告就统统不见了.

三、屏蔽热门推荐
1.先关闭迅雷,然后打开迅雷安装目录下的" Profiles"文件夹,双击"UserConfig.ini"文件打开一个文本文件.

2.按下Ctrl+F键打开"查找"对话框,输入"[Splitter_1]",点击"查找下一个"按钮找到该关键词所在位置..
在"[Splitter_1]"下方找到" Pane1_Hide=0",将0改为1,既" Pane1_Hide=1".

3.点击"文件"→"保存"选项保存文件后,再打开迅雷即可看到"热门推荐"窗口已经消失不见了

4.记住还要把UserConfig.ini的文件属性设置为"只读",这样迅雷运行时就不能更改里面的广告面板

经过以上设置,让人厌烦的的迅雷小广告和弹出窗口就统统被我们清除了,迅雷变得如此清爽,使用起来心里就舒服多了.

手册里也有，只是是英文版的，看到有中文的，就复制回来，做备份了。

下面列出了当前在 PCRE 中可能使用的修正符。括号中是这些修正符的内部 PCRE 名。修正符中的空格和换行被忽略，其它字符会导致错误。

i (PCRE_CASELESS)
如果设定此修正符，模式中的字符将同时匹配大小写字母。

m（PCRE_MULTILINE）
默认情况下，PCRE 将目标字符串作为单一的一“行”字符所组成的（甚至其中包含有换行符也是如此）。“行起始”元字符（^）仅仅匹配字符串的起始，“行结束”元字符（$）仅仅匹配字符串的结束，或者最后一个字符是换行符时其前面（除非设定了 D 修正符）。这和 Perl 是一样的。

当设定了此修正符，“行起始”和“行结束”除了匹配整个字符串开头和结束外，还分别匹配其中的换行符的之后和之前。这和 Perl 的 /m 修正符是等效的。如果目标字符串中没有“\n”字符或者模式中没有 ^ 或 $，则设定此修正符没有任何效果。

s（PCRE_DOTALL）
如果设定了此修正符，模式中的圆点元字符（.）匹配所有的字符，包括换行符。没有此设定的话，则不包括换行符。这和 Perl 的 /s 修正符是等效的。排除字符类例如 [^a] 总是匹配换行符的，无论是否设定了此修正符。

x（PCRE_EXTENDED）
如果设定了此修正符，模式中的空白字符除了被转义的或在字符类中的以外完全被忽略，在未转义的字符类之外的 # 以及下一个换行符之间的所有字符，包括两头，也都被忽略。这和 Perl 的 /x 修正符是等效的，使得可以在复杂的模式中加入注释。然而注意，这仅适用于数据字符。空白字符可能永远不会出现于模式中的特殊字符序列，例如引入条件子模式的序列 (?( 中间。

e 如果设定了此修正符，preg_replace() 在替换字符串中对逆向引用作正常的替换，将其作为 PHP 代码求值，并用其结果来替换所搜索的字符串。

只有 preg_replace() 使用此修正符，其它 PCRE 函数将忽略之。

注意: 本修正符在 PHP3 中不可用。

A（PCRE_ANCHORED）
如果设定了此修正符，模式被强制为“anchored”，即强制仅从目标字符串的开头开始匹配。此效果也可以通过适当的模式本身来实现（在 Perl 中实现的唯一方法）。

D（PCRE_DOLLAR_ENDONLY）
如果设定了此修正符，模式中的美元元字符仅匹配目标字符串的结尾。没有此选项时，如果最后一个字符是换行符的话，美元符号也会匹配此字符之前（但不会匹配任何其它换行符之前）。如果设定了 m 修正符则忽略此选项。Perl 中没有与其等价的修正符。

S 当一个模式将被使用若干次时，为加速匹配起见值得先对其进行分析。如果设定了此修正符则会进行额外的分析。目前，分析一个模式仅对没有单一固定起始字符的 non-anchored 模式有用。

U（PCRE_UNGREEDY）
本修正符反转了匹配数量的值使其不是默认的重复，而变成在后面跟上“?”才变得重复。这和 Perl 不兼容。也可以通过在模式之中设定 (?U) 修正符或者在数量符之后跟一个问号（如 .*?）来启用此选项。

X（PCRE_EXTRA）
此 修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式中的任何反斜线后面跟上一个没有特殊意义的字母导致一个错误，从而保留此组合以备将 来扩充。默认情况下，和 Perl 一样，一个反斜线后面跟一个没有特殊意义的字母被当成该字母本身。当前没有其它特性受此修正符控制。

u（PCRE_UTF8）
此修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式字符串被当成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用，在 win32 下自 PHP 4.2.3 起可用。自 PHP 4.3.5 起开始检查模式的 UTF-8 合法性。

ZEND FRAMEWORK要想正常的在ubuntu的AMP平台下运行 ，得打开apache的rewrite模块。这和windows下面把rewrite前的注释去掉可不一样。

进入命令行：a2enmod rewrite

会提示你成功打开rewrite模块

然后:

/etc/init.d/apache2 force-reload

重新加载一下，不过，这样还是不能成功的，因为默认的virtualhost中 有一个参数的值默认为NONE，要改成ALL

运行 ：

vim /etc/apache2/sites-enabled/000-default

修改

<Directory /var/www/>
Options Indexes FollowSymLinks MultiViews
AllowOverride None
Order allow,deny
allow from all
</Directory>
把AllowOverride None 的 None 改为 All

然后

/etc/init.d/apache2 restart

OK，现在运行ZEND的例子，正常了吧，呵呵

如果按照ZEND的手册，在使用Zend_Paginator类的时候有两种方法，一种是直接new，一种是用factory
当然，用factory是很方便的。只需要Zend_Paginator::factory( $array )就行了
可是，如果这个array很大怎么办？它没有说。。
即使是new Zend_Paginator( Zend_Db_xxx ?$array )［不记得括号中是哪个abstract了］，如果数据量大，他也没办法的呀？？

今天白天我试着一下子查询了1W多条，立马死掉。
我看网上的例子，大多是要么直接传结果，要么是传 ZEND_DB的查询对象进去。但结果集都不大的，所以顺利运行 了。我不知道结果集是上万的时候会怎么样，呵呵

最后我是采用了先COUNT出总数，然后用range生成一个大数组传组 Zend_Paginator::factory() ,因为我看他里面的计数是用count的，所以我对factory的数组参数就直接传了这个range出来的数组给它。

结果，成功了，看来，这也就可以了。只是方法有点妖而己。。

记录一下，备忘一下。

Config文件
[paginator]
page.pagemax = 10
page.pagestart = 1
page.itemperpage = 25

在文件里

<?php
//...前面略
$request = $this->_request ;
$currentPage = $request->getParam('page');
$result = $table->fetchAll( ... 条件 );
$resultCount = $table->getCount( ... 条件 ); //文件自己实现
$resultCountArray = range( 1, $resultCount ); //到底是从0到resultCount-1好，还是直接从1到$resultCount好，我没有仔细测试过

$paginator = Zend_Paginator::factory( $resultCountArray );
$paginator->setCurrentPage( $currentPage )
->setItemPerPage( 25 ) //这个方法可能写错了，我是凭记忆写的，请看手册
->setPageRange( 10 );
$this->view->paginator = $paginator;

部分参数在获取失败的情况下，会直接从Config文件里读取，这里就不详细写了，大致应该是：

<?php
//.....略
$config = new Zend_Config_Ini('...path...' , 'paginator' ); //即Config中[]包含的文字

$pageMax = $config->page->pagemax ;
//取出来的每条数据都是对象了

这四个命令可能用的最多的还是chmod，改变权限

该命令在PHP中有模拟实现，在linux下使用方法大致为
chmod -R 0777 目录名

参数 -R 表示遍历

该变目录的所有者
chown -R aaa.bbb 目录名
-R同样为遍历 aaa为组bbb为用户

chgrp 好象没有-R 功能，用法与chown一样

tar功能常用的就是解压和打包

解压时，大多为tar zxvf xxxx.tar.gz

打包时：tar zxvf xxx.tar.gz 目标目录

在ubuntu SERVER最初创建的时候就可以选择samba进行安装，如果你没有安装过，那就先运行
apt-get install samba
在网上看到还有资料写需要安装smbfs，不知道有没有什么用。

安装成功后，进入samba目录：/etc/samba
先备份，smb.conf文件
cp smb.conf smb.conf.bak
然后打开smb.conf
找到 ; security = user
把前面的分号注释掉，再加上一行
username map = /etc/samba/smbusers
（这个文件是不存在的，到时候需要单独建立）

还在smb.conf文件里，找到[global]
默认在ubuntu里面workgroup = WORKGROUP，好象说有的版本是 workgroup = MSHOME，如果是这种就改为WORKGROUP吧，毕竟在XP里面工作组都是workgroup
再加上：
display charset = UTF-8
unix charset = UTF-8
dos charset = cp936

再到文件的结束处加上
[www]
comment = '这是该共享的注释'
path = /var/www
public = yes
writable = yes
valid users = www
create mask = 0777
directory mask = 0777
force user = nobody
force group = nogroup
available = yes
browseable = yes

保存退出。
然后打开smbusers文件，加入
www = "netwok username"
保存退出

运行
useradd www
添加一个Www用户
再运行smbpasswd -a www
为www的访问设定一个密码

现在就OK了，使用testparm看一下smb的情况
最后/etc/init.d/samba restart
重启。
OVER
在windows下面就可以访问了。。。

下面是对配置的简单注释
[www] //这是共享时显示的名称
comment = '这是该共享的注释' //注释
path = /var/www //路径
public = yes //是否开放
writable = yes //是否可写
valid users = www //访问的用户
create mask = 0777 //创建权限 （0777为最大权限）
directory mask = 0777 //目录权限
force user = nobody //目标用户
force group = nogroup//目标组
available = yes //是否启用
browseable = yes //是否可浏览

突然怀念起几年前，walkerlee、hihiyou、我还在为了NC进行打拼，也曾为了某个正则几乎通宵不睡在测试。其实在NC前已经有过多款的采集软件，但其实都是属于功能单一情况，如：开花石头的逆向小偷等。NC只是一款整合了一起功能的采集软件，也算是开创了先河吧？反正自那以后，采集程序越来越多，先是剑枫，然后是小蜜蜂，再后来是火车头，采集软件越来越多之后，随之而来的就是性能问题，采用WEB方式的采集，不可避免的就是性能。你没有办法控制一个WEB页面不会超时，而且PHP由于自身的执行方式，也就不可能是多线程执行，后来大多数人，采用了iframe的方式，让一个页面打开十个左右的iframe然后根据执程的ID来进行判断。

过去的事情，总是让人怀念，在看到这个作者写类似的采集时，感慨的同时，留一份备份，以作纪念

原文：http://www.cnblogs.com/hongyin163/archive/2009/02/11/1388615.html
内容：

最近公司需要开发一个简历导入功能，类似博客搬家或者邮箱搬家，之前抓取信息是利用火车采集器，但是简历导入功能需要用户登陆以后才能获取简历数据，无奈只好自己开发了。

首先是遇到的问题是：如何实现模拟登陆？

我们知道一般的网站都是通过Cookies来维护状态的，我抓的网站也是支持利用Cookies来验证用户的，构造一个post数据包，向服务器提 交数据，在配置火车采集器的时候，也是要先利用WSockExpert.exe工具获得Post数据包，之后修改用户名和密码，向服务器提交的。

提交了登陆数据后还没完成登陆，虽然服务器会返回登陆后的页面数据，但是如果在进入其他的链接页面，还是不允许的，因为服务器每次都需要通过你提交 过去Cookies来验证你是否登陆，在asp.net里，利用Cookies存储身份验证票证，每次都需要向服务器提交的，初学asp.net总是弄不 明它的form验证机制，它封装了太多信息，虽然用几行代码就能实现验证，后来看了些web开发基础知识才弄明白，在这个你需要保存上次登陆后返回的 Cookies，在下次有其他请求时带上这个Cookies就可以了，怎么带上呢？下面是我在.net里的实现，很简单！

利用HttpWebRequest类的CookieContainer来保存，这个CookieContainer会保存服务器回传的 Cookies，但是前提是你在初始化HttpWebRequest的时候，记得实例化这个CookieContainer，一般的请求不需要实例它的， 简单的代码如下：

httpWebRequest = (HttpWebRequest)HttpWebRequest.Create(URL);
httpWebRequest.CookieContainer = new CookieContainer();
httpWebRequest.ContentType = "application/x-www-form-urlencoded";
httpWebRequest.Method = "POST"

为了能全局使用这个CookieContainer ，你可以把它作为全局变量，这样在下次request的时候将其赋给CookieContainer 属性就行了。

详细了解CookieContainer 见：http://msdn.microsoft.com/zh-cn/vstudio/system.net.cookiecontainer(VS.80).aspx

维护了这个CookieContainer 后，我们就可以访问登陆后的页面了，模拟登陆问题解决。

其次遇到的问题自然是：如果从网页上获得想要的信息？

要在网页抓取信息，实现起来最简单，同时也是最繁琐的方法，那就是模板方法获取了，从火车采集器的配置过程看出来，它也就是用这种方法而已，不过 人家能把抓取器做成成熟的产品，并且热卖，这个比不了，所以成功与否不完全取决于技术，火车采集器虽然配置起来挺繁琐，但是用起来还不错。

用这种方式你需要做个一个模板，你需要知道目标网页的结构，知道要找的信息在什么地方，之后记录在它的前面和后面的字符串，你可以利用截取字符串的 方式获得目标信息，也可以利用正则标式获得，要保证前面和后面的字符串是唯一的，很简单，计算一下，或者匹配一下就可以获得目标信息，但是实际做起来还是 会遇到一些问题：

下面是我遇到问题;

1.首先我是想利用正则表达式匹配，但是模块里设置的前缀和后缀里有回车换行\r\n,结果总是匹配不成功，我正则的功底很差，最后知道怎么回事了，把\r\n替换成(\s*)，问题解决，您可以想出为什么了吧？

2.利用字符串截取方式获取，在正则还不是很精通，用这种方式最保险了，但是在截取字符串前记得调整下目标页代码，从xml配置文件里读取的前缀和 后缀中可能有回车和换行，但是回车换行在不同系统里字符表现是不一样的，Windows里是\r\n,Linux里是\n，所以要记得统一。

3.前后缀不唯一，有时在页面里有两个不同的目标信息，但却有相同的前缀，比如：

<td width="25%" class="ResTbLfPd">数据库</td>
<td width="25%" class="ResTbLfPd">软件工程师</td>

如果用相同的前缀就比较难截到想要的信息了，我想了个办法，当然方法可能比较笨，但是问题解决了，也是火车给我的启示，利用多个字符串定位目标信息，比如我想抓去 软件工程师 ，前缀就是：

<td width="25%" class="ResTbLfPd">*</td>
<td width="25%" class="ResTbLfPd">

在信息可能不同的地方用*代替，类似通配符，这样利用*将一个字符串切割为两个，先找到第一个，之后以这个索引位置为起点，再找第二个字符串，这样就可以定位到最终的信息了，同样可以用多个字符串三个或更多，这样实现是解决了问题，希望有更好的方式，希望以后会改进。

4.在抓取信息的时候还可以利用MITHtmlPparser，这是一个开源的类库，在codeproject找搜到的，将网页内的所以标签都分析出来，如果获取信息不是很多、很碎的话，用这个也比较好用，只需知道那个最终要得到信息在那个标签里，然后直接取出就行了。

好了，希望在新的一年里能学到更多，能经得住考验！

题前话：
其实以前也看到过类似的东西，但是我没有想到进用gzip之类的加密，看来，即使是见过的东西，也有不熟悉的。看到作者这样仔细的分析相类似的资料，当然要备份一点。
原文：http://www.zendstudio.net/js-zip-inflate/
AJAX还是比较强大的！（显然，这是一句废话），最近在研究一个网站的AJAX应用中发现其中的“拓展视野”部分频频被挖掘出来（也由此可见，平时本人 的视野有多么的狭窄了），首先是全站的JS全部使用packed进行了压缩，呃！也不知道这种称法是否正确，就是用 eval(function(p,a,c,k,e,d){})的那种世界各地都很流行的压缩方法吧，在实际的观察中，一个压缩后仅为6K，在我将其转化为 “肉眼能看清楚的代码”之后，足足有20K，可见其效果还是相当明显的；此外，用HttpWatch弄到了传输数据后，居然是加密的。。。形如下面这段：

q1YqT81MzyhRsqpWys3MU7Iy0FHKTaxQsjLWUUrLL8pNBMooqeoZpSnV6igVFGUmp2KoVDIzMrIwNdAzMFBC1pOiVFsLAA==

任何一个有些许密码学经验的同志都容易很看出来，这是base64编码(我实在不喜欢称这个为“加密”)，没错，和各位看官一样，我很快就用php自带的base64_decode函数对其进行了解密，如果您觉得问题到此为止，那就错了！这时我才稍稍感到了有些震撼，解密出来的数据：
partitionserver.rar
呃！一堆乱码，其实应该是二进制数据，加密了（后来知道是压缩了），可是用户是看不懂这些的，客户端是肯定要进行解密的！用什么？AJAX的当然用JS解密了，挖解密函数啊，挖解密函数，看到了如下的精彩代码：

var filterList=eval('('+utf8to16(zip_depress(base64decode(g_pgFilterList)))+')');

utf8to16()和base64decode()都好理解，也再一次证明加密的最后是用base64编码输出的，关键就是这个zip_depress()，zip解压？
是的，千真万确，用JS实现了zip的解压算法！！！到这里我深深的感到了震撼，原来，我知道的真的太少了啊！虽然之前知晓有md5.js，知道JS在运算方面是没有问题的。不会是这家伙自己写的压缩算法吧？经过搜索，我找到了这个算法（Zip inflate）的原版，原来该网站的制作人员修改了函数名，难怪我直接google不到呢？

inflate是GZip, PNG等广泛使用的解压算法,linux也使用inflate对内核进行解压.inflate的解压算法使用的第3种快速解压法的一个子集,它不考虑 LONG_CODE,同时把SAME_LENGTH合并到MEDIUM_CODE。而对于规则的SAME_LENGTH编码，比如length和 distance编码，inflate则使用额外的base和extra表示。这是因为在构造一般的查找表时，虽然对于SAME_LENGTH前缀可以不构造副表，但我们需要另外一个表格来保存符号的顺序，而这个表格的空间可能更大。但对于length和distance编码，他们的顺序是递增的，所以无需额外的表格来保存符号的顺序。

inflate使用root表示上述的b,查找表的数据结构为code.主表和副同时保存在inflate_state结构中的大数组codes[ENOUGH]中.表的构造函数位于inftrees.c文件的inflate_table中.

{"weight":{"min":0,"max":3,"format":"%.2f"},"price":{"min":0,"max":"622850.00","format":"%d"}}

标准的JSON数据啦，不错！这就为以后的AJAX的传输上多了一个选择，虽然还不确定这种方法能否节省流量（因为base64算法会将原始数据“稍稍” 增大），但客户端有了解压算法，服务端的php压缩函数又是现成的，大不了在base64这个环节上大概需要改进下，我想对于大流量的数据应该还是有确切 效果的。嗯，我很满意。
————————
看完以上的内容，嗯，我也很满意，呵呵

给自己提醒， 回忆未来张宴的网站上有一些例子不错，正好自己又装了虚拟机，看来是应该根据这些资料好好的学习一下了。这样也可以让自己更加熟悉linux下面的操作。

再次提醒自己
呵呵。不能忘了

目前我还是利用系统自带的apt来进行安装的，所以相对还是比较简单的：
apt-get install apache2.2-common apache2 php5-mysql mysql-server-5.0 mysql-client mysql-common
就可以直接安装了。安装过程中会有提示你设置MYSQL的密码，主要是指ROOT的。

如果是用新立得安装那就更简单了，只要根据你需要的模块进行安装就行了。（以前我都是这样搞的，但是这次是用的SERVER，没法直接用新立得）

顺便说一下，网易的源速度真的不错。
感谢网易在开源方面的贡献。谢谢

使用默认的apt-getp安装的时候，它的配置在/etc/apache2/apache2.conf里，而不是大家所熟知的httpd.conf，而virtualhost的配置是在/etc/apach2/site-enabled/目录里，里面有一个默认的000-default文件，这就是默认的webroot的配置，我们可以很清楚的看到，webroot被定义在/var/www目录下面

由于是使用 apt 进行的安装，所以对于PHP等的扩展，也必须使用 apt才行，否则你会感觉到很迷惘。