hadoop学习过程-2013.08.29--爬虫larbin安装、配置、使用

发布时间:2016-12-7 5:45:40 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"hadoop学习过程-2013.08.29--爬虫larbin安装、配置、使用",主要涉及到hadoop学习过程-2013.08.29--爬虫larbin安装、配置、使用方面的内容,对于hadoop学习过程-2013.08.29--爬虫larbin安装、配置、使用感兴趣的同学可以参考一下。

安装 uname -a ### 输出:   "Linux vmDeb 3.2.0-4-686-pae #1 SMP Debian 3.2.46-1 i686GNU/Linux" apt-get install build-essential xutils-dev -y ### xutils-dev中含有makedepend tar -zxvf larbin-2.6.3.tar.gz cd larbin-2.6.3/ chmod uog+x configure ./configure ### 如果不安装xutils-dev,这里会报错"make[2]: *** [dep-in] 错误 127", 是因为没有makedepend make ### make中出现的错误解决方案见文件 : "Larbin安装中的错误的解决.mht" #其中遇到问题: # "/usr/include/i386-linux-gnu/asm/posix_types.h:2:30: fatal error: posix_types_32.h: 没有那个文件或目录" # "In file included from /usr/include/linux/posix_types.h:47:0," #将/usr/include/linux/posix_types.h的47行注释掉,再make即可 ./larbin #即可运行起labrin了 "Larbin安装中的错误的解决.mht"来自网络,内容如下: Larbin的使用--安装 1、到网上下载 larbin-2.6.3.tar.gz,然后解压。 tar zxvf larbin-2.6.3.tar.gz 2、 到解压的目录,运行配置文件 ./configure 却出现以下的错误: make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/utils' makedepend -f- -I.. -Y *.cc 2> /dev/null> .depend make[2]: *** [dep-in] 错误 127 make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/utils' make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/interf' <span style="color: rgb(255, 0, 0);"><strong>makedepend</strong></span> -f- -I.. -Y *.cc 2> /dev/null> .depend make[2]: *** [dep-in] 错误 127 make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/interf' make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/fetch' makedepend -f- -I.. -Y *.cc 2> /dev/null> .depend make[2]: *** [dep-in] 错误 127 make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/fetch' make[1]: *** [dep] 错误 2 make[1]:正在离开目录 `/home/byd/test/larbin-2.6.3/src' make: *** [dep] 错误 2 在上面发现有makedepend,于是输入 makedepend 发现没有安装,有如下的提示 The program'makedepend'is currently not installed.  You can install it by typing: sudo apt-getinstall xutils-dev 于是就输入命令老老实实的安装xutils-dev了 sudo apt-getinstall xutils-dev 安装之后,./configure成功 3、编译 在目录下输入make进行编译。又出现了一下的错误 parse.c:113: error: conflicting typesfor‘adns__parse_domain’ internal.h:569: note: previous declaration of ‘adns__parse_domain’ was here parse.c: In function ‘adns__parse_domain_more’: 于是直接到adns目录找到internal.h文件注释掉568-572行。 //adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,                    //vbuf *vb, parsedomain_flags flags,                    //const byte *dgram, int dglen, int *cbyte_io, int max); 继续make ,又出现一下的错误 sequencer.cc:5: fatal error: iostream.h: 没有那个文件或目录 代码采用的是以前C的编码方式,现在要改成iostream 了。于是将目录下的所有iostream.h 改成iostream。可以采用一下的命令 sed -i -e 's/iostream.h/iostream/g'`grep -rl iostream.h *` 注意:后面的包含grep 的不是单引号,而是键盘左上角的符号。 继续编译,又出现错误 hashTable.cc:32: error: ‘cerr’ was not declared inthisscope hashTable.cc:41: error: ‘cerr’ was not declared inthisscope hashTable.cc:42: error: ‘endl’ was not declared inthisscope 于是将目录下的所有cerr和 endl改成  std::cerr和std::endl。可以采用类似上面的命令。不过要注意是不是有的endl或cerr已经是std::endl和std::cerr。 sed -i -e 's/cerr/std::cerr/g'`grep -rl cerr *` sed -i -e 's/endl/std::endl/g'`grep -rl endl *`  至此编译就没有问题了。 可以发现在目录下已经生成larbin的可执行文件。 输入./larbin就可以运行larbin了。     使用 options.h可以控制larbin获取到网页后的行为(是啥也不做,还是保存网页), 但是修改options.h后,必须要重新编译,即执行: ./configure && make

上一篇:Node.js 究竟是什么?
下一篇:影像圣堂PhotoshopCS3八大图像处理技术

相关文章

相关评论