好贷网好贷款

网页中遇到的网页文件编码问题的解决办法

发布时间:2016-12-5 8:41:40 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"网页中遇到的网页文件编码问题的解决办法",主要涉及到网页中遇到的网页文件编码问题的解决办法方面的内容,对于网页中遇到的网页文件编码问题的解决办法感兴趣的同学可以参考一下。

在处理网页源文件的时候,经常会遇到网页源文件编码的问题,这些问题在解析标签的时候倒是没什么问题,但是就是在存储的时候会有乱码发生。这个数据库,操作系统的默认编码有关系,当然罪魁祸首依然是千变万化的网页源文件造成的。 解决这个问题通常的做法是无论是什么编码格式, 一律转化为utf-8,但是事与愿违,转化为utf-8 需要首先知道当前源文件的编码,这就麻烦了,因为源文件里提供的编码标签并不能准确的描述源文件的编码,因为大多数浏览器并不关心。也就是说 <meta http-equiv="Content-type" content="text/html; charset=gb2312" /> 这个标签并不能让浏览器就按照 gb2312来解析源代码,当然ie除外。 这就造成了大量的开发者明明 用utf-8,可是偏偏这里写着gb2312 ,当然测试通过了也就不管了。 无奈之下只好先判断源代码是不是utf-8,不是的话则默认认为它是gb2312. 以下是两个函数 void toUtf_8( string & str ) { if(isUtf_8(str.c_str() , str.size())) return; else { string s = str; str = boost::locale::conv::between( s, "UTF-8", "gb2312" ); } } bool isUtf_8(const char* str,long length) { int i; int nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节 unsigned char chr; bool bAllAscii=true; //如果全部都是ASCII, 说明不是UTF-8 for(i=0;i<length;i++) { chr= *(str+i); if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx bAllAscii= false; if(nBytes==0) //如果不是ASCII码,应该是多字节符,计算字节数 { if(chr>=0x80) { if(chr>=0xFC&&chr<=0xFD) nBytes=6; else if(chr>=0xF8) nBytes=5; else if(chr>=0xF0) nBytes=4; else if(chr>=0xE0) nBytes=3; else if(chr>=0xC0) nBytes=2; else { return false; } nBytes--; } } else //多字节符的非首字节,应为 10xxxxxx { if( (chr&0xC0) != 0x80 ) { return false; } nBytes--; } } if( nBytes > 0 ) //违返规则 { return false; } if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8 { return false; } return true; }  //注意这里使用了 boost的loca 库,需要在使用的时候加上相应的库目录和包含目录 使用如下: #include <boost/locale.hpp> int main() { std::string str; str = download("url"); //获取源文件 toUtf_8(str); doSomeThing(str); //现在可以用utf-8 做一些事情了 }  

上一篇:Jxl使用总结
下一篇:margin负值-权威指南

相关文章

相关评论