最近在写的程序与SOAP相关,所以用到了一些Base64编码/解码及数据压缩/解压方面的知识. 在这里来作一些总结:
一.Base64编码/解码
一般用到的是Delphi自带的单元EncdDecd,当然还有第三方提供的单元或控件,其中我所接触到的认为比较好的有Indy的TIdMimeEncode / TIdMimeDecode组件,以及RjMime单元.
在这里主要想讲讲如何才能获得最好的编码/解码性能,EncdDecd提供了EncodeStream/DecodeString, EncodeString/DecodeString两对函数,如果你使用EncodeString/DecodeString,这没有什麽可争议,效率是死的,如果你使用了EncodeStream/DecodeStream,这里面可大有文章了. 先来看看两个函数的声明:
procedure EncodeStream(Input, Output: TStream);
procedure DecodeStream(Input, Output: TStream);
很明了, 两个参数,都为TStream, TStream是抽象类, 其派生类主要有TMomoryStream,TStringStream,TFileStream等,都可以作为参数传递进去,对於Input参数,无论TMemoryStream, TStringStream, TFileStream都不会影响性能,但是对於Output参数,由於压缩的结果是写住OutputStream,因此压缩过程中不断地执行TStream的Write方法,如果是TMemoryStream,那效率真是太糟糕了,我作过测试,编码一个5M多的文件,要十几秒钟!但如果是TStringStream呢,只要0.2~0.3秒! 这究竟是为什麽呢,因为TMemoryStream里不断调用Write方法的结果是,不断地向Windows要求分配内存!从而导致性能下降!而TStringStream和TFileStream则没有这个问题. 因此,在这里极力向朋友们建议,Output参数最好不用TMemoryStream.
不过不要紧,你一定要用的话,也是有方法解决性能下降这个问题的! 因为效率下降的原因是不断的申请内存空间,我们可以从这个方向首手,能不能一次性给它分配好内存空间呢,如果我们事先能确定编码或解码后的数据大小(字节数),那麽这是可行的. 问题的关键就是如何确定这个编码或解码后的字节数了. 对於EncdDecd,我可以给出这个计算方法:
(1)假设编码前的字节数为X,那麽编码后的字节数为 (X + 2) div 3 * 4. 不过,要对EncdDecd进行相应的修改,找到这一小段:
if K > 75 then
begin
BufPtr[0] := #$0D;
BufPtr[1] := #$0A;
Inc(BufPtr, 2);
K := 0;
end;
将其注释掉, 因为这其实是没什麽用的,只是用来对编码后的字符串分行的~,我们可以注释后将单元另存为EncdDecdEx,以后就使用它了!!!
(2)假设解码前的字节数是X,那麽解码后的字节数约为 (X + 3) div 4 * 3
*****注:与编码不同的是,解码的字节数不是确定的,差值在0~2之间.
这样我们就可以在编码/解码前对Output参数的TMemoryStream事先设置缓冲区大小了....
uses encddecdEx; var Input,Output:TMemoryStream; begin Input:=TMemoryStream.Create; try Input.LoadFromFile('c:\aaa.txt'); Output:=TMemoryStream.Create; try Output.Size:=(Input.Size + 2) div 3 * 4; EncodeStream(Input,Output); finally Output.Free; end; finally Input.Free; end; end;
OK! 大功告成!!! 大家有兴趣可以测试一下,加不加Output.Size:=(Input.Size + 2) div 3 * 4这一句的不同效果~
二.ZLib压缩/解压
在一些分布式系统中,特别是Internet分布式系统,由於网络带宽所限,我们需要对传输的大流量数据进行压缩,以减轻网络的负担,加快程序运行速度,一般用到的压缩/解压方法是使用ZLib单元. ZLib单元主要提供了两个类:TCompressionStream和TDeCompressionStream. 这两个类分别处理压缩和解压缩. 使用方法可以查阅相关的资料. 在这里提供两个过程,再对压缩时的参数作些比较:
uses ZLib; procedure Zip(Input,Output:TStream;Compress:Boolean); const MAXBUFSIZE=1024 * 16; //16 KB var CS:TCompressionStream; DS:TDecompressionStream; Buf:array[0..MAXBUFSIZE-1] of Byte; BufSize:Integer; begin if Assigned(Input) and Assigned(Output) then begin if Compress then begin CS:=TCompressionStream.Create(clDefault,Output); try CS.CopyFrom(Input,0); //从开始处复制 finally CS.Free; end; end else begin DS:=TDecompressionStream.Create(Input); try BufSize:=DS.Read(Buf,MAXBUFSIZE); while BufSize>0 do begin Output.Write(Buf,BufSize); BufSize:=DS.Read(Buf,MAXBUFSIZE); end; finally DS.Free; end; end; end; end; function Zip(Input:string;Compress:Boolean):string; var InputStream,OutputStream:TStringStream; begin if Input='' then Exit; InputStream:=TStringStream.Create(Input); try OutputStream:=TStringStream.Create(''); try Zip(InputStream,OutputStream,Compress); Result:=OutputStream.DataString; finally OutputStream.Free; end; finally InputStream.Free; end; end;
以上两个方法是两个名称一样,参数不同的过程. 第一个是对流进行压缩/解压,Input,Output分别是压缩/解压前的流与压缩/解压后的流. 第二个是对字符串进行压缩/解压. 两个过程都有Compress参数,这个参数用来决定进行压缩操作还是解压操作: True--压缩; false--解压.
在第一个过程中,有这样一句:
CS:=TCompressionStream.Create(clDefault,Output);
这是在建立压缩类以对流进行压缩, 这里面有个参数clDefault,当然还有其它的选项:clNone, clFastest, clDefault, clMax;
clNone与clFastest就不讨论了,因为不能获得良好的压缩效果,在这里想讨论clDeafult与clMax哪一个好点,我作了一些测试,测试数据如下:
源文件大小 压缩所用时间 压缩后文件大小
clDefault 2.71M ~1.4s ~937K
5.10M ~2.8s ~1.77M
clMax 2.71M ~2.5s ~934K
5.10M ~4.7s ~1.77M
由这些数据可以看出,clDefault参数与clMax参数,压缩率已经非常接近了,但是所用的时间却相差了近一倍! 也就是说,差不多的压缩效率,clDefault参数比clMax参数节省了一半的时间! 因此,建议大家使用参数clDefault,这是压缩效率比较好的参数.
三. 何对MIDAS封包进行压缩.
我们知道,MIDAS封包外在类型是OleVariant,其内部格式没有对外公开! 经过我的一些测试,该封包是以varByte为基础类型的VarArray数组.
因此,我们可以将其转换成string类型再进行压缩,至於压缩后是以string传输还是转换回VarByte array类型,就由个人决定了. 下面的函数完成将MIDAS数据包转换成string类型.
function UnpackMIDAS(vData:OleVariant):string; var P:Pointer; Size:Integer; begin if not VarIsArray(vData) then Exit; Size:=VarArrayHighBound(vData,1)-VarArrayLowBound(vData,1)+1; P:=VarArrayLock(vData); try SetLength(Result,Size); Move(P^,Result[1],Size); finally VarArrayUnLock(vData); end; end;
假设以下为MIDAS服务器或COM+对象一个方法.
function TDeptCoor.GetDeptData: OleVariant; var Command:WideString; Options:TGetRecordOptions; RecsOut:Integer; Params,OwnerData:OleVariant; begin try Command:='SELECT DeptID,DeptNo,DeptName,MasterID FROM Department ORDER BY DeptNo'; Options:=[grReset,grMetaData]; Result:=FCommTDM.AS_GetRecords('CommDsp',-1,RecsOut,Byte(Options),Command,Params,OwnerData); Result:=UnpackMIDAS(Result); //将MIDAS封包转换成string类型 Result:=Zip(Result,True); //进行压缩,再将压缩后结果转回. SetComplete; except SetAbort; raise; end; end;
客户端只要压压缩后就可以使用了:
procedure TForm1.Button1Click(sender:TObject); var vData:string; begin vData:=DeptCoor.GetDeptData; vData:=Zip(vData,False); //解压 ClientDataSet1.XMLData:=vData; //注意,这里用的是XMLData,不是Data,否则会报错!!! end;
四. SOAP系统中压缩后编码:
在SOAP系统中,由於二进制数据不能直接传递,需要进行Base64编码, 我们可以在数据传递前先压缩/Base64编码,接收后再Base64解码/解压缩.
同样,也给出两个函数,来分别完成这两个过程
function SoapPacket(const Input:string):string; var InputStream,OutputStream:TStringStream; begin InputStream:=TStringStream.Create(Input); try OutputStream:=TStringStream.Create(''); try Zip(InputStream,OutputStream,True); InputStream.Size:=0; OutputStream.Position:=0; //很重要!!! EncodeStream(OutputStream,InputStream); Result:=InputStream.DataString; finally OutputStream.Free; end; finally InputStream.Free; end; end; function SoapUnpack(const Input:string):string; var InputStream,OutputStream:TStringStream; begin InputStream:=TStringStream.Create(Input); try OutputStream:=TStringStream.Create(''); try DecodeStream(InputStream,OutputStream); InputStream.Size:=0; OutputStream.Position:=0; //很重要!!! Zip(OutputStream,InputStream,False); Result:=InputStream.DataString; finally OutputStream.Free; end; finally InputStream.Free; end; end;