有序归并文本文件

         许多数据库有MERGE语句,可以方便地将两个表归并。但如果需要归并的数据在文本文件中,就无法直接使用数据库的语法了。这时候可以用集算器针对文本文件完成类似MERGE语句的功能。

         table1.txttable2.txt是结构相同但数据不同的文件。现在要根据列逻辑主键ABtable2更新table1,即主键相同但其他字段不同时更新table1,主键不同时向table1插入数据。

我们假定源数据已经按按逻辑主键排序,并且要求结果集仍保持对主键有序。这样就可以反复地执行这个操作不断地将新数据加入到目标文件中。

源数据如下:



 

         table2更新table1之后,table1应当如下:



 

         集算器代码很简单:



 

        A1,A2:以游标方式读取table1.txttable2.txt

扫描二维码关注公众号,回复: 1138870 查看本文章

        A2:按照逻辑主键用B1更新A1。函数merge可进行数据归并,并保持结果仍有序,@x表示操作游标,@u表示计算并集。

        A3:将计算结果写入新文件。

 

        这个代码使用了游标,对数据文件的大小没有要求,可以处理非常巨大的文件。

猜你喜欢

转载自datamachine.iteye.com/blog/2198624