利用transfer_pool进行批量并发下载

TBOX提供上层高度封装的传输池来进行客户端的并发批量下载、上传、文件复制、socket数据透传等io传输需求。

投递到transfer_pool传输池的所有任务都是异步并发处理的。如果对并发量要求不高的话，例如客户端应用，那么使用全局的tb_transfer_pool()就足够了。

全局的transfer_pool使用了全局的tb_aicp()，并且考虑到大部分客户端应用，并发量不是很高，因此对资源需求做了些限制，一般比较适合并发量小于100的场合。

如果需要高并发的情况，则可以通过tb_transfer_pool_init、tb_aicp_init手动创建：transfer_pool和aicp，指定aicp需要的并发量，来提高并发需求。

如果要对每个io传输更加灵活的控制，可以直接使用async_transfer，自己上层做管理就行了。

// 传输信息回调函数
static tb_bool_t tb_demo_transfer_done_func(tb_size_t state, tb_hize_t offset, tb_hong_t size, tb_hize_t save, tb_size_t rate, tb_cpointer_t priv)
{
    // 计算进度
    tb_size_t percent = 0;
    if (size > 0) percent = (tb_size_t)((offset * 100) / size); else if (state == TB_STATE_OK) percent = 100; // 打印信息 tb_trace_i("save[%s]: %llu, rate: %lu bytes/s, percent: %lu%%, state: %s", priv, save, rate, percent, tb_state_cstr(state)); // 继续下载 return tb_true; } // 投递几个http下载任务 tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file1", "/tmp/a", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file2", "/tmp/b", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递几个https下载任务 tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file3", "/tmp/c", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file4", "/tmp/d", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递几个文件copy任务 tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/e", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file2", "/tmp/f", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递几个文件copy任务 tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/g", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 在windows下投递文件copy任务 tb_transfer_pool_done(tb_transfer_pool(), "c://xxxx/file2", "c://tmp/h", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递tcp socket传输任务 tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1", "/tmp/i", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递udp socket传输数据到其他对方tcp socket服务器上 tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1/?udp=", "sock://xxx.xxx.xxx.xxx", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); /*! 投递异步io传输任务到传输池：iurl => ourl * * @param pool 传输池，默认可以使用全局的tb_transfer_pool()，也可以自己创建私有的pool * @param iurl 输入url * @param ourl 输出url * @param offset 源端开始传输的数据offset，一般只要传0就行了 * @param rate 指定限速值，传0为默认无限速 * @param done 传输信息回调函数，间隔1s调用一次 * @param ctrl 控制参数设置回调函数，在开始传输前，对io的传输做一些参数控制 * @param priv 用户传入的私有数据 * * @return 投递成功：tb_true，投递失败：tb_false */ tb_bool_t tb_transfer_pool_done(tb_transfer_pool_ref_t pool, tb_char_t const* iurl, tb_char_t const* ourl, tb_hize_t offset, tb_size_t rate, tb_async_transfer_done_func_t done, tb_async_transfer_ctrl_func_t ctrl, tb_cpointer_t priv);

其中传输参数控制的回调函数使用，可以参考TBOX提供的spider demo程序。

转载于:https://www.cnblogs.com/huobumingbai/p/3963908.html

利用transfer_pool进行批量并发下载

猜你喜欢