Interpretation of the development trend of Internet UGC content in 2015, frequent security incidents

"2015 Content Security Annual Report"
Ali Mobile Security


Chapter 1 Content Security Situation in 2015


With the rapid development of Internet business, the information content on the Internet has brought explosive growth. Due to the lack of effective supervision and management of network activities, the risk of Internet content security has increased, and the spread of gambling, pornography, violence and other content on the Internet has emerged one after another, seriously polluting the entire Internet environment. In 2015, the country's legal system for illegal information remediation has been continuously improved, and various industries have paid more and more attention.

1.1 With the development of the Internet, more and more UGC information is generated by various channels.

Different industries have different requirements and priorities for information security, and different ways of displaying information content. The current ways can be divided into the following four categories:
( 1 ) Platform service provider
(2) UGC website or mobile application (
3) Non-interactive website
(4) Non-interactive mobile application Interaction with channels is everywhere. The proportion of UGC interactive websites and mobile applications in the Internet is also increasing, and they have gradually become the main tools for obtaining information in people's lives. However, at the same time, the security risks of information content are also increasing rapidly. How to ensure the safe, fast and accurate transmission of information, and how to establish an information security linkage mechanism to jointly maintain the healthy development of the Internet industry is imminent. 1.2 In 2015, the state strengthened the management of network information content security at the level of laws and regulations. The "Amendment to the Criminal Law of the People's Republic of China (IX)" came into effect on November 1, 2015. New crimes are added to the high-incidence and frequently-occurring network violations. For example, Article 29 of the Amendment to the Criminal Law (IX), one of the new Article 287 of the Criminal Law, criminalizes some current network behaviors that endanger society through the Internet. The scope of this regulation covers the online behavior of setting up websites, communication groups, and publishing news, as well as the behavior of teaching criminal methods in cyberspace, which is closely related to Internet users. The drafts of the Cybersecurity Law and the Anti-Terrorism Law have also been gradually solicited public opinions from all walks of life, and the legislature is advancing in accordance with the procedures.











1.3 In recent years, law enforcement agencies have increasingly tightened the control and punishment of illegal content on the Internet.

Neglecting content security may lead to serious consequences. In 2015, the Office of Anti-pornography and Anti-Illegal Action organized the "Cleaning the Internet 2015" special campaign to further rectify harmful online obscenity, pornography, etc. Information, severely crack down on criminals who produce and sell obscene and pornographic information, severely punish Internet companies and relevant responsible persons who violate laws and regulations, and resolutely cut off the chain of communication and interest, effectively purifying the cyberspace.
Through the special activity of "Cleaning the Net 2015", a total of 59 key cases of online obscenity and pornography have been handled on the Internet battlefield, such as the "1.26" WeChat dissemination of obscene materials in Zhangjiagang, Jiangsu, and the "3.10" case of selling and disseminating obscene materials in Tianjin. As of November, 13 sentences have been pronounced, and 11 administrative penalties have been closed. At the same time, relevant departments in various regions investigated and handled 1,215 such cases, shut down 20,650 obscene and pornographic websites, and deleted more than 1 million pieces of harmful information.
In two heavy-handed campaigns to rectify the "micro-domain" from the end of May to the end of July and from the beginning of August to the end of September 2015, the National Anti-pornography and Anti-Illegal Affairs Office announced 34 cases of dissemination of obscene and pornographic information in the micro-domain. A number of illegal enterprises were punished in accordance with the law, and a number of illegal and criminal persons were severely punished. Among them, the relevant departments of Guangdong Province closed more than 120,000 illegal spaces and Weibo homepages, disbanded 3,100 illegal communication groups, and closed 293 WeChat accounts and WeChat accounts. 36 public accounts; Zhejiang investigated and handled 7 key cases of using Wechat disks and WeChat platforms to spread obscene and pornographic information, including the case of Jin Mou in Pinghu, Jiaxing, using WeChat groups to spread obscene and pornographic information; More than 1,100 Weibo accounts with more than 50,000 followers were checked one by one to form a network-wide monitoring system.


 
Figure 2 2015 National Anti-pornography and Anti-Illegal Special Activities In the

future, the national law enforcement agencies will continue to carry out relevant special rectification actions, in-depth investigation of the "interest chain", accountability according to law, strict rectification, maintaining social harmony and stability, and ensuring a green network.

1.4. Frequent occurrence of content security incidents in 2015

回顾2015年内容安全热点事件,无一例外都发生在具有交互性质的平台上。其特点在于交互信息的来源不确定、传播速度快,对传统纯粹依靠人力审核、规则判断的内容安全管控带来了极大的挑战。

7.15北京三里屯优衣库不雅视频事件
2015年7月14日晚,一段拍摄于北京优衣库三里屯店的不雅视频在微信朋友圈被大量转发。随后该视频被转发至微博平台,开始大规模传播发酵,2小时内转发量过亿。



图3 优衣库不雅视频事件发展流程

“17”APP涉黄下架事件
2015年9月29日,“17”APP被Apple Store和Google Play相继强制下架。据报道,下架的原因是因为8月28日和9月3日的两次严重直播涉黄事件。2015年8月28日,一男童在“17”APP上直播妹妹洗澡过程; 2015年9月3 日,一对男女在“17”APP上直播性爱过程。
在下架前,用户总量已经达到700万人,日活跃用户数达70万人。


图4 “17” APP涉黄下架事件发展流程

快播公司涉黄事件
2015年2月6日,深圳快播科技有限公司王欣、吴铭等人因快播平台涉嫌传播淫 秽物品牟利罪已被海淀区人民检 察院提起公诉。北京市海淀区人民检 察院认为,快播公司及其主管人员王欣、吴铭、牛文举、张克东的行为均已触犯了《中华人民共和国刑法》第三百六十三条、第三百六十六条、第三十条、第三十一条之规定,构成传播淫 秽物品牟利罪。


图5 快播涉黄事件流程

 


第二章 内容安全的管控难点及解决方案

2.1.内容安全管控的主要难点

近年来,随着快播等重大信息内容安全事件的不断发生、新法规的不断出台以及社会关注度的不断提升,信息内容安全管控已不仅是各政企事业单位的重点,也逐渐演变成社会热点问题和国家信息安全层面的问题。然而管控好信息安全,也存在以下难点。

不了解国家信息安全管控标准
国家已先后出台《互联网信息服务管理办法》、《计算机信息网络国际联网安全保护管理办法》等多部法律法规要求,如何解读这些相关法律规定,如何定义违规信息,如何把握管控尺度等,需要有与政府及监管单位的沟通渠道,以及时掌握国家管控的‘风向标’。

无完整的情报运营体系
违规信息管控的关键还在于如何从庞大的信息中收集相关情报,并做出快速响应。当今社会信息布点广泛,传播有多重途径,每个分散的传播节点都可能成为信息爆发的节点,若无爬虫相关技术或专门舆情收集系统,仅单纯依靠人工进行单点信息收集,运营成本较大的同时还有可能造成信息遗漏;将繁冗并且错综复杂的信息提炼成可运用可部署的信息安全情报也需要专业人员的支持。
面临“无渠道”、“无数据”、“无系统”、“无专家”的多重境地,信息安全的管控耗费大多数企业的运营成本与精力。


图6 完整的情报运营体系


无完整的信息安全运营体系,无法及时应对违规事件
如果要做到违规信息的全覆盖,并对违规事件能够实现快速响应,则需要完整的信息安全运营体系,包括情报、风险运营、规则优化、算法迭代等各个链条,是一套完整的运营体系,而一般的企事业单位无内容安全的管控经验并且无相关能力,以优衣库事件为例,如果拥有完整的运营体系,则在紧急事件的应对上会更从容。


图7 优衣库不雅视频事件的信息管控处理流程

无专业算法或技术能力
处在互联网飞速发展的时代,很多企业迅速崛起,但是信息安全检测却跟不上业务前进的步伐。仅依靠人工进行信息审核过滤,人力成本巨大,随着审核团队不断扩大,团队的人员管理也是管理者需要面对的问题。
依靠智能机器识别内容是必然的选择,但是从技术角度上看,想要做好机器智能识别内容并不容易,首先,要有专业的算法团队去支撑产出算法模型。其次,为了保证算法模型的高准确率、高召回率需要海量的样本及机器资源去学习和训练,而海量的样本又需要做打标之后才能投入训练,临时性人力投入巨大,无法做好人员管理。再次,如何获得丰富的样本,迅速的进行样本分类打标,以供算法训练迭代也是痛点。

信息安全投入精力多、成本大
1、精力多:除资金和人力的成本投入外,信息安全管控还需要企业投入大量时间、运营、审核、计算等多方面精力,而且即使投入也未必在短时间内能有显著效果。
2、成本大:传统的信息安全管理手段主要依靠全量的人工审核,然而随着人力成本的增加及人力的局限性,不仅无法保证违规信息的全量覆盖,还在成本上对企业造成巨大的负担,而且随着业务的快速增长,依靠人工的管控模式扩展能力差,无法跟上业务发展的节奏。

2.2 阿里聚安全信息安全解决方案

针对于这些难点,阿里聚安全推出了内容安全产品,为用户提供一站式的内容安全服务体验,帮助企业、开发者在复杂多变的互联网环境下快速发现文本、图片、视频内的违规内容,保障业务的信息内容安全。


图8 阿里聚安全–内容安全产品功能

推出全链路的信息安全服务
阿里聚安全-内容安全以“服务体验”为核心,从业务实践、舆情情报分析、数据样本收集、业务场景细分、众包打标、算法迭代6个环节打造全链路的内容安全服务体验。


图9 阿里聚安全-内容安全全链路的信息安全服务体系

助力“爱唱”,建立智能化内容安全运营模式
以前主要依靠人工方式对公开信息进行内容审核,但由于无相关技术或算法能力可能会造成风险的遗漏,另外随着业务的快速增长,
无法及时找到熟悉业务的审核人员,另外也可能带来人力成本的大幅度增长,阿里聚安全能有效解决以上问题,并且通过阿里聚安全提供的人工智能内容安全识别服务,本来需要1天审核的数据半天就能审核完毕,大大提升了人员的审核效率,降低了人力审核成本,而且通过api方式进行调用不需担心做活动等可能带来信息量的突增问题,阿里聚安全-内容安全是现代内容安全的新型产品的代表,非常实用!


第三章 未来内容安全管控的新趋势

近年来互联网的发展呈现社区化的趋势,尤其是随着智能手机和移动互联网的飞速发展,在无数的网络社区和圈子中发布和接收信息,已经成为人们生活不可或缺的一部分。据阿里聚安全监测数据显示,当前互联网上近75%的网站或应用属于UGC分类,UGC网站和应用的平均流量相比非UGC类高出60%以上。
相较以往,当前互联网上信息的产生更加实时、内容形式更加多样、事件传播更加迅速和广泛、内容的分类也随社区不同而呈现出垂直化特征,这也对内容安全管理提出了新的挑战。

3.1 信息产生的实时性带来了内容安全事件预警的挑战

随着4G技术和WIFI覆盖面的不断扩大,以及智能手机普及率不断提升,任何人都可以随时随地、花样百出地在互联网上发布和传播信息。这使得内容风险难以把控,人工监管难度大、成效小。面对海量多变的内容,单靠人工筛查,解决不了内容风险的问题。
安全管理者几乎需要对其平台上的信息内容进行全天候的监测。以2015年底发生的斗鱼平台“飙车车祸直播”事件为例,网络主播在平台上直播自己的飙车过程,却不料发生车祸,大量网友实时目睹了该事件。对于该类突发事件,信息内容安全管理者几乎无法事先预知。

3.2 内容展现方式的多样性带来了违规内容识别的挑战

多媒体技术的发展,使网络用户可以发布包括文字、图片、音频、视频等多种形式的信息。同时,在信息传播的渠道上,也出现了平台分享、评论、头像、弹幕等多种方式。传统的依赖关键字和人力审核的内容安全管理方式将无法应对如此丰富的展现方式。

3.3 事件传播的爆炸性带来了违规事件应急处理的挑战

互联网信息的传播是瞬间的,对于某些热点事件,甚至会在极短时间内在各个互联网信息平台大规模、爆炸性地发酵和传播。以“优衣库事件”为例,视频首先出现在微信平台后,迅速被转发至微博等其他社交平台,在短短2小时内,该事件被传播超亿次。
如此迅猛的蒸发效应,对每个内容安全管理者的响应速度都提出了巨大的挑战。同时,这也意味着内容安全管理不再是各个平台自扫门前雪的工作,发生在任何一个平台上的内容安全事件,都会瞬间传播至几乎所有平台。

3.4 社区分类的垂直性提升了对内容安全管理专业化的要求

当前,互联网社区呈现垂直化特征,由于不同的兴趣爱好、人群特点、地域特征,用户汇聚成不同的圈子。以社交平台为例,当前社交平台按照人群特征出现了母婴社区、单身交友社区、同志社区等,按照兴趣爱好不同出现了如健身社区、摄影社区等。
如此多样化和垂直化的业务场景,意味着以往全包围式的内容安全运营模式将不再适用。内容安全管理者需要更深入了解不同的业务场景所带来的内容表现形式的差异。


阿里聚安全《2015内容安全年报》完整PDF版下载,请点击这里

 

Guess you like

Origin http://10.200.1.11:23101/article/api/json?id=326991658&siteId=291194637