AI 会让鉴黄师失业吗?
“唐马儒们”这两年可能正在面临前所未有的职业危机。
这个因饰演鉴黄师而走红的角色,激起了大家对鉴黄这个职业的好奇心。南方都市报就曾对这个群体做过调查,得出的结论是:
不知道的以为很黄很刺激,其实挺辛苦,也挺枯燥。平均下来一分钟要浏览50个以上的用户、上百张图片,所以盯着电脑都要全神贯注。
这个最先因“扫黄打非”而被公安部门设立的岗位,这些年也成为各大互联网公司的“刚需”岗位之一。但近年来由于 AI技术的迅猛发展,辛苦又枯燥的鉴黄师工作正越来越多地被 AI 所替代。
近日,阿里就隆重推出了一位“AI 鉴黄师”。
据公开资料的介绍,阿里AI鉴黄师不仅能鉴别黄片黄图,连带有情色信息的语音内容都能识别,甚至无语义的呻吟声也能识别出来。
在8月21日举办2018网络安全生态峰会中,来自阿里巴巴安全部的的资深算法专家薛晖就为编辑揭密了 AI 图片鉴黄背后的故事。
为什么需要 AI 鉴黄?
做电商出身的阿里巴巴,使用 AI 鉴黄最先来自于自身具体业务的需求。
“电商业务场景中,我们需要对大量商家的海量图片进行审核,那时还没有 AI的说法,只是用机器学习的方法来进行图片的鉴别。”薛晖举例,在违规售卖的商家中,有些是非恶意的,比如一些受保护的动植物、某些品类的刀具甚至药物等,某些商家不知道这是不能卖的;还有一些就是“明知故犯”的,比如用色情图片恶意引流、发布一些做黑灰产的广告、色情光盘网盘地址等。
随着商家数量和图片数量的飞速增长,对效率更高、成本更低的AI鉴图就有了刚性需求。
后来,随着阿里在电商、大文娱、社交、云计算、O2O、视频、直播等领域的不断拓展,这项需求愈加强烈,凡是有UGC(用户产生内容)的业务,都会面临色情低俗风险。在数据量和算法技术有一定积累后,这项技术也同时开始对外进行输出,越来越多的企业和机构也开始使用这项服务。
发现,2015年阿里曾推出“绿网”平台,其最主要的功能之一就是进行色情、广告等信息的识别和拦截。薛晖告诉编辑,绿网的这个功能,当年也是阿里云战略中的一部分,AI鉴黄的技术是作为赋能生态的一部分。
也就是说,目前用到 AI 鉴黄的业务早已不仅仅是淘宝中的商家,还有千千万万使用阿里云的企业们,比如,近两年因涉黄而颇受关注的多家直播网站。
从存储需求到鉴别需求,随着 AI 鉴黄技术的加入,这项技术会让阿里云争取到更多的用户。
鉴黄需要攻克的三个关键点
提到人工智能,都会关注三个问题:数据、算法、算力。
数据方面, “AI鉴黄师 ”首先需要有充足的学习资料。
薛晖透露,首先他们会写一些自动化爬取图片的脚本,可以直接到网页中相应区域进行图片爬取。目前他们总共浏览了近2000家网站,下载了超过6000万张疑似色情图片。
但这些图片仅仅是疑似图片,还需要进行去重,实际去重后约2300万张图片,在这之中,需要人工再进行标识,最终实际标注了超过1300万张图片,而这1300多万张图片就是最后模拟训练的原始数据库。
值得注意的是,数据标准的制定很重要,因为在不同国家、不同行业、不同时期,对色情的标准定义不一样,比如政府网站和直播网站,就会有不一样的标准,目前,他们可以给用户提供一定的操作空间,用户可以根据自身情况来对风险做不同层次的管控,比如他们会给用户很多选项,不同的用户可以自身需要来勾选。
第二个关键点是算法。
比如,10000张图片里面往往有一张属于色情图片,但为了识别出这一张图片,机器扫描的成本是10000次,这就需要模型更轻,速度更快。据薛晖介绍,在算法方面,他们对神经网络进行了优化,并针对问题的特点做了专门的改进,不光有检测模型来拦截风险,还部署了图像检索引擎,来防范突发的风险。
第三是在算力方面,原来千万级别的样本,GPU机器单机单卡的情况下训练时间要近一个月,后来团队更换了网络结构并实现了多机多卡训练,将千万级别样本的训练时间控制在一周左右。换句话说,面对同样数量的图片,他们选择用更多的机器对图片进行训练,比如原本需要一周才能训练完的图片,现在只需要一天,这样就可以更快的对模型进行优化,提高迭代速度。
AI 与人工如何合作?
虽然 AI 鉴黄所发挥的能力越来越大,但目前仍然需要人工的干预。
据薛晖透露,目前 AI 鉴黄师对单张图的判断准确率要大于99.5%,通常来看,AI对一张图有三个判断:违规,可疑,正常。
对于违规和正常的图片,他们会放过,而对标注为可疑的图片,则需要人工审核,这部分数据占比较低,一般小于0.5%。打个比方,有4亿张图片要审,AI识别准确率为99.5%,只有20万张可疑的图片,需要人工再审核一次。
另外,据了解,由于黑产针对安全模型也在不断进行对抗,比如业内很关注的对抗学习(GAN),明明肉眼看是一张色情图片,但黑产经过处理可以逃避检测。针对这样的情况,安全模型也需要不断进行升级,目前,阿里有跟浙大合作做这方面的研究,之后他们会公布研究结果。
在语音识别这方面,AI也仍需不断进行完善,在当天的峰会中,来自科大讯飞北京研究院副院长伍大勇举了这样一个例子,“黑夜总会过去,白天总会来临”,这句话本并没有什么问题,但在系统中一直过不去,原因是这句话当中有“夜总会”三个字。
也就是说,目前 AI鉴黄并不能完全取代人工鉴黄,最佳的审核方式是智能为主,人工为辅。由于AI鉴黄师的出现,人工鉴黄师群体会变少,未来人工在图片鉴黄中的工作将主要集中于打标和审查可疑图片。
推荐系统
雨林木风 winxp下载 纯净版 永久激活 winxp ghost系统 sp3 系统下载
系统大小:0MB系统类型:WinXP雨林木风在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业知名品牌,雨林木风WindowsXP其系统口碑得到许多人认可,积累了广大的用户群体,是一款稳定流畅的系统,雨林木风 winxp下载 纯净版 永久激活 winxp ghost系统 sp3 系统下载,有需要的朋友速度下载吧。
系统等级:进入下载 >萝卜家园win7纯净版 ghost系统下载 x64 联想电脑专用
系统大小:0MB系统类型:Win7萝卜家园win7纯净版是款非常纯净的win7系统,此版本优化更新了大量的驱动,帮助用户们进行舒适的使用,更加的适合家庭办公的使用,方便用户,有需要的用户们快来下载安装吧。
系统等级:进入下载 >雨林木风xp系统 xp系统纯净版 winXP ghost xp sp3 纯净版系统下载
系统大小:1.01GB系统类型:WinXP雨林木风xp系统 xp系统纯净版 winXP ghost xp sp3 纯净版系统下载,雨林木风WinXP系统技术积累雄厚深耕多年,采用了新的系统功能和硬件驱动,可以更好的发挥系统的性能,优化了系统、驱动对硬件的加速,加固了系统安全策略,运行环境安全可靠稳定。
系统等级:进入下载 >萝卜家园win10企业版 免激活密钥 激活工具 V2023 X64位系统下载
系统大小:0MB系统类型:Win10萝卜家园在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业的萝卜家园品牌,(win10企业版,win10 ghost,win10镜像),萝卜家园win10企业版 免激活密钥 激活工具 ghost镜像 X64位系统下载,其系统口碑得到许多人认可,积累了广大的用户群体,萝卜家园win10纯净版是一款稳定流畅的系统,一直以来都以用户为中心,是由萝卜家园win10团队推出的萝卜家园
系统等级:进入下载 >萝卜家园windows10游戏版 win10游戏专业版 V2023 X64位系统下载
系统大小:0MB系统类型:Win10萝卜家园windows10游戏版 win10游戏专业版 ghost X64位 系统下载,萝卜家园在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业的萝卜家园品牌,其系统口碑得到许多人认可,积累了广大的用户群体,萝卜家园win10纯净版是一款稳定流畅的系统,一直以来都以用户为中心,是由萝卜家园win10团队推出的萝卜家园win10国内镜像版,基于国内用户的习惯,做
系统等级:进入下载 >windows11下载 萝卜家园win11专业版 X64位 V2023官网下载
系统大小:0MB系统类型:Win11萝卜家园在系统方面技术积累雄厚深耕多年,windows11下载 萝卜家园win11专业版 X64位 官网正式版可以更好的发挥系统的性能,优化了系统、驱动对硬件的加速,使得软件在WINDOWS11系统中运行得更加流畅,加固了系统安全策略,WINDOWS11系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。
系统等级:进入下载 >
相关文章
- 如何解决锐龙2200g死机蓝屏
- Win8.1本地搜索为什么无法使用
- Win8.1无线网络不稳定/掉线怎么办
- 电脑机箱漏电怎么消除?电脑机箱漏电是哪里的问题?
- 电脑开不了机怎么办?电脑无法开机怎么解决?
- 硬盘双击无法打开的问题该怎么办
- 风行下载速度慢甚至是为0怎么办?风行播放器下载问题及解决方法汇总
- 苹果回应新的iOS恶意软件YiSpector:已在iOS8.4中解决该问题
- 没有路由器怎么连无线 160wifi 解决没有路由器连接无线问题
- 维棠FLV下载视频失败问题汇总及解决方法
- Word2016 出现“此功能看似已中断 并需要修复”问题解决方案(图文)
- Cisco管理的35个常见问题及解答
- NanoStudio怎么用?NanoStudio使用方法及常见问题
- IE浏览器登录网上银行时出现崩溃问题的解决办法
热门系统
推荐软件
推荐应用
推荐游戏
热门文章
常用系统
- 1win11最新娱乐版下载 技术员联盟x64位 ghost系统 ISO镜像 v2023
- 2电脑公司windows7纯净版 ghost x64位 v2022.05 官网镜像下载
- 3外星人系统Win11稳定版系统下载 windows11 64位稳定版Ghost V2022
- 4win11一键装机小白版下载 外星人系统 x64位纯净版下载 笔记本专用
- 5萝卜家园Ghost win10 64位中文版专业版系统下载 windows10纯净专业版下载
- 6【国庆特别版】番茄花园Windows11高性能专业版ghost系统 ISO镜像下载
- 7青苹果系统 GHOST WIN7 SP1 X64 专业优化版 V2024
- 8深度技术ghost win7纯净版最新下载 大神装机版 ISO镜像下载
- 9雨林木风windows11中文版免激活 ghost镜像 V2022.04下载