比GPT-3参数少作用还优异不愧是Meta AI的大言语模型OPT-175B
要说大言语模型,GPT-3肯定算得上重量级的俊彦佼佼者。矛头一出,无AI出其右。这货不只大,才能强,并且很迷,由于种种原因,过分扭捏不行敞开,机敏客觉得GPT这货(其实不只是3了),可谓发明了一个规划和才能的制高点,又独领奥秘风流。现在人工智能界都不太清楚它内部的隐秘,不过年代在开展,技能在前进,更杰出更Open的大言语模型,来应战GPT-3了。
这个应战,不只要在体现才能上不能失利,并且还要比GPT-3更环保更敞开。这个更优异的便是Meta AI复刻GPT-3的大模型OPT-175B。机敏客看到相关释义,OPT全称Open Pre-trained Transformer Language Models,即“敞开的预练习Transformer言语模型”。没错,复刻你,还要打败你。比你敞开比你高效能。
正因为为了更环保更“Open”的群众,所以OPT-175B运行时发生的碳耗费连GPT-3的1/7都不到,并且功能方面,Meta AI针对OPT-175B和GPT-3,用14个NLP使命进行了测验。无论是零样本学习(zero-shot)仍是多样本学习(Multi-shot),OPT在这些使命上的均匀精度都与GPT-3相差不大。而在在对话使命中,选用无监督学习的办法练习OPT-175B,作用和监督学习练习的几类模型附近。
假如这些你没有直观感触的话,那么回到硬件方面,更直观一点来看下,再看看练习硬件方面,Meta AI用了992块英伟达A100 GPU(80GB)练习OPT,均匀每块GPU的核算功率最高能到达147 TFLOP/s。更有甚者,Meta AI乃至还这么表明,最低只需求16块英伟达V100 GPU,就能练习并布置OPT-175B模型。
当然好像世界上任何一个开展中的技能相同,这个OPT-175B模型也不是没问题。比方言语生成上确实会呈现一些不可控的违反品德的言语。研讨人员就期望敞开出来,有更多人参加进来真实处理这样一些问题。现在最高30B规划的预练习网络模型现已敞开到GitHub,更高的66B还在路上,更最尖端的则需求填表注册请求。
哈,Open AI名不符其实,Open AI不Open,总算有相同优异的人(大言语模型)Open出来教他做人了,机敏客个人想,这样能敞开研讨的才是真的、促进科技开展的Open AI吧。
特别声明:以上内容(如有图片或视频亦包含在内)为自媒体渠道“网易号”用户上传并发布,本渠道仅供给信息存储服务。
“我肠子都悔青了”,租手机成果房子被冻结了!手机租借被玩成高利贷,有年化费率达250%!
A股10年为何瘫坐3000点?6组数据揭线岁的芒格走完了他的完美人生,生前看好我国20年
上市7个月/售7.38万起 比亚迪海鸥第20万辆下线亿美元融资 路特斯或成电动跑车榜首股
Redmi K70 Pro发布:2K我国屏+三代骁龙8 价格3299元起
三星电子已注册“AI Phone”和“AI Smartphone”商标
福州市中小学健康角今天上线!发动典礼暨学生常见病防控常识进校园活动在仓山区第四中心小学举办
小米电视S Pro体会:千级分区MiniLED面板 高屏占比显现作用惊喜
国产CPU尽力程度让人惊叹!龙芯3A6000花了10年时刻 追上10代酷睿
Apple Pencil迭代出新,一致了USB-C接口,为何还被厌弃?