有推-微信公众号推广-网络推广-论坛推广

 找回密码
 立即注册
搜索
查看: 1122|回复: 2

体验报告来了!记者第一时间亲测百度“文心一言”

[复制链接]

4010

主题

6797

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
20578
发表于 2023-3-18 01:48:12 | 显示全部楼层 |阅读模式
《科创板日报》3月16日讯(记者 黄心怡),今日百度召开文心一言新闻发布会,宣布开启邀请测试。《科创板日报》记者第一时间拿到了文心一言的的内测码,实际测试了文心一言的效果。整体而言,百度文心一言能够基本完成发布会上所演示的问题回答和图片生成。但在某些问题理解上仍有待进一步完善
            首先,《科创板日报》提出了一个比较常见的问题:你和chatGPT的区别是什么?
                        
            可以看到,文心一言的中文组织能力表现不错,能够语句通顺地问答完整。
            随后,我们又问了关于国内涉足预训练大模型的公司有哪些?文心一言回答得也较为全面。
                        
            记者尝试了一个需要涉及信息搜索的问题。
            特斯拉在国内过去五个月、过去一年的销量是多少?文心一言的答案是:
            而记者直接通过百度搜索获得答案是:乘联会发布的统计数据显示,2023年1月份,特斯拉中国销量达66051辆,环比增长18%;月出口39208辆。
            文心一言没有能够抓取到正确的数据来源,仍有待进一步优化。
            在发布会现场,百度重点展示了文心一言在五个场景下的综合能力。根据其演示的demo,文心一言不仅具备了文学创作、商业文案创作、数理推算等大语言模型较常见的优势和能力,还表现出了中文理解、多模态生成能力。
            《科创板日报》记者特地从这些方面进行了测试。
            首先是文学创作,记者让其仿造三体风格写一篇800字的科幻小说。
            文心一言的回答是:
                        
            之后,记者让其编写一首与小黄鸭有关的儿歌,文心一言在十几秒时间内完成了。
                        
            对于打工人来说,写工作总结是一件令人头疼的事。记者也为此提问了文心一言。
                        
            从答案来看,似乎是程序员的工作总结,写得较为工整。
            然后,记者试了试文心一言在商业文案创作方向的能力
            我们让文心一言写一段针对双11促销的童装营销文案,并设定了“用料健康、性价比高”的关键词。
                        
            显然,文心一言理解了关键词的含义,并且把“用料健康、性价比高”融合在了文案之中
            记者继续让其生成针对AI医疗公司的中秋节海报文案。
            从答案来看,文心一言能够准确地理解问题的中文含义,只是文采仍有待提高。
            记者又让它对一家大数据和商业智能公司起名。
                        
            文心一言给出的公司起名,只能说非常地“望文生义”吧。
            之后,记者让文心一言写一首“祝你生日快乐”的藏头诗。
            这次表现不俗,在10秒左右就完成了,并实现了押韵。
                        
            李彦宏认为,“藏头诗”很考验AI对中文和中国文化的理解,能比较清楚地展示了文心一言在中文上的优势。“不过,相对应的,一言目前对英文语种、代码场景的训练还不够多,表现还不够好,接下来我们还要加紧训练,不断完善这些能力。”
            接着,记者希望考一下文心一言的数理逻辑推算能力,在发布会上,文心一言顺利答对了鸡兔同笼的经典题目。
            《科创板日报》从网络上找了几道小升初数学题目。
            比如:鸡和免放在一只笼子里,上面有 29 个头,下面有 92 只脚。问: 笼中有鸡、兔各多少只?
            文心一言的答案是12只鸡,17只兔,与标准答案一致。
            但对于其他数学题,文心一言则有失误。
            2分和5分的硬币共36 枚,共值 99分。问:两种硬币各多少枚?
            正确答案是2分27枚,5分9枚。但文心一言没有算对。
            某次数学竞赛共20道题,评分标准为每做对一题得5分,每做错或不做一题扣1分。小华参加了这次竞赛,得了64分。问:小华做对几道题?  
                        
            正确答案应该是14题,而文心一言得出了16题。
            李彦宏在发布会上表示,文心一言已具备了一定的思维能力,能够学会数学推演及逻辑推理这类相对复杂任务。但现阶段准确率还不是100%,还需要给它更多的时间来学习和成长
            李彦宏还在现场演示了多模态生成方向的Demo,>比如为2023世界智能交通大会创作一张海报。以下为演示效果:
                        
            在实际测试中,文心一言似乎还不具备为大会生成海报的功能,只是给出了一些设计建议
            不过,对于带有关键词的简单图片,文心一言完成得还不错
                        
                        
            生成的图片效果基本达标,并且速度极快,只需十几秒左右。
            此前,有多名互联网大厂员工对《科创板日报》记者表示,已经开始用ChatGPT自动生成业务代码和重构代码。
            于是,记者尝试了一下文心一言能否顺利写代码。
            提问:我需要一段冒泡排序java代码
                        
            提问:画椭圆形的JS脚本
                        
            记者让程序员朋友检查了下,对方表示:粗略看上去没有问题,感觉以后会对程序员会是不错的辅助工具
            李彦宏表示,目前的文心一言版本,已经能够生成文字、图片和语音。“生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接入。但是熟悉百家号创作的朋友,应该都体验过这个功能了,每天有几万篇文章通过这个能力转成视频内容在百度分发。”
            李彦宏指出,多模态是生成式AI一个明确的发展趋势。未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力,也会不断提升。
            从记者的体验来看,文心一言已经能够较为流畅、准确地回答提问,但在一些问答场景上仍待优化。
            李彦宏则在发布会上表示:整体而言,这类大语言模型还远未到发展完善的阶段,它们有时候会有很惊艳的表现,但不少场景下,细究起来还有明显的bug,进步空间很大。未来这段时间它一定会飞速发展,日新月异。
回复

使用道具 举报

4010

主题

6797

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
20578
 楼主| 发表于 2023-3-18 02:17:42 | 显示全部楼层
赶鸭子上架,先套皮版本来一个吧,这次毕竟落后太多了,人家花了10年做出来的,还好百度有所有广告,用广告打败openai
回复

使用道具 举报

4010

主题

6797

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
20578
 楼主| 发表于 2023-3-18 02:47:47 | 显示全部楼层
还是加油
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|设计师导航|好狗导航|自动秒收录|有推

网站地图

GMT+8, 2024-4-17 05:00 , Processed in 0.114639 second(s), 18 queries .

快速回复 返回顶部 返回列表