写在前面
2月13日，《2022年北京人工智能产业发展白皮书》正式发布，其中提到全面夯实人工智能产业发展底座，支持头部企业打造对标ChatGPT的大模型，着力构建开源框架和通用大模型的应用生态。
很巧的是，飒姐团队成员在今年10月份的时候测评过：百度文心、源1.0、某道，三款国内现有的大模型，当时对测评结果甚是遗憾。于是又将当时的测试内容让ChatGPT做了一遍，试图摸清国内外大语言模型在问答这一领域的实际差距，旨在希望国内产学研戒骄戒躁，稳扎稳打地发展。
测试方案
本次测试仅仅考虑非连续性的单次问答，且皆为常识性问题，答案唯一，但题目会有一定的挑战性。具体的，涉及到What,When,Where,Who,Which五类问题。
国内首个自主可控区块链技术体系“长安链”在京发布:3月24日消息，国内首个自主可控区块链技术体系“长安链”近日由北京微芯区块链与边缘计算研究院发布，已在海淀区深度应用并正在全市推广。
据介绍，“长安链”是基于自主可控的区块链专用加速芯片、每秒处理交易数达10万笔以上的算力、软硬件一体、模块化可灵活装配等行业技术开发的区块链底层技术平台，开源开放的公益性平台，是国内首个自主可控的区块链技术体系。与此前的区块链技术相比，性能、安全性大幅提高、能耗下降。“长安链”由北京微芯研究院、清华大学、北京航空航天大学、腾讯和百度等知名高校、企业共同研发。（北京日报客户端）[2021/3/24 19:14:48]
问题样例如下：
1.“是什么”型问题，如“爸爸的爸爸叫什么？”
2.“什么时候”型问题，如“人们一般什么时候过元旦？”
国内区块链专利已超1.49万个:根据统计，我国至今申请和公开的区块链专利都已超过1.49万个。其中2018年是申请区块链专利最多的年份，共计6651个区块链专利，环比增长273.44%，2019年虽然申请量有所下降，但也达到了5813个，环比下跌约12.60%。但在2020年已过去的3个多月里，区块链专利的申请量只有21个，远远低于前两年月均值，但这或因专利申请和审核都受到疫情影响。在公开的专利中，2019年占了58.09%，共计8672个，环比上涨30.39%。2020年至今已经公开了1771个专利，占比约为11.86%。按照2019年的申请量，今年的公开量可能接近去年的高位水平。同时，专利集中于BATJP五大集团（阿里巴巴、百度、京东、平安、腾讯），及大学、银行、国网三大系统。2019年以来公开的区块链专利技术大类仍然以G06（“计算；推算；计数）和H04（“电通信技术”）为主。除此之外，2019年至今较2018年，区块链技术还在6个小类上有所突破。最显著的专利突破来自A63F游戏类专利，游戏类DApp中的常见玩法，如卡牌和骰子都属于此类。2018年该类专利的公开数量尚且为0，2019年至今累计已经公开了109个。[2020/4/15]
3.“什么地点”型问题，如“孙中山安葬在哪里？”
动态 | 巴拉圭调查国内加密行业，明年将推出加密法规:金色财经报道，上周，巴拉圭反(AML)负责人、防止金钱和财产部长(SEPRELAD)宣布了一项全国性的加密调查。巴拉圭的每一个虚拟资产服务提供商(VASPs)都被要求首次向政府开放他们的账簿，这份自我报告的信息应该在12月20日提交。SEPRELAD官员表示，在6月金融行动工作组（FATF）关于VASP的指导的推动下，大规模审计将帮助巴拉圭政府了解其国内加密货币行业，并将为该国首个特定于加密的法规铺平道路，该法规将于2020年上半年推出。据此前11月报道，巴拉圭计划进行重大加密货币立法改革。[2019/12/25]
4.“是谁型问题”，如“中国历史上第一个皇帝是谁？”
5.“哪?个型问题”，如“哪个洲是倒数第二小的洲？”
问答样例对比
动态 | 深圳市福田区将打造国内首个数字货币大厦:据凤凰网消息，10月8日，以“创新福田“为主题的“福田发布”第五期节目成功举办。深圳市福田区金融工作局局长朱江表示，福田区将依托央行数字货币研究所、百行征信有限公司2大金融科技系统基础机构，加快建成国内首个数字货币大厦、国内首个征信大厦。打造以法定数字货币研发、个人征信体系建设为核心，上下游围绕，全产业链的全国数字经济先行示范区。未来，在“粤港澳大湾区”和“先行示范区”的双区战略驱动下，福田将全力建成“香蜜湖新金融中心”和“深港科技创新合作区”，打造粤港澳大湾区的东方“曼哈顿+硅谷”。[2019/10/10]
问题：“孙中山安葬在哪里？”
ChatGPT：孙中山的遗体最初安葬在南京中山陵内，后因战乱多次迁移。最终于1929年安葬在南京中山陵北麓的紫金山下，此地现为孙中山陵园。
苏宁云商：苏宁银行区块链国内信用证信息传输系统无直接收入产生:苏宁云商(sz002024)回复深交所问询函，苏宁金融研究院于2017年7月正式成立区块链实验室，该实验室针对区块链技术及其在金融行业的应用进行研究，旨在利用区块链技术为苏宁金服业务及苏宁银行业务提供技术支撑。苏宁银行区块链国内信用证信息传输系统采用联盟链方式，只在联盟银行之间免费使用，不对外直接提供服务，该系统无直接收入产生。[2018/1/19]
百度文心：孙中山墓地
某道："孙文(1866年-1925年10月12日),名文,字载之,号仲立,又名帝光,广东省香山县(今中山市)南朗镇翠亨村人,1883年(光绪九年)随父移居澳门。1904年参加孙中山领导的同盟会,任同盟会南方支部书记。曾两次赴日,组织策划惠州起义。后回澳门发展组织,被选为中国同盟会南方总支部庶务部长。1905年春,与陈少白、朱执信等在香港成立兴中会,被举为评议部评议员,旋被派往南洋联络同志,协助筹办革命刊物《中兴日报》。1906年冬,孙中山在日本东京成立中国同盟会中部总会,被委为秘书。1907年奉命回国,在广东发动民军起义。事败后潜赴南洋,继续组织发动华侨、华工和留学生进行革命活动。1911年武昌起义爆发后,被派往广州协助筹划起义,不幸事泄被捕,不久在广州黄花岗就义。
源1.0：孙中山安葬在南京紫金山中山陵
问题：哪个洲是倒数第二小的洲？
ChatGPT:开始回答了错误的答案，与其对话后成功纠正
百度文心：南极洲
某道：南美洲,南美洲面积最大,但人口最多,人口占全球人口的1/5,因此南美洲是仅次于亚洲的世界第二大洲。南美洲位于东半球的南部,包括巴拿马运河以南的整个南美洲大陆。南美洲大陆东至圣赫勒拿岛(西经34°40'),西至马尔维纳斯群岛(西经61°10'),南至德雷克海峡,北至亚马孙河下游平原,南北相距约5100千米。南美洲大陆最南端是厄瓜多尔首都基多城。南美洲北部以安第斯山脉为界与北美洲相分,东部以乌拉尔山脉和太平洋为界与亚洲相邻,东南部经德雷克海峡与非洲相分,西部则与南极洲隔德雷克海峡相望。(摘自百度百科)“
源1.0：大洋洲
总体分析
四个系统对于基本问题的问答可谓是手到擒来。五类问题中，when问题和who问题整体回答的情况最好。三个国产系统中整体文心系统的表现最好。ChatGPT也会犯错，但是往往只要略微引导，便能改正错误。
错误回答分析
错误语句生成：语句本身并不通顺，前后主题不一致或者内容不一致，给人错乱的感觉。
例如问：爸爸的爸爸称谓是什么？
答：??爸爸的父亲,也就是爸爸的爷爷,是妈妈的爸爸。爸爸的爷爷的爸爸叫太爷爷。爸爸的爷爷的爷爷叫太奶爷(奶奶的爸爸)
或问：我们党二大在哪里召开？
答：1921年7月23日至31日,中国第二次全国代表大会在浙江省嘉兴市南湖的一艘游船上召开。出席大会的正式代表共13人,候补代表5人,代表全国121名员。共产国际代表马林、尼科尔斯基和鲍罗廷等参加了会议。
事实性错误：产生了事实性的错误。
例如问：?孙文去世的日子?
答：孙文去世的日子是1918年3月13日
偏见性素材：回答取自的素材较少，体现比较强的笔者的主观性。
例如问：大家什么时候过元旦？
答：谢邀。我是在大学过的,所以元旦是在宿舍过的。我们宿舍六个人,有四个人都回家了,剩下我一个在宿舍,所以元旦那天我过得比较孤独,不过还好啦,因为宿舍就我自己了,所以我可以一个人吃饭,一个人看电影,一个人逛超市,一个人睡觉,一个人......
含有逻辑性的问题无法识别：问题中存在复合问题或者逻辑判断，一般难以处理。
例如问：哪个洲是倒数第二小的洲？
答："南美洲,南美洲面积最大,但人口最多,人口占全球人口的1/5,因此南美洲是仅次于亚洲的世界第二大洲。南美洲位于东半球的南部,包括巴拿马运河以南的整个南美洲大陆。南美洲大陆东至圣赫勒拿岛(西经34°40'),西至马尔维纳斯群岛(西经61°10'),南至德雷克海峡,北至亚马孙河下游平原,南北相距约5100千米。南美洲大陆最南端是厄瓜多尔首都基多城。南美洲北部以安第斯山脉为界与北美洲相分,东部以乌拉尔山脉和太平洋为界与亚洲相邻,东南部经德雷克海峡与非洲相分,西部则与南极洲隔德雷克海峡相望。(摘自百度百科）
写在最后
飒姐团队认为，传统的单一问答模型可用性不大，给予用户的体验感也欠佳，国产大语言模型下一个里程碑，前辈ChatGPT已经给出了方向，便是对话问答。在使用ChatGPT的时候，虽然它也经常会给出错误答案，但是其回答的逻辑依旧符合人的习惯，同时经过一定的对话引导，可以自行发现其回答逻辑性的缺失。
作为全新的一种数据合成方式，大语言模型的直接输出可能是我们人类无法把控的，但是只要它能“理解”用户的输入，以此为依调整其输出，最后得到满意的回答，那便是可用的。进一步的，大语言模型未来的趋势很有可能是提前预判用户可能的“纠错”，并提前“自纠错”，并对纠错结果进行评估。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。