第43章 一二十层楼那么高
,最后开始推销保健品。
“这种格式标准,如果按照我们过去的处理逻辑,那么规则一定会认为它质量很高,然而事实是,这就是垃圾。
因此我们需要专门训练一个分类模型,需要做数据标注。
分类模型,Boss已经写好了,大家可以看看,明天我们需要分出人手来做数据标注。”
赵元任把分类模型读完之后,惊讶于模型的优美简洁,更震惊于后续的工作。
要把全部语料抽样,然后再组织人工进行质量评分,要分成十档。
“走!”他看马辽还没有走,于是保存,关机,起身一气呵成。
“不得不说,老板的代码写的是真优美。”马辽摇头晃脑地吐槽道。
赵元任说:“你没看到这模型暗示的任务量吗?那是会死人的!
人工做数据标注,我们别的活都别干了,全来干这得了。”
“放心,不可能让你们干这活,大概率是找外包来干,把规则制定好。”
“那我就放心了。”
赵元任接着好奇问道:“不是,那你说BetaCode的数据清洗和数据处理是谁做的?那时候Boss应该找不起外包吧。”
马辽说:“未必就不是Boss自己做的,一个可用的代码模型,背后的数据采集、预处理和训练,至少光是从我们两个负责的板块来看,Boss的水平是真的高。”
“有多高?”
“大概一二十层楼那么高吧。”