大冬天的,一个烟雾缭绕的池子里,挤着十几个平时不修边幅的糙汉,大家坦诚相见,在温水里泡着。
漆昊暗自打了个冷战,连忙找了个借口:“陈工,我就不去了,怕水。”
陈工狐疑地上下打量了他一眼:“怕水?
你一个一米八的大个子,泡个一米深的温泉池子,你怕水?”
漆昊干笑两声,说:“之前呛过水。”
陈工立刻理解了,说:“原来如此,那这样,泡温泉取消,等开完组会,我带大家去整一顿最给力的海鲜自助,这总行了吧?”
“这个好,我举双手赞成。”
“那就这么定了!”
回到工位后,漆昊重新将注意力集中到了电脑上。
他翻了一会儿卡尔采夫的书,突然愣住了。
冷战时期,苏联的半导体工艺全面落后于西方,算力拉胯,可卡尔采夫硬生生靠着大规模同步并行架构,支撑起了国家级系统的超级算力。
陈工的说法在当下的工程界确实没错,神经网络训练中确实掺杂着数据读取等细碎的控制操作,这些任务高度依赖cpu强大的通用调度能力和复杂指令处理能力。
这也是为什么,如今不管是大厂还是高校,大家都老老实实地守着cpu训练。
他意识到,所有人似乎忽略了一个最基础的数学事实!
神经网络的核心算力消耗,从来不是那些细碎的控制流操作,而是海量的矩阵乘加运算!
也就是说,标准答案≠正确答案!
业界所有人都错了!
本章已完成!