1、引言在自然语言处理领域中，预训练模型通常指代的是预训练语言模型。广义上的预训练语言模型可以泛指提前经过大规模数据训练的语言模型，包括早期的以Word2vec、GloVe为代表的静态词向量模型，以及基于上下文建模的CoVe、ELMo等动态词向量模型。在2018年，以GPT和BERT为代...(more)

上篇：自然语言处理——NLP之预训练语言模型BERT（上）5.2 BertModel实现创建一个文件名称为Bert.pyimporttorchfromtorch.nn.initimportnormal_from.BertEmbeddingimportBertEmbeddingsfrom.MyTransformerimportMyMultiheadAttentionimporttorch.nnasnnimportosimportlogging...(more)

一、导语随着半导体行业的高速发展，芯片工艺及制程越来越精密，模拟仿真也已经成为制造企业在进行目标系统设计时，为满足功能、性能、功耗和其他指标要求所需要的一项重要业务流程。由于实际系统的复杂度、精细度的快速提升，要进行模拟仿真的需求的不断增长，以及效率要求的提升...(more)

一、导语随着半导体行业的高速发展，芯片工艺及制程越来越精密，模拟仿真已经成为半导体企业在进行目标系统设计时，为满足功能、性能、功耗和其他指标要求所需要的一项重要业务流程。由于实际系统的复杂度、精细度的快速提升，要进行模拟仿真的需求的不断增长，以及效率要求的提升...(more)

基于K1 Power Linux的工智能框架很丰富，有开箱即用的企业级深度学习框架wmla，基于开源组件的wmlce，以及OpenCE，其中前两者在中文互联网资源还不少，搜遍了各个搜索引擎，没有看到任何关于OpenCE的中文文章，英文也不多见。究其原因，推测该软件发布时间较晚，并且发布在MIT，而非主流开...(more)

前言随着深度学习的快速发展，图像分类、目标检测、语义分割以及实例分割都取得了突破性的进展，这些方法成为自然场景文本检测的基础。基于深度学习的自然场景文本检测方法在检测精度和泛化性能上远优于传统方法，逐渐成为了主流。下图列举了文本检测方法近几年来的发展历程。...(more)

大力出奇迹。毋庸置疑，无数人工智能科学家设计的一连串的智慧机器学习模型，这些模型在很多业务中都行之有效，例如人脸识别，给用户推荐感兴趣的物品，以及使用搜索引擎搜索信息。这其中算法是功不可没的。在算法之外，算力也居功至伟。研究人员发当模型越来越大时，模型的准确率随着...(more)

深度学习将AI推向热潮。 历史上，人工智能的发展经过了多次热潮，又多次陷入低谷，这里暂且不论。从2010年以来，深度学习通过算法上的突破，从而在语音识别，图像识别上的卓越表现，重新将人工智能的研究推向了高潮。深度学习算法种类繁多。深度学习算法主要是各种各样的人工神经网络...(more)

算力，算法，数据是人工智能的三驾马车。我们通常将数据送入人工智能算法，算法学习数据背后的规律，形成模型，如下图所示：该过程中包含算法，算力，以及数据，其中数据是燃料，算法是引擎，服务器(算力)则是动力来源，三者是人工智能的三驾马车。 算力算力的重要性自不待言。强化学习之父Rich...(more)

纳粹德国每月生成多少豹式坦克？如何获得这个重要的情报呢？除了腥风血雨的谍战外，也可以通过统计估计获得。盟军通过研究缴获和被摧毁的坦克，发现轮胎编号为1、2、3等数字，这些数字是车轮模具的上的编号，通过估计模具的数量，推算这些模具可以产生多少轮胎，从而估算出纳粹德国的坦...(more)