liyaze0102
论文中转 : ImageNet Classification with Deep Convolutional Neural Networks
自Le Net-5在1998年提出以后,时隔14年,AlexNet横空问世,在2012年ImageNet竞赛中以冠军的成绩笑傲群雄,也就是从那时起,更多更优秀的网络被相继提出。论文第一作者是来自多伦多大学的Alex Krizhevsky,因此网络称为Alex Net。
在论文中,作者训练了一个大而深(相比于之前)的卷积网络用于ImageNet比赛,将120万高分辨图像分为1000个类别。在测试集上,分别达到了37.5%的top-1错误率和17.0%的top-5错误率,超越了先前最好的网络。网络共有600万参数,65万个神经元,5个卷积层加3个全连接层,输出为1000类别。为了防止过拟合,作者采用了数据扩充和dropout正则法,实验结果表明此方法非常有效;为了加快训练速度,作者采用了两块并行的GPU同时对特征图进行运算。
由于采用了双GPU模式,所以结构图呈现的是上图的样子,下面引用一张博客作者 chenyuping666 文章的图片,可以详细的了解网络内部结构与实现细节。
从上图可以看到,输入为227×227×3的图像
在conv1中 ,卷积核大小为11×11,步长为4,通道数为96(每台GPU运算48个,下同),经过激活函数Relu激活后,采用最大池化(size=3×3,stride=2),标准化,输出为27×27×96。
在conv2中 ,卷积核大小为5×5,步长为1,通道数256,先对输入特征图扩展像素为31×31(pad=2),然后卷积,激活,池化(size=3×3,stride=2),标准化,输出特征图为13×13×256。
在conv3,conv4中 ,卷积核大小都为3×3,步长为1,pad=1,通道数为384,经过激活后输出特征图为13×13×384。
在conv5中 ,卷积核大小都为3×3,步长为1,通道数为256,经过激活,池化后输出特征图为6×6×256。
在fcn6,fcn7中 ,共有4096个神经元,采用了dropout技术防止过拟合。
在fcn8 ,也就是最后一层,采用softmax输出1000个类别。
相比于之前的网络,AlexNet为何能取得比较好的结果呢,从作者的论文中可以发现以下几点:
3.1 非线性激活函数Relu 在之前一般使用tanh(x)或sigmoid作为激活函数,但这些饱和的线性函数在梯度的计算上非常缓慢,并且容易产生梯度消失问题。Relu的出现使这些问题得到了有效的解决。在基于cifar-10数据集的标准四层网络测试中,采用tanh和Relu作为激活函数使error rate达到0.25所用的时间,Relu比tanh快大约6倍。
3.2 多个GPU 作者认为计算资源的大小限制了网络的大小,要想训练大的网络结构,必须拥有足够的计算资源。120万的数据集太大以至于单个GPU不足以匹配,因此作者将网络的计算任务分配到两个GPU上执行。目前GPU特别适合做并行化,因为一个GPU可以直接从另一个GPU读和写内容,而不需要经过主机内存。
3.3 局部响应归一化(LRN) 作者在文章中提出了Local Response Normalization的方法,分别将top-1和top-5错误率降低了1.4%和1.2%。作者在文中提到,如果训练样本产生一个正输入到Relu,网络只会在那个特定神经元上学习,但是引入局部响应正则化后,提高了网络的泛化能力。这种响应归一化会产生一种由某一神经元所激发的横向抑制,为由使用不同卷积核计算的神经元输出之中的“big activities”创造竞争。
3.4 重叠池化 一般的池化操作因为没有重叠,所以pool_size 和 stride是相等的。例如6×6的图像在size=2×2的池化后,输出为3×3,但是本文使用的size
小佳姐~:)
发表论文通常只有两种渠道,要么自己投,要么找论文发表机构代投,不管走哪种渠道,最后都是要发表到期刊上的。
期刊,也叫杂志,在上个世纪在出版界曾经是重量级的存在,那个时候互联网还没有兴起,人们阅读文章获取资讯远远没有现在方便,杂志就成为一个很重要的传播媒介。
但现在随着社会的进步,科技的发展,纸媒已经大大没落了,很多期刊被砍掉了,剩下来的大多数不得不自谋出路,学术期刊更是如此,因为这个受众面是很窄的,基本没法盈利,所以只能靠收取版面费来维持,当然,有国家财政拨款的那种不在这个范围。
我们现在发表学术论文,出于严谨性权威性等原因的考虑,还是要发表到纸质期刊上,编辑会用电子邮箱或者内部的系统来收稿,但不会有一个网络平台有发表论文的资质,即使是知网和万方这样的网站,也只是论文数据库,并不是论文发表平台。
所以发表论文的时候,还是要先去选取目标期刊,然后再找到这本期刊的投稿邮箱,或者是找到靠谱的论文发表机构,由代理进行代投,最后都是发表到纸质期刊上的,见刊后一两个月左右被知网收录,就可以检索到了。
Bubble0104
爱因斯坦于1905年首次提出狭义相对论原理,论文发表在《物理学年鉴》上,同年,他对狭义相对论作了重要补充,并为辐射问题建立了最初形式的质能关系式。1907年,爱因斯坦完成了一篇通俗性的相对论文,其中包含一般形式的质能关系式:E =mc2.他的卓越论文建立了全新的质量、时间和空间概念,并向同时 性观念提出了挑战。相对论的伟大意义在于:它抛弃了“绝对”时空观和空间充满以太的思想;当时,以太被看作是光以及其它形式的电磁波传播媒介。现在看来,1905年6月爱因斯坦关于相对论的开创性论文在《物理学年鉴》上发表 《物理年鉴》(德语:Annalen der Physik),又译《物理学年鉴》、《物理学记事》,是自1799年刊行至今的德国物理学期刊。期刊刊发实验物理、理论物理、应用物理、数学物理等相关领域的原创、经过同行评审的文章。
在期刊上发表,需要根据你的专业和要求来选择期刊,比如建筑、经济、医学等等。对论文上网有没有要求,比如知网、万方、维普等。建议在参加评审前1-2年准备好论文。具体
在期刊上发表,需要根据你的专业和要求来选择期刊,比如建筑、经济、医学等等。对论文上网有没有要求,比如知网、万方、维普等。建议在参加评审前1-2年准备好论文。具体
问题一:发表论文去哪里投稿 若你是初次投稿,建议先找些门槛低的省级期刊投稿,这类杂志有《故事》、《故事汇》、《故事世界》、《幽默与笑话》。另外《知识窗》、《青
论文在哪发表比较好?我看到:通知:部分论文取消、条件放宽。查阅各省最新政策可搜:全国论文办郑州郑密路20号办(简称、统称,搜索可查各省全部政策,在百度、360、
在期刊上发表,需要根据你的专业和要求来选择期刊,比如建筑、经济、医学等等。对论文上网有没有要求,比如知网、万方、维普等。建议在参加评审前1-2年准备好论文。具体