棋类毕业论文

最强AlphaGo Zero怎样炼成刚刚，Deepmind在Reddit的Machine Learning板块举办了在线答疑活动AMA，Deepmind强化学习组负责人David Silver和其同事热情地回答了网友们提出的各种问题。由于在AMA前一天Deepmind刚刚发表了《Mastering the game of Go without human knowledge》(不使用人类知识掌握围棋)的论文，相关的提问和讨论也异常热烈。什么是AMA?AMA(Ask Me Anything)是由Reddit的特色栏目，你也可以将其理解为在线的“真心话大冒险”。AMA一般会约定一个时间，并提前若干天在Reddit上收集问题，回答者统一解答。本次Deepmind AMA的回答人是：David Silver：Deepmind强化学习组负责人，AlphaGo首席研究员。David Silver1997年毕业于剑桥大学，获得艾迪生威斯利奖。David于2004年在阿尔伯塔大学获得计算机博士学位，2013年加盟DeepMind，是AlphaGo项目的主要技术负责人。Julian Schrittwieser：Deepmind高级软件工程师。此前有多位机器学习界的大牛/公司在Reddit Machine Learning版块开设AMA，包括：Google Brain Team、OpenAI Research Team 、Andrew Ng and Adam Coates、Jürgen Schmidhuber、Geoffrey Hinton、Michael Jordan 、Yann LeCun、Yoshua Bengio等。我们从今天Deepmind的AMA中选取了一些代表性的问题，整理如下：关于论文与技术细节Q: Deepmind Zero的训练为什么如此稳定?深层次的增强学习是不稳定和容易遗忘的，自我对局也是不稳定和容易遗忘的，如果没有一个好的基于模仿的初始化状态和历史检查点，二者结合在一起应该是一个灾难...但Zero从零开始，我没有看到论文中有这部分的内容，你们是怎么做到的呢?David Silver：在深层增强学习上，AlphaGo Zero与典型的无模式算法(如策略梯度或者Q学习)采用的是完全不同的算法。通过使用AlphaGo搜索，我们可以极大改进策略和自我对局的结果，然后我们会用简单的、基于梯度的更新来训练下一个策略及价值网络。比起基于简便的基于梯度的策略改进，这样的做法会更加稳定。Q：我注意到ELO等级分增长的数据只与到第40天，是否是因为论文截稿的原因?或者说之后AlphaGo的数据不再显著改善?David Silver：AlphaGo已经退役了!这意味着我们将人员和硬件资源转移到其他AI问题中，我们还有很长的路要走呐。Q:关于论文的两个问题：Q1：您能解释为什么AlphaGo的残差块输入尺寸为19x19x17吗?我不知道为什么每个对局者需要用8个堆叠的二进制特征层来描述?我觉得1、2个层就够了啊。虽然我不是100%理解围棋的规则，但8个层看起来也多了点吧?Q2：由于整个通道使用自我对局与最近的/最好的模型进行比较，你们觉得这对于采用参数空间的特定SGD驱动轨迹对否会有过拟合的风险?David Silver：说起来使用表征可能比现在用的8层堆叠的做法更好!但我们使用堆叠的方式观察历史数据有三个原因：1)它与其他领域的常见输入一致;2)我们需要一些历史状态来表示被KO;3)如果有一些历史数据，我们可以更好地猜测对手最近下的位置，这可以作为一种关注机制(注：在围棋中，这叫“敌之要点即我之要点”)，而第17层用于标注我们现在究竟是执黑子还是白子，因为要考虑贴目的关系。Q：有了强大的棋类引擎，我们可以给玩家一个评级——例如Elo围棋等级分就是通过棋手对局的分析逐步得出的，那么AlphaGo是否可以对过去有等级分前的棋手的实力进行分析?这可能为研究人类的认知提供一个平台。Julian Schrittwieser：感谢分享，这个主意很棒!我认为在围棋中这完全可以做到，或许可以用最佳应对和实际应对的价值差异或者政策网络给每一手位置评估得到的概率来进行?我有空的时候试一下。Q: 既然AlphaGo已经退役了，是否有将其开源的计划?这将对围棋社区和机器学习研究产生巨大的影响。还有，Hassabis在乌镇宣称的围棋工具将会什么时候发布?David Silver：现在这个工具正在准备中。不久后你就能看到新的消息。Q：AlphaGo开发过程中，在系统架构上遇到的最大障碍是什么?David Silver：我们遇到的一个重大挑战是在和李世石比赛的时候，当时我们意识到AlphaGo偶尔会受到我们所谓的“妄想”的影响，也就是说，程序可能会错误理解当前盘面局势，并在错误的方向上持续许多步。我们尝试了许多方案，包括引入更多的围棋知识或人类元知识来解决这个问题。但最终我们取得了成功，从AlphaGo本身解决了这个问题，更多地依靠强化学习的力量来获得更高质量的解决方案。围棋爱好者的问题Q：1846年，在十四世本因坊迹目秀策与十一世井上幻庵因硕的一盘对局中，秀策下的第127手让幻庵因硕一时惊急两耳发赤，该手成为扭转败局的“耳赤一手”。如果是AlphaGo，是否也会下出相同的一首棋?Julian Schrittwieser：我问了樊麾，他的回答是这样的：当时的围棋不贴目，而AlphaGo的对局中，黑棋需贴目。贴目情况不同造成了古今棋局的差异，如果让AlphaGo穿越到当年下那一手，很有可能下的是不同的另一个地方。Q：从已发布的AlphaGo相互对局看，执白子的时间更为充裕，因而不少人猜测，目的贴目太高了(注：现代围棋的贴目数也在不断变化，如在30年前，当时通行的是黑子贴白子目)。如果分析更大的数据集，是否可以对围棋的规则得出一些有趣的结论?(例如，执黑或者执白谁更有优势，贴目应该更高还是更低)Julian Schrittwieser：从我的经验和运行的结果看，目的贴目对双方来说是均势的，黑子的胜率略高一些(55%左右)。Q：你能给我们讲一下第一手的选择吗?ALphaGo是否会下出我们前所未见的开局方式?比如说，第一手下在天元或者目外，甚至更奇怪的地方?如果不是，这是否是一种“习惯”，或者说AlphaGo有强烈的“信念”认为星位、小目、三三是更好的选择?David Silver：在训练中我们看到ALphaGo尝试过不同方式的开局——甚至刚开始训练的时候有过第一手下在一一!即便在训练后期，我们仍然能看到四、六位超高目的开局，但很快就恢复到小目等正常的开局了。Q：作为AlphaGo的超级粉丝，有一个问题一直在我心中：AlphaGo可以让职业棋手多少子?从论文中我们知道AlphaGo可以下让子棋，我也知道AlphaGo恐怕让不了柯洁两子，但我想你们一定很好奇，你们是否有做内部测试?David Silver：我们没有和人类棋手下让子棋。当然，我们在测试不同版本的时候下过让子棋，在AlphaGo Master>AlphaGo Lee>ALphaGo Fan这三个版本中，后一个版本均可让三子击败前一个版本。但是，因为AlphaGo是自我训练的，所以尤其擅长打败自己的较弱的前一版本，因此我们不认为这些训练方式可以推广到和人类选手的让子棋中。Q：你们有没有想过使用生成对抗网络(GAN)?David Sliver：从某种意义来讲，自我对弈就是对抗的过程。每一次结果的迭代都是在试图找到之前版本的“反向策略”。传言终结者Q：我听说AlphaGo在开发初期被引导在某一个具体的方向训练以解决对弈中展现出的弱点。现在它的能力已经超过了人类，是否需要另外的机制来进一步突破?你们有做了什么样的工作?David Silver：实际上，我们从未引导过AlphaGo来解决具体的弱点。我们始终专注于基础的机器学习算法，让AlphaGo可以学习修复自己的弱点。当然你不可能达到100%的完美，所以缺点总会存在。 在实践中，我们需要通过正确的方法来确保训练不会落入局部最优的陷阱，但是我们从未使用过人为的推动。关于DeepMind公司Q：我这里有几个问题：在DeepMind工作是什么感受?AlphaGo团队成员都有谁?你能介绍一下AlphaGo团队工作分配的情况吗?下一个重大挑战是什么?David Silver：在DeepMind工作感觉好极了:)——这不是一个招聘广告，但我感觉每天可以在这里做我喜欢的事实在是太幸运了。有很多(多到忙不过来!:))很酷的项目去参与。我们很幸运有许多大牛在AlphaGo工作。您可以通过查看相应的作者列表来获取更详细的信息。Q: 你觉得本科生是否可以在人工智能领域取得成功?Julian Schrittwiese：当然。我本人就只有计算机科学学士学位，这一领域变化迅速，我认为您可以从阅读最新的论文和试验中来进行自学。另外，去那些做过机器学习项目的公司实习也是很有帮助的。关于算法的扩展和其他项目Q：Hassabis今年三月份在剑桥的一个演讲中表示，AlphaGo项目未来目标之一是对神经网络进行解释。我的问题是：ALphaGo在神经网络结构上取得了什么样的进展，或者说，对AlphaGo，神经网络仍然是神秘的黑盒子?David Silver：不仅仅是ALphaGo，可解释性是我们所有项目的一个非常有意思的课题。Deepmind内部有多个团队从不同方式来探索我们的系统，最近有团队发表了基于认知心理学技术去尝试破译匹配网络内部发生了什么，效果非常不错!Q: 很高兴看到AlphaGo Zero的好成绩。我们的一篇NIPS论文中也提到了对于深度学习和搜索树之间效率的相似问题，因此我对于在更长的训练过程中的行为尤其感兴趣。AlphaGo的训练过程中，创建学习目标的蒙特卡洛树搜索的贪心算法、策略网络的贪心算法、以及在训练过程中价值功能变化的贪心算法之间的相对表现如何?这种自我对局学习的方法是否可以应用在最近的星际争霸 II API中?David Silver：感谢介绍您的论文!真不敢相信这篇论文在我们4月7日投稿的时候已经发布了。事实上，它与我们的学习算法的策略组件非常相似(尽管我们也有一个值组件)，您可以参考我们的方法和强化学习中的讨论，也很高兴看到在其他游戏中使用类似方法。Q：为什么早期版本的AlphaGo没有尝试自我对弈?或者说，AlphaGo之前也尝试过自我对弈但效果不好?我对这个领域的发展和进步程度感到好奇。相比起今天，在两年前在设计一个自主训练的AlphaGo的瓶颈在哪里?今天我们见到的“机器学习直觉”又是经历了什么样的系统迭代过程?David Silver：创建一个可以完全从自我学习的系统一直是加强学习的一个开放性问题。 我们最初的尝试包括你能查到的许多类似的算法，是相当不稳定的。 我们做了很多尝试，最终AlphaGo Zero算法是最有效的，而且似乎已经破解了这个特定的问题。Q：你认为机器人什么时候能够有效解决现实世界关于高度、尺寸方面的问题(例如，自己学习如何抓取任何形状、尺寸、位置垃圾的设备)?策略梯度方法是否是实现这一目标的关键点?Julian Schrittwieser：这主要是由于价值/政策网络上的双重改进，包括更好的训练和更好的架构。具体参见论文图4对不同网络架构的比较。Q：据说击败柯洁的ALphaGo Master的功耗只是击败李世石的AlphaGo Lee的1/10。你们做了什么样的优化呢?Julian Schrittwieser：这主要是由于价值/政策网络上的双重改进，包括更好的训练和更好的架构。具体参见论文图4对不同网络架构的比较。(你确认不是copy上一个问题的答案吗)Q：看起来在增强学习中使用或模拟Agent的长期记忆是一个很大的障碍。 展望未来，您觉得我们是否能以一种新的思维方式解决这一点? 还是说需要等待我们技术可以实现一个超级网络?Julian Schrittwieser：是的，长期记忆可能是一个重要的因子，例如在“星际争霸”游戏中，你可能已经做出了上千个动作，但你还要记住你派出的侦察兵。我认为现在已经有了令人振奋的组件(神经图灵机!)，但是我认为我们在这方面仍有很大的改进空间。Q：David，我看过你的演讲视频，你提到增强学习可以用于金融交易， 你有没有真实世界的例子? 你会如何处理黑天鹅事件(过去没有遇到过的情况)?David Silver：已经发表增强学习用于现实世界的财务算法的论文非常少见，但有一些经典论文值得一看，例如Nevmyvaka、Kearns在2006写的那篇和Moody、Safell在2001年写的那篇。Q：你们和Facebook几乎同时研究围棋问题，你们能更快获得大师级表现的优势是什么?对于那些无法获得像AlphaGo如此多的训练数据的领域如何开展机器学习或者增强学习?David_Silver：Facebook更侧重于监督学习，我们选择更多地关注强化学习，因为我们认为AlphaGo最终将超越人类的知识。 我们最近的结果实际上表明，监督学习方法可以让人大吃一惊，但强化学习绝对是远远超出人类水平的关键之处。

相信大家都经常接触到作文吧，特别是作为主要学习作文类别之一的议论文，议论文是以议论为主要表达方式，通过摆事实，讲道理，表达自己的观点和主张的文章体裁。那么大家知道优秀的议论文是怎么写的吗？下面是我精心整理的人生如棋议论文，仅供参考，欢迎大家阅读。

人生如棋，一着不慎，满盘皆输。

五子棋局有一秘决，搭建几个四子组成的“三角”，这样的三角进可攻，退可守，给对手造成威协伺机得胜，人生中也有这样的“三角”，我认为这四子便为“诚信、谦逊、智慧和健康“。

诚信是一角。“人无信不立”，诚信是你成功的基石，你重视它、珍惜它，它就会帮助你实现你的理想，成就你的未来。若你去随意浪费它、挥霍它，它就会给你带来厄运，让你寸步难行，以失败而告终。诚信是一种品格，一种修养，一种灵魂深处的清香，在不卑不亢中彰显出人性的高贵。一个人拥有了诚信，便有了更加广阔的发展空间；一个民族拥有了诚信，便能世代繁荣；一个国家拥有了诚信，便能屹立于世界强国之林。

谦逊是一角。一位作家说：“谦逊是人类最好的美德”。谦逊是沉稳的心态，是踏实的基础，与张扬浮躁形成鲜明对比，但谦逊不是沉默寡言，没有主见，也不是胆小怕事，软弱无能，而是在低调中前进，在无声中决断，是“该出手时才出手”的儒将风度，它能助你躲开不必要经过的艰难险阻，避开不必要经历的麻烦。

智慧是一角。智慧是一种力量，它可以化腐朽为神奇，化干戈为玉帛。智慧是一种圣物，它能充盈人的思想，净化人的心灵。智慧是无形无价的财富，它能在你两手空空的时候为你带来金玉满堂，在你山穷水尽的时候为你带来峰回路转。而作为一名智者，他则能领

悟人生，进退有度，始终生活在祥和与幸福之中。

健康是那最中间的棋子。身体的健康对每一个有理想、有抱负的人来说都是必要的保障，有了健康的身体和良好的心态，才有足够的精力和清醒的头脑去实现自己的人生目标和梦想。“出师未捷身先死”或者力不从心的时候，是谈不上去追寻自己的理想的。假设你有100万，健康就是前面的那个1，多一个0能使财富翻十倍，但没有健康这个1，一切就只能为0。五子棋中称此子为“眼”，它是这三角的中心，这里也是兵家必争之地，得“眼”，你的三角会四通八达，纵横驰骋。失“眼”,你的三角则会苟延残喘，威力消失殆尽。

五子棋的胜利秘决如此，人生的成功的秘决亦是如此，夯实你的基础，巩固你的三角，为即将到来的机遇与成功做好准备，以暂新的姿态去拥抱和实现你人生的远大理想。

人生就是一场棋，局里局外，黑白相间，有人看透全局，步步为营；而又有人窘迫交加，走投无路。举棋，落定，一场华丽的赛局便在这星星点点，简简疏疏中拉开帷幕。

棋逢绝境智者胜。内突外围，合兵夹击，以掎角之势包揽全局，这就是智者；沉稳自信，运筹帷幄，不言弃不落泪，看淡输赢的智者。

成为智者，你需有一颗沉稳平静的心。诸葛亮也是沉稳自信，端坐西城高楼，手抚三尺瑶琴，不费一兵一卒，击退司马懿的豹虎之师，投以敌手一个淡定从容的笑。危境中的安之若素，冗杂琐事中的不厌其烦，足以显示智者厚积薄发的风度。面对少好凌气的柳开，张景唯袖中藏一轴，金榜题名。面对俄国力士的铁拳，霍元甲冷静从容，纹丝不移。智者沉稳如冰壶清水。

智者懂得放长线，钓大鱼，深谋远虑，决胜千里之外，一举一动凌驾着骀荡的东风。

智者如庄子，以巨匏为船，大锷成荫，于落崖惊风，沧海霁月中选择了青山绿水，“吾将曳尾于途中”，道出了看破全局的高妙。人生如棋，智者敢于激流勇进，也懂得以退为进。

卡耐基和柯立芝教会我们如何成为懂退让的智者。在他的“肥皂水”哲学里，他们要取得你的利益，必先以一种退的方式处处为你着想。让你在温情脉脉的情绪中接受他人的意见，从而以退为击，以温柔的方式克胜敌人，谋取合乎情理的利益。这就是智者，懂得纷繁冗杂的`局面中化被动为主动，化退让为前进。

人生如棋。一棋招来腥风血雨，一棋惹来夜雨阴沉，一棋点出雁落鸿惊，一棋引来白荻劲风。因此，智慧的人永不会缺乏的是如钢铁般坚硬的意志与决心，勇往直前。

智者同样懂得坚守阵地，筑基意念的堡垒。麦凯恩说过：“当你在旋转时，世界很大，而当你勇往直前时，世界很小。”在困难的巍巍高山前，要有“踏破铁鞋”的决心和“不破楼兰终不还”的'傲骨，方可去领略“黄尘清水三山下，变更千年如走马”的美景。在智者的眼里，冰雪堵塞的黄河，飞雪垅断的太行山道只不过是又一项富有刺激的挑战。“飞雪连天射白鹿，笑书神侠倚碧鸳”，当然与朋友的结伴而行也不容忽视。

人生如棋，智者搏弈。日朗晴空，正照当头，品上一口甜酒，铺好棋盘于绿苹枝头，开启一段智慧无穷的棋海之旅吧！

我从小就喜欢棋，读小学的时候，最先学会的是中国象棋，之后不久，用象棋子学会了摆五子棋，小学毕业那年的夏天学会了围棋。棋，也许不在于学，更多的时候在于悟，我对棋的悟性不高，所以，棋艺很差，但是，我还是喜欢下棋，喜欢“闲敲棋子落花灯的闲适”。

“人生如棋，落棋无悔”，多数会弈棋的人喜欢说这句话，我虽然早早就会下棋，但是唯不知人生如棋的内在含义，随着年龄增长以及弈棋兴趣渐渐浓厚，慢慢的才悟出了一点其中的道理。

最近一段时期，我跟单位同事学国际象棋，国际象棋的走法与中国象棋的走法截然不同，中国象棋其特点就是运动战，我记得《宋史·岳飞传》中有这么一句话：“阵而后战，兵法之常，运用之妙，存乎一心”。中国象棋就是“以战争之象为棋势”，它的战略战术近似于战争中的军事原则，那就是消灭敌人，保存自己。

而国际象棋的走法，让我想到了人事管理模式，如果中国企业能够研究国际象棋的规则并且去借鉴，那么，我们国家就不会有那么的企业倒闭，也就不会有那么多的'人下岗。

中国象棋的“将”活动范围就在九宫之内，闭门造车，企业中有很多的领导就像这个“将”一样，很早以前我看过一篇文章，记得文章中说：中国象棋的马会别自己的腿，产生内耗，象不过界河，没有发展平台，兵永远是兵，沉到底没有战斗力。而国际象棋中的王可以全盘移动，象也没有界河，马谁的腿也不别，兵坚持到最后会成为强大的棋子。当时我不会国际象棋，看完文章，悟不出国际象棋与企业管理的内在联系。

人生如棋，变化无常，生活，落在那小小的棋盘上，就会遇到各类棋手，每走一步，都处心积虑。

五月份我单位将进行一次人事大洗牌，局里从基层、中层到高层，多数的干部将会变动，每个人都是一枚棋子，精心的谋略撕拼，如中国象棋的战略，那就是想办法消灭“敌人”，保存自己，能别马的腿尽量去别，能堵死象眼的就不能让他有缝。

作为“马”的人，在攻击对方时也会自损；作为“象”的人，无法过界河怎能创新？没有机会发展；作为“将”的人，会想尽一切办法保全自己，那么作为“兵”的人，永远是兵，很难升变。

惟有“炮”和“车”富有个性，“炮”是跳跃式的走法，属于“炮”类的人思维敏捷，头脑聪明，我们局里称这类人为“狼”，属于业务骨干；“车”的走法没有限制，横走竖走比较自由，并且有杀伤力，还能随时回到家里保护“将”，“车”类的人我们局里称之为“狼狗”，既有业务能力，又是领导的忠狗。

倘若一个单位的人事管理模式像国际象棋的规则，那么，对于每个人来说就是公平竞争，整个集体就会具有凝聚力。

人生如棋，世事难料，我们每个人既是一枚棋子，也是一个棋手，走棋如走人生的道路，一招偶失，万招皆负，一动一静都是策略，－盘棋是智慧与人生的哲学，博弈之道，贵乎严谨。

《棋经》里有这么几句话：善胜者不争，善阵者不战。善战者不败，善败者不乱。这是棋家的最高境界，这几句话虽是说下棋之道，但也是处世之道。棋局万变，棋势无定，人生如棋，落棋无悔！