<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Data Application Lab on Medium]]></title>
        <description><![CDATA[Stories by Data Application Lab on Medium]]></description>
        <link>https://medium.com/@datalaus?source=rss-11fa00d593e5------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*_0rXbqDWbuGi8hVCNhTv0A.jpeg</url>
            <title>Stories by Data Application Lab on Medium</title>
            <link>https://medium.com/@datalaus?source=rss-11fa00d593e5------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 22:57:30 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@datalaus/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[数据应用学院对话阿里云，中国联通， Greylock：云计算与大数据(多图＋趋势总结)]]></title>
            <link>https://medium.com/@datalaus/%E6%95%B0%E6%8D%AE%E5%BA%94%E7%94%A8%E5%AD%A6%E9%99%A2%E5%AF%B9%E8%AF%9D%E9%98%BF%E9%87%8C%E4%BA%91-%E4%B8%AD%E5%9B%BD%E8%81%94%E9%80%9A-greylock-%E4%BA%91%E8%AE%A1%E7%AE%97%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE-%E5%A4%9A%E5%9B%BE-%E8%B6%8B%E5%8A%BF%E6%80%BB%E7%BB%93-93ee48ff48d2?source=rss-11fa00d593e5------2</link>
            <guid isPermaLink="false">https://medium.com/p/93ee48ff48d2</guid>
            <dc:creator><![CDATA[Data Application Lab]]></dc:creator>
            <pubDate>Fri, 07 Oct 2016 02:49:43 GMT</pubDate>
            <atom:updated>2016-10-07T02:49:43.604Z</atom:updated>
            <content:encoded><![CDATA[<p>9月30–10月1日，数据应用学院CEO Jason耿携团队一行参展硅谷高创会，并作为嘉宾参加Panel Discussion, 与阿里云，Greylock, 中国联通高管对话“云计算与大数据”。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*apJ-EUszDcyogsa-AaoIhQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*cYdoHot5Swzga8smavklfQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MC9iDG3GAXAHGubEmN1wxw.png" /></figure><p>本届高创会的主题演讲嘉宾包括前美国能源部部长<strong>朱棣文</strong>，中华人民共和国驻旧金山副总领事<strong>邓繁华</strong>，创新工场CEO<strong>李开复</strong>，金山软件CEO<strong>张宏江</strong>。斯坦福大学教授，今年诺贝尔物理学奖有力竞争者<strong>张首晟</strong>为本届高创会主席。规格非常高。</p><p>前能源部长朱棣文在大会上发表了关于新能源方面的演讲。同一天的讨论会中，还有嘉宾专门探讨三星电池爆炸事件，并指出，这是技术发展的瓶颈所致。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*REGqaHll3ngNpwcGUK5F7Q.jpeg" /><figcaption>创新工场<strong>李开复</strong>，《浪潮之巅》《数学之美》作者<strong>吴军</strong>，金山软件CEO<strong>张宏江</strong>，对话人工智能的发展。李开复认为，人工智能在数据处理上大有作为。</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/777/1*isGF1cSNGFiGgyx1VgCGZg.png" /><figcaption>数据应用学院CEO Jason耿以演讲嘉宾身份参加本次高创会</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rwZOCcrmXdehf8p7pdDWbw.jpeg" /><figcaption><strong>数据应用学院</strong>CEO<strong> Jason </strong>（左三）参加了主会场的云计算与大数据的Panel Discussion。参与嘉宾包括主持人 Rana Gujral (<strong>TechCrunch &amp; Forbes</strong> 左一)，<strong>中国联通</strong>美洲高级副总裁 Ben Chen （左二），<strong>Greylock Partners</strong>驻企执行官徐皞（左四），<strong>阿里云</strong>北美总经理 Michael Tsang （左五），</figcaption></figure><p>主持人向各位嘉宾抛出了若干问题，Jason和众位嘉宾就云计算和大数据发展趋势给出了自己的观点。</p><h3><strong>1. 除了技术，还要有business insight</strong></h3><p>Jason谈到，‘大数据’的应用不是仅仅靠几个工具(Hadoop, Spark)就能成功的，而是一套成体系的技术，人才和流程，必须将<strong>数据安全，数据ETL，数据分析</strong>结合在一起，帮助企业挖掘商业价值。注意，必须<strong>落实到商业价值的挖掘</strong>上。一个成功的商业模式从来不是靠一两个技术亮点实现的，而是要能更高效的带来商业价值。</p><p>这并不简单，这对人才的MindSet要求很高，<strong>既要懂技术，又要有business insight</strong>，还要对企业管理有所了解，这并不容易。这是对‘技术流’选手的一个提醒。</p><h3><strong>2. AI/机器学习与大数据的结合将是关键</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_0rXbqDWbuGi8hVCNhTv0A.jpeg" /></figure><p>最近几个月的大趋势越来越明显，就是<strong>结合人工智能来分析大数据</strong>，挖掘商业价值。一方面，人工智能的大规模应用是以大数据的廉价大规模推广为前提的。反过来，人工智能和机器学习又为大数据的进一步发展提供至关重要的分析工具，这为数据科学家提供了广阔的舞台。<strong>阿里云的Mke Tsang也强调要落实到商业价值挖掘上，</strong>不管是企业高管还是工程师，都要有数据的mindset，就是<strong>要同时具备数据分析能力和business insight，还要能够从数据中去发掘方法，而不是局限于已有的方法。</strong></p><p>总的来说，我们现在依然处于大数据的早期发展阶段，打造实时流处理架构，非关系型数据库存储数据是第一步。AI和Machine Learning的加入，是迈向大数据应用层面的一个大趋势。<strong>大数据与人工智能／机器学习的结合</strong>，产生的效应很可能远超我们的想象。</p><h3><strong>3. 混合式云服务与数据分析外包</strong></h3><p>通过分布式系统，‘计算’已经被分散到了‘数据’一侧。现在，一般的数据被放到了‘云端’，所以数据的‘计算’与‘分析’，也可以放到‘云端’。然而，并不是所有公司都会‘All-in’地把所有服务都放到云上，而是出于谨慎原则，分两条腿走路，‘<strong>一部分服务放到云上，一部分依然在地上</strong>’。大型云服务的提供商现在也不再强调必须‘全部放到云上’，而是为这种混合式的发展提供更多的便利。</p><p>而对于数据的分析，现在的要求是越来越高，很多中小公司在处理和分析数据的能力上已经捉襟见肘，需要更专业的公司来协助他们，于是<strong>数据分析的外包</strong>会进一步发展。</p><h3><strong>4. 在对数据人才的需求上，中国和美国都是疯狂的</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5fjCW58z4n7eKdjlwr5KfA.jpeg" /></figure><p>各个嘉宾屡次谈到，现在对人才的跨境需求，是一个不可忽视的现象。别光看到美国这边对大数据和数据科学人才趋之若鹜，中国国内照样是疯狂的追求，完全是在抢人，不仅在国内抢，还要到美国来抢人。最近的中国AI公司北美技术交流暨人才巡回招聘，就反应出了这样的趋势。</p><p>大数据＋AI/机器学习的年代，不要光悲观地提‘机器替代人’，更要看到人才的不可替代的作用。<strong>在对大数据人才的渴求上，国内和美国是一样的。</strong></p><h3><strong>5. 数据应用学院的教学＋实践模式是最理想的</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*BV2jnNTnl5MjrQfmJ8xhfA.jpeg" /></figure><p>Jason 表示，由于大数据快速发展的技术特点与对人才较为全方位的要求，对数据人才的培养成为一个重要的话题。在这方面，数据应用学院的<strong>教学＋实践</strong>培养模式经过若干期的检验，被证明是最有效的。这得到了各个嘉宾的认同，并在讨论环节后得到人民网的专访。</p><p><strong>首先，教学内容需要及时反应出数据技术的变化</strong>。像2015年－2016年，大数据最显著的技术进步肯定要数<strong>Spark</strong>的应用与推广，那么这就应该反映到教学里面来，我们确实也是这么做的。</p><p><strong>其次，</strong>大数据与数据科学对实践要求很高，需要紧密<strong>结合案例与项目</strong>，通过真正的动手，才能理解大数据应用中的问题。不动手，不对比一下100M的数据和100G的数据的区别，肯定就不会理解分布式系统的必要；不做一个项目，就不知道数据采集，清理，和储存的困难，不知道如何结合商业目的来分析数据。有句话说得最好：“<strong>纸上学来终觉浅，绝知此事要躬行</strong>。”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vnb-Yr4VJcIY6pvT83aSfA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xOD9cEb_3aBp3KjL0Si0ZA.jpeg" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=93ee48ff48d2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[在这个机器人崛起的时代，不自我革新无异于等死]]></title>
            <link>https://medium.com/@datalaus/%E5%9C%A8%E8%BF%99%E4%B8%AA%E6%9C%BA%E5%99%A8%E4%BA%BA%E5%B4%9B%E8%B5%B7%E7%9A%84%E6%97%B6%E4%BB%A3-%E4%B8%8D%E8%87%AA%E6%88%91%E9%9D%A9%E6%96%B0%E6%97%A0%E5%BC%82%E4%BA%8E%E7%AD%89%E6%AD%BB-c8ff5d13be83?source=rss-11fa00d593e5------2</link>
            <guid isPermaLink="false">https://medium.com/p/c8ff5d13be83</guid>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[数据工程师]]></category>
            <category><![CDATA[数据科学]]></category>
            <dc:creator><![CDATA[Data Application Lab]]></dc:creator>
            <pubDate>Wed, 31 Aug 2016 20:38:32 GMT</pubDate>
            <atom:updated>2016-08-31T20:38:32.936Z</atom:updated>
            <content:encoded><![CDATA[<p>本文由数据应用学院与Event全知道联合撰稿</p><p>马丁•福特(Martin Ford)在他的著作《机器人的崛起》(The Rise of the Robots)中说，由于机器负责的任务范围越来越广，工作机会变得更少，制造业和专业领域的劳动者处于无休无止的压力下。如果不采取行动，不平等程度将会上升，经济增长可能停滞。</p><p>福特偏悲观，但生活的确很残酷：就业市场底层的人如果不接受再教育，将难以找到工作。说得再残酷一些，<strong>在这个机器人崛起的时代，如果不自我革新，无异于等死。</strong></p><p>牛津大学的一项研究称，<strong>机器人在未来10–20年甚至可能取代美国一半的劳动力，</strong>多达700多种岗位正遭到被计算机自动化取代的风险。而以下这十种工作风险最高，分别是：<strong>贷款工作人员、前台和信息接待处人员、律师助理、零售售货员、出租车司机和专车司机、保安、快餐厨师、酒保、个人理财顾问、记者和通讯员、音乐家和歌手、律师。</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*hrE-PxhdHPFOqv4bhM2tCQ.png" /><figcaption>各种职业被自动化替代的风险</figcaption></figure><p>今年上半年，全球最大机器学习竞赛组织Kaggle的CEO安东尼在TED做了一个发人深省的演讲：<strong>按照现在的发展速度，数据科学与机器会替代所有人力吗？</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pP70ZwJxaTS5PfhbpI2wKg.jpeg" /></figure><p>在安东尼看来，现代机器更加智能，能够替代人力，从事更多复杂的任务。比如从上世纪末开始，邮局逐渐开始使用机器识别信封上的手写邮编号码。机器学习还能帮助识别眼底造影中的糖尿病病变特征，甚至利用机器学习给高中生的essay文章判分。不仅速度更快，而且产量更大，质量更高。 从“高频率”，“大容量”的角度来比较，机器正与人拉开越来越大的差距。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/996/1*-YRnYSn1Jku3kggmlYe8_Q.png" /><figcaption><em>机器将从’Frequency’和’Volume’角度替代人类</em></figcaption></figure><p>这让不少人大惊失色：<strong>数据科学和机器学习会让我们失业吗？</strong></p><p><strong>但安东尼认为，答案是否定的，因为在强调‘创新’的领域，还是需要人力来完成。</strong>他在参加北美数据展会Collision时就被问到这个问题。</p><p>对此，同样参展的美国<strong>数据应用学院（Data Application Lab） (www.datalaus.com) </strong>同意安东尼的回答，但对他的解释并不赞同。</p><p>在Data Application Lab看来，<strong>除了强调‘创新’的领域，在那些已经引入数据科学机器学习的行业中，也不用悲观。历次技术革新，定会消灭一定岗位，也会创造一些新岗位。</strong></p><p>例如，‘Computer’一词，在上世纪60年代前，其实是专指进行数字计算的女工程师，她们的工作包括火箭的弹道计算。然而计算机的兴起，使她们的工作被IBM计算机所替代。不过魔高一尺道高一丈，原来的女性’computer’迅速学习如何编程，成为了世界上第一批程序员，利用计算机来辅助火箭发射。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*KjOaLV6idGaNsmK1MiXK1Q.jpeg" /><figcaption><em>加州理工大名鼎鼎喷气动力实验室(JPL)招募的女性computer.</em></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*MXjsSH6NstjVzplDZ3mvCw.jpeg" /><figcaption><em>机器并不能完全替代人力。JPL将火箭弹道计算任务交给了IBM，但依然需要工程师操作。</em></figcaption></figure><p>这次也不例外。</p><p>考察所有这些成功的机器替代案例，你会发现一个共同的特征：<strong>机器学习的训练都要基于大量的现成数据。</strong>不管是所谓的性格测试，婚恋配对，还是癌症诊断，自动导航，都需要大量的数据。如果没有人来处理这样大量的数据做基础，无论是Tesla自动导航，还是Tinder炮友推荐，还是高考机器人，都无从谈起。</p><p>那么，如何搜集与整理这样大量的数据，如何转换与储存这样的信息，再到如何应用工具从这样的数据中挖掘价值，这些工作，<strong>不仅不会减少人力，还会增加岗位供应。</strong></p><p><strong>如何才能掌握大数据工具与思维，让自己占据就业的竞争优势？</strong></p><p><strong>答案很简单：大学里的知识无法让你用上40年，机器的崛起意味着你必须终生学习。</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hMtMJwORaqJRk10o65udNg.png" /><figcaption><em>英国《经济学人》Coursera报道，终生学习将是主流</em></figcaption></figure><p>首先，要善于利用各种MOOC（大规模开放在线课程）(如Coursera, Edx, Udacity, etc.)。数据应用学院推荐课程：<strong> Coursera上面的JHU数据科学家系列，Andrew Ng的Machine Learning经典课程，edx上面的数据工程师系列</strong>，在知识的讲解上，都不错。</p><p>然而，Coursera这类的MOOC课程还是太简单，更新速度也太慢，而且比较理论。在大家都很容易就拿到一个课程证书的现状下，MOOC课程对求职的边际效用有明显下降，企业于是越来越看中实践的项目经验。总结以下，<strong>MOOC课程，学知识还可以，但求职者想靠Coursera的课程打动企业HR，是不太现实的。</strong></p><p>要想打动HR？线上或线下的Training bootcamp得到了越来越多企业的青睐。虽然Bootcamp培训比较intensive，但能迅速入行。 由于在传授项目实践经验上的巨大优势（与MOOC相比），这样的Training Bootcamp已经获得各大企业HR的认可，并成为进入IT和数据领域的一条快速通道，《华尔街日报》也对这样的现象进行了报道。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*p_jeAVpjENxu23q0uYrpkw.png" /><figcaption><em>《华尔街日报》关于企业青睐Training Bootcamp学员的报道</em></figcaption></figure><p>Insight, Galvanize, Data Incubator, Data Application Lab（数据应用学院）就是这样的Boot Camp。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*k9oERG0iikwLXyBlYvpNkg.png" /><figcaption>Data Application Lab创始人Jason Geng（中）与同行Insight, Data Science参加洛杉矶Big Data Day。</figcaption></figure><p><strong>数据应用学院这样的bootcamp有什么样的优势？</strong></p><p>首先，<strong>课程紧跟市场需求，更新非常及时。</strong>数据行业正在飞速发展，求职者需要了解市场的技术发展，抓紧时机进入这个领域。Coursera上JHU的数据科学家项目已经挂了3年了，没有任何改变。而在Data Application Lab，以DE为例，今年6月的内容，跟去年9月的内容相比，已经作出了大量的修改，这是为了及时反映出科技公司对实时数据处理(real-time processing)的激增需求。来自Symantec 和Google的老师在深入交流意见后，预计今年在Data Engineer方向，实时处理尤其是Spark的应用与需求将继续快速增长，于是提前加入适量的Spark内容，并在实践项目中引入在硅谷广泛使用的’Lambda’实时数据架构，保证学员结业后，依然能够站在业界需求的最前沿。更不用说提供24小时集群计算机Cluster Access，让你亲手体会企业级分布式cluter的手感。</p><p>其次，<strong>数据应用学院的老师均有北美4–8年的工作经验，极为重视课程的实践意义与项目经验积累</strong>，传递给学员的，都是经过深思熟虑的见解与实际项目的真知。自学很容易失去方向感，误入歧途。在大家自学热情高涨，一窝蜂地去研究Machine Learning时，我们就给出了警示：数据科学并不等于Machine Learning （参见《<a href="https://medium.com/@datalaus/%E5%85%B3%E4%BA%8E%E7%AB%9E%E8%B5%9B%E7%9A%84%E4%B8%80%E7%82%B9%E6%80%9D%E8%80%83-635fc45f9500#.4oc6m1bv9">关于数据竞赛的一点思考</a>》）。</p><p>就算是数据科学家，在实际工作中，也只有20%左右的时间花在机器学习建模上。而更多的工作，是获取数据，清理数据。这些经验，不做几个End-2-End的完整项目是无法体会的。我们特意在课程中加入了大量分布式系统下的数据处理内容，在设计项目实践Project中，也充分体现出企业对数据分析流程的综合要求。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*abF0Fk_NAhDVANb-L56l2w.png" /><figcaption><em>数据应用的流程。其中Machine Learning建模分析是最后一环。</em></figcaption></figure><p>再次，<strong>数据应用学院的培训均为小班教学，每个学员都能获得足够的辅导</strong>，不管是课业上的，还是职业规划上的。值得一提的是，在职业辅导上，除了有4小时左右的统一面试培训，在项目期，每周还有1对1的职业咨询，老师直接与学员对话，了解学员项目与求职进展，并给出有效的建议。本培训program的目的，是为了让学员顺利找到工作，而不仅仅是知识的传授。</p><p>最后，学院老师经过考察，认为<strong>现在是CS/EE背景求职这进入数据工程师(Data Engineer)的极佳时机</strong>，数据工程师本身就属于软件工程师，但在招聘时，现阶段的刷题要求并不高。很多公司待遇也非常好，110k ~ 140k是常事。这是CS/EE方向的求职捷径，但很多CS/EE的求职者却没有重视起来。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xqxgVg5pHG2IHQMgCNng5w.jpeg" /></figure><p>对<strong>数据科学家(Data Scientist)</strong>，市场的需求还在继续增长，人才的供不应求已经让更多企业降低了学历上的要求，更多STEM专业的硕士、博士，都有机会进入这个领域。有数据应用学院的专业培训与指导，助你在行业波动变迁的今天，将机器替代威胁转变为自己的竞争优势，顺利进入职场！</p><p><strong>Data Application Lab（www.datalaus.com）</strong>是硅谷和洛杉矶的数据工程师与数据科学家联合创办的。该项目的三大方向(Data Engineer, Data Scientist, Business Analysis)均由多位企业高级数据工程师，数据科学家，数据分析师共同讲授，所有老师都具备4–10年工作经验，至今已输送超过百位同学任职数据岗位，与北美各大公司保持良好的人才输送关系。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_Er83M3hLr-ocz3SPnWCHg.png" /><figcaption><em>往期学员去向</em></figcaption></figure><p><strong>数据工程师（Data Engineer）</strong> 由具备8年高级数据工程师经验的Jason老师主持，详细讲解Hadoop和Spark的实战架构’Lambda’，强调在分布式系统下的数据操作，更提供end-2-end的完整项目实践，从产品定义到数据采集，到数据清理，最后机器学习建模，算法加强，无遗漏覆盖。20周项目毕业后应达到企业级entry-level data engineer水平。</p><p>Jason老师：北美Top数据公司8年高级数据工程师。University of Southern California客座教授，SoCal Data Science Conference 2016组委会主席。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/280/1*tPmUOgm4UMr7ELTxazcTeg.png" /><figcaption>数据工程师求职培训营介绍链接</figcaption></figure><p><strong>商业分析师（Business Analyst）</strong>由AT&amp;T企业部首席数据分析师Pan老师带领。Pan老师普渡大学MBA，麻省理工EMBA，Spark IT Consulting商务咨询合伙人，10年的行业经验。7周的课程结合理论与业界操作，覆盖: Marketing Framework (AIDA), Segmentation and Targeting, BD and Sales, Customer Experience and pricing。学习使用工具: R, Tableau.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/280/1*e6xEBZEpcswBn3igJz5aHw.png" /><figcaption>商业分析师培训营介绍链接</figcaption></figure><p><strong>数据科学家（Data Scientist）</strong>项目由多位硅谷资深数据科学家讲授，从机器学习算法到大数据环境下到数据处理，从数据爬取到Python Sklearn，再到Hadoop Hive, Spark GraphX，并结合Kaggle竞赛与企业项目实践（Steam游戏推荐系统与Fintech智能投顾），20周良心打造数据科学家。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/280/1*H-kBhKiDaYGygeBWd-fTFA.png" /><figcaption>数据科学家求职培训营介绍链接</figcaption></figure><p>咨询请发邮件至：info@datalaus.com 将在24小时内回复</p><p>或致电：+1–8004857918</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c8ff5d13be83" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[关于数据竞赛的一点思考]]></title>
            <link>https://medium.com/@datalaus/%E5%85%B3%E4%BA%8E%E7%AB%9E%E8%B5%9B%E7%9A%84%E4%B8%80%E7%82%B9%E6%80%9D%E8%80%83-635fc45f9500?source=rss-11fa00d593e5------2</link>
            <guid isPermaLink="false">https://medium.com/p/635fc45f9500</guid>
            <category><![CDATA[数据竞赛]]></category>
            <category><![CDATA[大数据]]></category>
            <category><![CDATA[数据科学]]></category>
            <category><![CDATA[kaggle]]></category>
            <dc:creator><![CDATA[Data Application Lab]]></dc:creator>
            <pubDate>Tue, 16 Aug 2016 01:08:19 GMT</pubDate>
            <atom:updated>2016-08-31T20:41:30.543Z</atom:updated>
            <content:encoded><![CDATA[<p>作者：陈晓理 数据应用学院</p><p>很多数据竞赛，组织方已经把苹果从树上摘下来，洗干净，然后去皮，切好，送到你嘴边，你只管咬就行了。在真实商业环境的原始丛林中，你要想咬一口苹果，却不是这么简单。</p><p><strong>Kaggle</strong>竞赛我们组织参加了很多次，这次又跟企业合办数据竞赛（“麦麦提风控竞赛”）。从这些竞赛的导向来看，很多竞赛太偏重最后machine learning的环节。然后实际上，这与企业的真实需求是有很大偏差的。我在内部交流邮件中，已经跟所有参赛选手都讨论过这个问题。这次再专门写一篇文章，跟更多数据科学爱好者和求职者交流一下。</p><p>本次竞赛与Kaggle竞赛的最大区别，在于关注的重点不一样，一个更关注对机器学习工具的掌握，另一个关注的，更偏重对整个商业模型和数据产品开发流程的理解。大部分数据科学求职者对前者绝对是非常重视，这没有一点问题。然而，绝对不能忽视后者，那样将对数据科学家职业发展产生相当不利的影响。</p><blockquote>Kaggle竞赛的关注重点，是对机器学习工具的掌握。</blockquote><p>数据应用学院辅导过很多学员参加Kaggle竞赛，排名可以达到全球前3%，我觉得我们的理解不会有太大的偏差。Kaggle竞赛关注的，是商业模型或者说数据产品研发后期的数据建模。重点是在已搜集整理好的数据上，如何利用已有的机器学习工具和模型，更快，更准确地完成预测或者分类。</p><p>不管是Airbnb，SF Crime Prediction，还是最近的Homedepot， Expedia的题目，都是在主办方将数据与资料整理齐全后，再让参赛者施展建模能力。<strong>这相当于组织方已经把苹果从树上摘下来，洗干净，然后去皮，切好，送到你嘴边，你只管咬就行了。</strong>你能不能咬下去，只跟你的牙齿有关系。</p><blockquote>很多企业其实更重视的，是在开放命题条件下，对整个商业模型和数据产品研发流程的理解</blockquote><p>真正在商业环境的原始丛林中，你要想咬一口苹果，却不是这么简单。</p><p>你需要先观察，定位，看看苹果树在哪里，上面有没有苹果，还要评估一下上面的苹果熟了没有。熟了的话，那就要考虑，怎么去摘这个苹果？是助跑跳，还是用梯子，还是用杆子去打？摘到了，再说如何去洗，如何去切，最后才说吃相。</p><p>本次竞赛需要参赛选手考虑的，不光光是最后一步的建模分析（吃得香不香），而需要参赛选手分析这之前的所有步骤，包括：<strong>产品的目的是什么（定位苹果树）？哪些数据有可能帮助实现这样的目的（评估苹果熟没有）？如何搜集这样的数据（摘苹果）？如何清理数据（洗苹果，切苹果）？如何建模分析数据（吃苹果）？</strong></p><p>我们认为，这样的逻辑会更自然一些，更符合商业环境的要求。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*abF0Fk_NAhDVANb-L56l2w.png" /></figure><p>我并不是贬低Kaggle数据建模竞赛，完全没有那个意思，以后报道要除了偏差，你们要负责任。我是比较这两种思路对参赛者的影响，强调两种能力都缺一不可。</p><p>毫无疑问，Kaggle建模竞赛提供了脱颖而出的大量机会，我们很多学员在Kaggle上获得优异成绩，找到了非常好的工作。</p><p>同时，我们也要指出，数据应用这一个领域，发展得非常快，光会Machine Learning，是绝对不够的。我们在跟很多企业交流的时候，包括跟<strong>麦麦提金融</strong>，跟<strong>Zest Finance</strong>，还有环境大数据企业<strong>佳格数据</strong>CTO张弓讨论的时候，明显感觉到，企业都越来越强调对数据产品的整体把握，对行业领域知识和对business sense的要求也越来越高，如何设计business model，以怎样的商业逻辑将潜在的数据价值挖掘出来，这方面的要求越来越高。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jqMqTKMhGjPMnGvYCQqV6g.png" /></figure><blockquote>数据科学需要注意技术能力与商务视野的平衡</blockquote><p>我们认为，数据科学求职者需要“在技术能力的深度与商务视野的广度之间做好平衡”（引自Chris老师原话）。以下有两点体会：</p><p><strong>1. 对于初学者，基础一定要扎实</strong></p><p>具体什么叫扎实，最基本的是python machine learning的操作要熟练，理论上要理解。然后是数据清理环节，对Python， SQL上的数据操作也必须熟练，毕竟这个是在工作中耗时最多的。再然后是对分布式系统下的数据操作和数据Pipeline也要动手操作。光听过一些课程，没动过手，那跟听郭德纲相声没区别。这些都动手做好了，才叫基本功扎实。</p><p>如果基础都不扎实，就开始挤入各种展会，跟各位数据公司CEO高谈阔论企业发展，发表business的高见，这是不行的。企业的大佬可以不计较技术细节，因为别人是老大，考虑问题的层面不一样。但对于初学者，或者数据科学的求职者，这样的形象就是夸夸其谈的骗子，应聘数据科学就是找死。初学者基础一定要扎实。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/490/1*mj7xVpnMpB6xVFIlkHswOQ.jpeg" /></figure><p><strong>2. 具体领域商业价值分析能力</strong></p><p>这方面是“老中技工”特别欠缺的。这方面的能力决定了以后职业发展的天花板有多高。就算你爬到最高了，如果缺乏这样的能力，危害的将是整个公司（那谁从市值超1000亿美元跌到现在以40多亿美元卖给了verizon）。中国学生，尤其是中国工科生，特别容易进入“只管学工具，不管整体的商业逻辑”的陷阱。</p><p>这种思维，是机械的工具论，将自己钉死在了“技工”这条路上，把自己当成高效的“螺丝钉”。这样的后果有两个：</p><p><strong>A.被机器替代。</strong>随着技术的进步，很多“技工”的岗位会迅速被机器或者AI替代，除非你是极为顶尖的技工，要不然下场都是败给机器，被扫地出门。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*hydlgCf26MPFpBM2UjRRTQ.jpeg" /></figure><p><strong>B.被其他更有business sense的人替代。</strong>烙印能够通过极为出色的交流能力，迅速理解企业的business model，并与各管理部门保持良好的沟通，准确把握企业发展的方向，然后就被领导提携重用（劈柴就这样被带到了Google CEO）。剩下的老中“技工”，一遇到经济周期波动，就会被成片的裁掉(paypal)，就算你想为美国健康工作50年别人也不让。</p><p>我在跟老师交流过程中，老师若干次提到：<strong>对老中工程师，虽然目前技术还是立身之本，但眼光一定要开阔。</strong>这些都是金玉良言，大家一定要听。</p><p>综上所述，我们设计了本项竞赛，希望参赛者能从全局角度，更多地考虑产品的目标，数据的来源，采集数据的方法，以及处理数据的方法。对于数据科学的求职者，也可以参考一下我们的分析。</p><p>注：此文为数据应用学院与麦麦提金融合办的“麦麦提风控大赛”写的竞赛解释说明文，原为内部邮件，修改后首发微信平台 大数据应用。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=635fc45f9500" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[关于我们]]></title>
            <link>https://medium.com/data-application-lab/%E5%85%B3%E4%BA%8E%E6%88%91%E4%BB%AC-5987aac02fd9?source=rss-11fa00d593e5------2</link>
            <guid isPermaLink="false">https://medium.com/p/5987aac02fd9</guid>
            <dc:creator><![CDATA[Data Application Lab]]></dc:creator>
            <pubDate>Mon, 08 Aug 2016 18:35:23 GMT</pubDate>
            <atom:updated>2016-08-16T01:23:21.785Z</atom:updated>
            <content:encoded><![CDATA[<p>数据应用学院（<a href="http://www.datalaus.com/">Data Application Lab</a>）是北美第一家培训－项目实习－内推一站式专业数据人才输送机构，提供大数据和数据科学培训和公司项目解决方案，由南加州与硅谷的高级数据科学家与数据工程师联合创办，致力于传播数据行业最新应用和知识、培训及输送优秀大数据人才，以填补人才缺口、充分发挥大数据在商业中的力量。</p><p>师资队伍均来自北美领先科技公司，包括10位资深讲师来自Google、AT&amp;T、Facebook、Symantec、Uber、洛杉矶明星创业公司等背景，拥有3–8年数据工作经验； 12位2–3年工作经验和通过各类专业认证的TA队伍；50位遍布IT、金融、传媒、医疗等领域的导师；并有20,000+北美企业家和工程师人脉网为学员就业、创业提供支持。</p><h3>毕业生现在都工作于:</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*RO0BWp2VXecmuHF3C0dzow.png" /></figure><h3><strong>报名流程：</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CSGeZUrYxzpdZWYdN9YmsA.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5987aac02fd9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-application-lab/%E5%85%B3%E4%BA%8E%E6%88%91%E4%BB%AC-5987aac02fd9">关于我们</a> was originally published in <a href="https://medium.com/data-application-lab">数据应用学院</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[理论上说，什么是数据工程师，什么是数据科学家]]></title>
            <link>https://medium.com/data-application-lab/%E7%90%86%E8%AE%BA%E4%B8%8A%E8%AF%B4-%E4%BB%80%E4%B9%88%E6%98%AF%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B%E5%B8%88-%E4%BB%80%E4%B9%88%E6%98%AF%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E5%AE%B6-5f2a95fbeb87?source=rss-11fa00d593e5------2</link>
            <guid isPermaLink="false">https://medium.com/p/5f2a95fbeb87</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[数据科学]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[大数据]]></category>
            <dc:creator><![CDATA[Data Application Lab]]></dc:creator>
            <pubDate>Sun, 07 Aug 2016 05:41:43 GMT</pubDate>
            <atom:updated>2016-08-07T05:42:29.099Z</atom:updated>
            <content:encoded><![CDATA[<p>Data Engineer vs. Data Scientist</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*--XXOv_3LwH-YC4rZ6dWSw.png" /></figure><p>这么多公司需要大数据人才，小伙伴们也纷纷跃跃欲试投身这场数据革命中。可到底大数据有哪些岗位需求呢？对用人的要求是怎样的呢？我们今天来仔细看一看。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/539/1*EcNEF-glxyKm8lAydouJsA.png" /><figcaption>理论上来说，应该是以上的这个分工</figcaption></figure><p>数据行业里面，跟数据有关的岗位一般有三种：1. Data Analysis, 2. Data Engineer, 3. Data Scientist.</p><h3><strong>Data Analysis</strong></h3><p>Data Analysis是比较entry level的数据分析师，也指传统的数据分析岗位，用用regression model，做做回归分析，或者拿Excel处理一下几页的数据，出一张QQplot的图，甚至就算用的是Tableau画出很高大上的效果图，其实岗位也还是Data Analysis。这种岗位的需求存量较大，但不是本文的重点。</p><p>本文重点介绍后两种，Data Engineer 和Data Scientist。</p><h3>Data Engineer</h3><p>Data Engineer主要职责是经营，维护数据仓库。在岗位上做的很多是“我吃的是草，挤出来的是奶”的活儿。对，就是数据的ETL (Extraction, transform, Load)，将所需的数据从不同来源不同格式的数据源中提取出来，转换类型以方便使用，然后归档入数据仓库。传统的Data Engineer使用很多SQL的工具，包括MySQL，Oracle SQL等来协助完成这项任务。一般来说，Data Engineer需要有一定的CS背景，需要能够编程，而且指不定什么时候服务器又down了，你还得会修。现在不会？学嘛～。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/664/1*4W_nl8pDWroLdJbqkL0Cdw.png" /><figcaption>蜜汁CS</figcaption></figure><p>However, 在“大数据”时代，面对动辄每天几百G的数据规模，仅仅掌握传统的数据工具，最终结果只能是<em>“臣妾不能够”</em>。于是越来越多的Data Engineer需要掌握新的技能，利用分布式的系统来完成对数据的ETL。 现在用得最广泛的就是Hadoop和Spark。分布式架构的Hadoop生态系统包含很多组件和应用工具，分布式文件系统HDFS，分布式SQL工具Hive，流处理工具Storm，消息分发工具Kafka，系统资源管理工具Yarn等。Data Engineer们需要利用这些工具配合程序开发来完成数据处理的工作。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/482/1*yyP3-hCj5B5cw1Jatid3Bw.png" /><figcaption>所以对于Data Engineer来说，在掌握一定的计算机编程能力的同时，还需要对于Hadoop生态系统及相关工具应用有相当的熟悉程度。就像上图中的招聘要求一样。</figcaption></figure><p>有了可用的高质量的数据，那么Data Scientist就可以出场了。</p><h3>Data Scientist</h3><p>Data Scientist在公司里面的责任，是从数据中挖掘价值，为公司的商业决策提供依据，职位比Data Analysis高，薪水当然也很可观，年薪12万刀以上妥妥的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/343/1*_aafqBiucYGBbCSLIrLISQ.jpeg" /><figcaption>对数理统计有较好的掌握，对相关行业也有一定的理解，既要能够编点程序做做machine learning，又要能够设计数据可视化的结果展示，但可喜的是不一定要求有CS背景。</figcaption></figure><p>当然，由于现在人才市场短缺以及大数据也刚刚兴起，很多公司可能连ETL这部分东西都要让Data Scientist去干，充分展示出资本主义国家对劳动人民的无情压榨。</p><h3><em>需要强调的有两点：</em></h3><p>首先，Data Scientist的未来，应该是闪耀于各行各业之中，甚至IBM提出了CDO这样一个“首席数据官”的概念。数据科学家并不是一种新兴的独立的行业，而是强调利用各种工具在现有行业的数据中去挖掘价值，让数据来引导决策。会使用各种machine learning的models，像Random Forest，Support Vector Machine等，还不够，一定要结合到相关行业的数据中去，才能发挥其价值。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*usEw25msff7r0MhhqNZi0g.jpeg" /><figcaption>Viladimir Vapnik</figcaption></figure><p>其次，Data Scientist应该怎么看待相关性和因果性(correlation and causality)。现在很多人，包括畅销书《大数据时代 生活、工作与思维的大变革》作者维克多等人，都在呼吁放下因果性，让相关性来指引数据结果。然而也有一些人对此表示严重的忧虑，包括Support Vector Machine的发明者Viladimir Vapnik，他在最近的一次演讲中，将深度学习成为‘蛮力’，并警告‘魔鬼往往出自于蛮力’。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/622/1*cjm9x_6DUK_KRR95cEu8xg.png" /><figcaption>Data Engineer和Data Scientist的市场要求与需求对比</figcaption></figure><p>虽然这两种岗位对人才的要求不尽相同，但从上面的介绍中你一定会发现，如果有相关的工作实习，或者项目经验，那么你会变得非常抢手。这就是现在大数据就业市场的特点。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5f2a95fbeb87" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-application-lab/%E7%90%86%E8%AE%BA%E4%B8%8A%E8%AF%B4-%E4%BB%80%E4%B9%88%E6%98%AF%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B%E5%B8%88-%E4%BB%80%E4%B9%88%E6%98%AF%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E5%AE%B6-5f2a95fbeb87">理论上说，什么是数据工程师，什么是数据科学家</a> was originally published in <a href="https://medium.com/data-application-lab">数据应用学院</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>