V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sgtiaww
V2EX  ›  Hadoop

有谁现在正在准备学 Hadoop 或 Spark?

  •  
  •   sgtiaww · 2016-01-11 21:21:29 +08:00 · 5733 次点击
    这是一个创建于 3021 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我想尝试一下引导学习的方式,看看自己能不能教别人。并且我还想尝试梳理一下这方面知识脉络,根据初学者的反馈整理出来一份有用的资料放在网上。因为是尝试,所以并不知道效果会如何,但是我觉得只要学习了总会有进步,而且我也不收钱,只是要点反馈而已。

    大致形式是:

    1. 邮件沟通(不面基,不用 IM ,我应该只能在工作之余时间回邮件);
    2. 每周或双周出一项任务来完成,我会给出一些参考资料和任务指引;
    3. 有问题可以发邮件给我,但是不支持比如 “ Command not found ” 这种没营养的或者 Google 一下一大堆答案的问题;
    4. 学习形式会根据反馈和实践有微调。

    学习内容限于 Hadoop 和 Spark 的使用和原理,略微深入点的内容还可以,太深入的实现细节我觉得还没有到可以教别人的程度。

    我希望参与学习的人应该具有一定的计算机基础,至少会简单使用 Linux 吧,然后写代码基础不太弱就行了;计算机科班的学生最好了,不过我也不做这个限定。

    关于我,我是个数据处理相关方面的码农,这个方面工作几年了,应该算是入了门了吧。这个 V2EX 帐号是我新注册的,因为我想匿名搞这个事情,毕竟万一搞砸了 :D

    我觉得这种形式应该最适合于那种,想学习、有一定基础,但是没入门、没头绪的同学,其实很多方向都是稍微引导下入门了就好学了。不知道会不会有人感兴趣,所以我先发帖调查下,有人的话我再放邮箱。估计我也只能支持很少的人一起学,因为工作还挺忙,所以如果人多我会考虑回复顺序。

    第 1 条附言  ·  2016-01-13 11:58:13 +08:00
    谢谢大家回复。

    因为我个人确实时间有限、能力有限,所以这个”引导计划“支持不了很多同学,实在是很抱歉。不过有时间的情况下我还是愿意帮忙的。我觉得楼上几位提议挺好,因此建了一个 GGroup: https://groups.google.com/d/forum/another-wonder-world ,欢迎大家加入,在这里讨论自己学习时遇到的问题。也欢迎各位大神在这里帮助大家,我自己也会回答力所能及的问题,并且发布引导计划里形成的资料。

    另外,我收到一位同学的邮件说大家可以形成互助小组,一起讨论学习,也挺好的。欢迎大家在邮件组里自由搭伙和讨论,另外 V2EX 也是个不错的平台。学习技术就怕兴趣和动力缺失,希望大家在互相帮助中保持动力满满。
    58 条回复    2016-01-13 13:03:22 +08:00
    sgtiaww
        1
    sgtiaww  
    OP
       2016-01-11 21:23:36 +08:00
    另外,学习内容限于 Hadoop 和 Spark 的使用和原理,略微深入点的内容还可以,太深入的实现细节我觉得还没有到可以教别人的程度。
    yzld2002
        2
    yzld2002  
       2016-01-11 21:39:17 +08:00 via iPad
    有意啊!日常使用 linux ,熟练使用 java
    billlee
        3
    billlee  
       2016-01-11 21:54:00 +08:00
    信息工程科班,有随机数学和一点机器学习的基础,现在公司产品刚部署了 hadoop, 正要学习怎么利用
    griffinqiu
        4
    griffinqiu  
       2016-01-11 22:00:53 +08:00 via iPhone
    有意哦, username@gmail
    billgreen1
        5
    billgreen1  
       2016-01-11 22:27:23 +08:00
    挺有意思的,我今天下午刚买了书。
    br00k
        6
    br00k  
       2016-01-11 22:32:52 +08:00
    有点兴趣。。。
    qinxi
        7
    qinxi  
       2016-01-11 22:34:07 +08:00
    有意+1 java 猿.linux 会一点
    lszxlong
        8
    lszxlong  
       2016-01-11 22:45:02 +08:00
    python 以及 php linux 会点.

    怎么联系
    sgtiaww
        9
    sgtiaww  
    OP
       2016-01-11 22:48:30 +08:00
    谢谢楼上四位同学支持 :D

    看各位都挺厉害的,也希望我能帮上忙吧。那第一周麻烦大家发邮件给我,简单介绍下自己的技术能力,和对 Hadoop 和 Spark 的了解程度,我计划在周六零点之前准备好第一周作业,希望不要加班跳票 :P

    我邮箱是 `echo c29nb29kdGhpc2lzYXdvbmRlcmZ1bHdvcmxkQGdtYWlsLmNvbQo= | base64 -d -`, linux 环境,那么后续我们就邮件沟通吧。

    如果我觉得写的任务、参考资料和指引还 OK ,我也会发布到这里来,也欢迎四位同学将来过来发表 solution 。
    sgtiaww
        10
    sgtiaww  
    OP
       2016-01-11 22:53:41 +08:00
    编辑完回复,已经变成七位同学了,开心。

    我感觉自己一个人精力有限,那就以我上一条回复截止报名吧,以免时间不够,承诺了大家却不能实现。

    请 @yzld2002 @billlee @griffinqiu @billgreen1 @br00k @qinxi @lszxlong 同学发邮件注明 ID 哦。
    yhf
        11
    yhf  
       2016-01-11 22:57:36 +08:00
    来迟了,非常想学:(
    wenbinwu
        12
    wenbinwu  
       2016-01-11 23:07:39 +08:00
    我想学习,还有机会吗
    Andy00
        13
    Andy00  
       2016-01-11 23:10:15 +08:00
    来晚了,就差十几分钟,做过 MapReduce 开发,但是还想学学 Spark ,大神求带
    sgtiaww
        14
    sgtiaww  
    OP
       2016-01-11 23:12:29 +08:00 via iPhone
    @yhf 谢谢谢谢,我确实有点担心业余时间不够用,毕竟还有工作,所以抱歉啦。如果我准备的材料大家觉得还不错,我也会同步到这里来,非常欢迎公开的讨论哈。
    kezonwong
        15
    kezonwong  
       2016-01-11 23:15:48 +08:00
    我也想学,平常使用 ubuntu 和 java ,由于项目需要在学 scala ,项目外时间比较充足,所以想趁这个机会学下 spark 相关的东西
    sgtiaww
        16
    sgtiaww  
    OP
       2016-01-11 23:39:48 +08:00 via iPhone
    谢谢大家,想学习当然有机会,立刻开始就可以啊。写代码的自学肯定不能差,我这个计划也只是起到互相监督和引导学习作用,我也梳理一下内容,达不到大神授课的层次啊 :D
    chenyuxiaodhr
        17
    chenyuxiaodhr  
       2016-01-11 23:49:09 +08:00
    来晚了,能不能先共享一些资料和学习计划(蹭课~
    LonelyWalker
        18
    LonelyWalker  
       2016-01-11 23:53:18 +08:00
    来晚了...之前看视频自学 hadoop ,看得头都大了,没人带真的难学,环境都得搭半天,然后对着视频操作,运行官方的统计单词的测试代码一直卡住不动,然后,就没有然后了...
    darluc
        19
    darluc  
       2016-01-12 00:29:49 +08:00
    我就想看看: end6MjUyQGdtYWlsLmNvbQo=
    ivanlw
        20
    ivanlw  
       2016-01-12 05:19:51 +08:00
    报个名
    hpan
        21
    hpan  
       2016-01-12 08:46:57 +08:00
    不错不错,没报上名的可以围观吗?
    yaoweilei
        22
    yaoweilei  
       2016-01-12 08:58:03 +08:00
    eWFvd2VpbGVpQGhvdG1haWwuY29t 没报上名围观
    loggerhead
        23
    loggerhead  
       2016-01-12 09:08:27 +08:00
    OS X 的 base64 命令有点不一样

    echo 'c29nb29kdGhpc2lzYXdvbmRlcmZ1bHdvcmxkQGdtYWlsLmNvbQo=' | base64 -D -
    staticor
        24
    staticor  
       2016-01-12 09:10:35 +08:00
    我也有兴趣参与, c3RhdGljb3JAbWUuY29tCg 目前刚在这个行业从事 1 年的时间. 对 Hadoop Spark 同感兴趣. Learning Spark 和 Hadoop the Definitive (4 th) 是我比较推荐的 2 本入门书
    jackysc
        25
    jackysc  
       2016-01-12 09:49:53 +08:00
    楼主 相关资料和内容能否发到 github 上让我们也学习下呢 谢谢
    希望能报上名

    echo cGFuLnlhbi5qYWNreXNjQGdtYWlsLmNvbQo= | base64 -d -
    jy02201949
        26
    jy02201949  
       2016-01-12 09:53:37 +08:00
    部门搭了 hadoop ,但不是我用,不过也打算学一下,保不齐哪天轮岗了。。。

    不过还没正式开始
    wh0syourda66y
        27
    wh0syourda66y  
       2016-01-12 10:58:38 +08:00
    学习 Hadoop+Spark 推荐一本好书《 OReilly.Advanced.Analytics.with.Spark.2015 》
    strahe
        28
    strahe  
       2016-01-12 11:13:28 +08:00
    邮件问一条答一条的话效率忒慢的,况且我估计问你的问题问 google 应该也没问题的,如果你愿意的话我建议你写个简单的教程吧,通俗易懂的那种。
    gzxultra
        29
    gzxultra  
       2016-01-12 11:24:29 +08:00
    正在做 spark 内存动态分配的本科毕设,谢谢指导!!!
    Mail: bXlnbGFkZmluZ2VyQGdtYWlsLmNvbQ==
    yangxiongwei
        30
    yangxiongwei  
       2016-01-12 11:34:08 +08:00
    来晚了,现在还来得及吗?

    个人时间不太多,怕跟不上进度。

    有问题能 email 咨询你吗? (问题不会是 Google 能简单就搜到的)
    aheadlead
        31
    aheadlead  
       2016-01-12 12:36:15 +08:00 via iPhone
    开个 maillist 如何
    chengcanmm77
        32
    chengcanmm77  
       2016-01-12 13:11:01 +08:00
    不错哦, [email protected]
    WeberXie
        33
    WeberXie  
       2016-01-12 13:14:56 +08:00
    bk201
        34
    bk201  
       2016-01-12 13:15:45 +08:00
    dGVzdDAxQGJrMjAxc2FtYS5ldS5vcmc=
    感觉有种既视感
    ivanchou
        35
    ivanchou  
       2016-01-12 13:27:56 +08:00 via Android
    接触过 Hadoop ,但对 spark 不太了解,有意
    enhscmFua0BnbWFpbC5jb20=
    Comdex
        36
    Comdex  
       2016-01-12 13:41:08 +08:00
    求带,wcomdex#foxmail.com
    delavior
        37
    delavior  
       2016-01-12 14:26:23 +08:00
    老司机带带我, ZGVsYXZpb3JAMTYzLmNvbQo=
    swolf119
        38
    swolf119  
       2016-01-12 15:42:45 +08:00
    来迟了 还来得及学么
    bWVAbG91c2FtYS5jb20K
    swolf119
        39
    swolf119  
       2016-01-12 15:43:21 +08:00
    我前阵子刚开始学 spark ,楼主希望能一起交流一下
    zonghua
        40
    zonghua  
       2016-01-12 15:45:45 +08:00
    其实最重要的还是数理统计的知识。
    hfpeng01
        41
    hfpeng01  
       2016-01-12 16:33:53 +08:00
    求围观,非常有兴趣,一直入不了大门,卡在门口学啊学
    cszhiyue
        42
    cszhiyue  
       2016-01-12 17:16:56 +08:00
    推荐可以去 GitHub 发一个 repos 。
    有问题也可以发 issue 交流。这样也不用 lz 一条条回复 @sgtiaww

    同样从事数据分析
    islandev
        43
    islandev  
       2016-01-12 17:42:01 +08:00
    有意,感觉可以将资料和作业弄到这块来
    a15819620038
        44
    a15819620038  
       2016-01-12 18:02:55 +08:00
    正在学习,我也来留个:

    emhhbmdoYWlwZW5nNDA0QGdtYWlsLmNvbQ==

    辛苦啦,谢谢。
    hunk
        45
    hunk  
       2016-01-12 20:11:00 +08:00
    或者一起整个 google group 交流?一堆一的,是否不太热闹?
    如何联系?
    sacuba
        46
    sacuba  
       2016-01-12 20:46:59 +08:00 via Android
    还能报名么,最近用 spark+ phoenix 处理数据,摸索前进中,官方回复邮件总在凌晨,一来一回就一天时间…
    Bryan0Z
        47
    Bryan0Z  
       2016-01-12 21:27:45 +08:00 via Android
    @staticor 感觉 Hadoop in Action 更适合
    sgtiaww
        48
    sgtiaww  
    OP
       2016-01-13 00:18:44 +08:00
    谢谢大家回复。

    因为我个人确实时间有限、能力有限,所以这个”引导计划“支持不了很多同学,实在是很抱歉。不过有时间的情况下我还是愿意帮忙的。我觉得楼上几位提议挺好,因此建了一个 GGroup: https://groups.google.com/d/forum/another-wonder-world ,欢迎大家加入,在这里讨论自己学习时遇到的问题。也欢迎各位大神在这里帮助大家,我自己也会回答力所能及的问题,并且发布引导计划里形成的资料。

    另外,我收到一位同学的邮件说大家可以形成互助小组,一起讨论学习,也挺好的。欢迎大家在邮件组里自由搭伙和讨论,另外 V2EX 也是个不错的平台。学习技术就怕兴趣和动力缺失,希望大家在互相帮助中保持动力满满。
    staticor
        49
    staticor  
       2016-01-13 00:41:59 +08:00
    @Bryan0Z 恩 一些优秀的书都该多涉及.
    xiyangyang
        50
    xiyangyang  
       2016-01-13 04:11:00 +08:00
    不错,正要学习,我也加入。 id: xiyangyang
    huifukejian
        51
    huifukejian  
       2016-01-13 09:19:30 +08:00
    搞个 qq 群啊,比邮件方便多了
    onlyshit
        52
    onlyshit  
       2016-01-13 09:22:22 +08:00
    YWxpdWh1aWJpbmFAZ21haWwuY29tCg== 留个邮箱
    shenchuanli
        53
    shenchuanli  
       2016-01-13 09:45:09 +08:00
    我想学呢,我熟悉 hadoop,,目前在学 spark , mahout. linux java 什么的,肯定没有问题。望多多指点啊
    frandy
        54
    frandy  
       2016-01-13 09:57:22 +08:00
    学习 spark 和 scala ,望搞个扣扣群或者
    mail:MzAzNzM0MDIzQHFxLmNvbQo=
    Bryan0Z
        55
    Bryan0Z  
       2016-01-13 11:49:57 +08:00 via Android
    建议楼主 append 中贴上 GGroup 地址
    sgtiaww
        56
    sgtiaww  
    OP
       2016-01-13 11:58:06 +08:00
    @Bryan0Z bingo
    crayygy
        57
    crayygy  
       2016-01-13 12:48:25 +08:00
    最近在准备一个实习,想学习一下 Hadoop
    crayygy
        58
    crayygy  
       2016-01-13 13:03:22 +08:00
    @crayygy Y3JheXlneUBnbWFpbC5jb20K
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1236 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 17:53 · PVG 01:53 · LAX 10:53 · JFK 13:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.