首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
miemiekurisu
V2EX  ›  职场话题

[吐糟向][感悟向]说说呆在金融行业 IT 这几年

  •  7
     
  •   miemiekurisu · 2015-09-05 16:21:45 +08:00 via Android · 13685 次点击
    这是一个创建于 1595 天前的主题,其中的信息可能已经有所发展或是发生改变。
    在金融行业 IT 呆着也到了 8 个年头,职位也上到架构师级了,吐点糟吧,说说我眼中的印象。

    [印象一] 封闭,极端封闭。
    这是个极端封闭的行业, N 年来应用架构方案只有有限几种: struts , spring MVC ; EJB, spring ; hibernate , mybatis 。数据库方案屈指可数: MS sqlserver, DB2, oracle.
    有很大一部分是由于行业的极端需求决定的,对新技术的应用都非常谨慎。
    不过现在也开始有些转变,部分公司的外围系统开始出现一些 hadoop , node.js 之类的新兴技术框架。
    其实我个人对此的观点是,应用架构都是领域驱动的,技术是一码事,新技术未必适合这个领域。片面追求技术是危险的。
    不过有很多明显可以提高生产力的技术却没有得到应用,就有点让人觉得不可理解,这个印象三里会讲到。

    [印象二] 不差钱,买买买。
    所有东西都是“买买买”,从应用到维保。
    我完全理解“专业的事情要交给专业人士处理”这种观点,并且认为这是种正确观点。
    但是我不觉得光花钱就可以买来专业。

    [印象三] 一些反思
    这部分想说说曾经经手的几个项目,和一些反思,就当是回顾总结吧。
    普通的应用项目,我觉得都不值一提, Java 的企业应用基本就那么回事吧,体现在对技术框架本身和业务理解上。

    1. 某 DW/BI 项目
    这个项目比较有意思,当时 Global 对这个 local 的项目并不是很感冒,所以没有资源支持,所以基本上一个人担纲设计到开发的所有任务,而且还没有预算。
    项目的主要问题有 4:
    数据源复杂: 公司运作了几十年,各种数据源都会有, AS400 , Oracle , MS SQLServer, Excel, Access, Txt ( CSV )……
    数据是有时限的: 有一堆特定数据是需要在特定时间导出的,简而言之,过了这个村,就没这店了。
    没有数据内涵的 support: 其实这是最难的,给你一堆英文首字母组成的表名和列头,跟乱码有什么区别……对吧……
    数据量大:这个是所有像样一点的 DW/BI 项目都会遇到的问题
    所以当时做了这样的设计:
    ETL 用了著名的 Spoon ,当时还叫 Kettle 。解决了复杂数据源问题。作为一个成熟的开源 ETL 工具,几乎完美的解决了多数据源问题(说几乎是因为我始终没能解决 AS400 的双字节乱码问题,最后是通过开发插件处理二进制流,部分解决的)。
    定时抽取问题是 shell 脚本配合 cron 解决的,利用系统级定时调度器也是 spoon 官方推荐的方案。
    数据内涵完全是靠表数据和业务数据逆向出来的,此过程之痛苦真难以用笔墨形容……一边对照业务流程操作,一边对比 spoon 增量更新数据,花了差不多两个月把大约 200 张表和业务的逻辑勾稽搞清楚了。
    数据量大本来不是问题,但是当 global 对项目不怎么感冒,而且对应用管理严格的时候就成了个问题。不能在服务器上架设 policy 以外的数据库,开源数据库统统阵亡,因此可选的数据库只有 2 种( MS SQLSERVER, oracle, 其实…… access 如果算数据库的话可以认为是 3 种),而 Oracle 的 license 不够,所以就只能选择 SQL server 。实话实说,巨硬产品相对来说还是比较靠谱的,最后把仓库架在了 SQL server 的多节点负载均衡上(别跟我说巨硬有 DW 专用组件,那个没买),当然其中使用了各种不愿再回想起来的奇技淫巧。
    报表展现层其实有诸多选择,当时考虑的是开源项目中比较成熟的 Jasper Report 。开始用 Eclipse BIRT ,那玩意只能说是“勉强可用”。 BI 部分,在 DW 上架上了 SpangoBI, 但是只用了其中一小部分功能( MDX 及其展现)。
    当时报表和多维分析时效是 T+1 的,后来想想,既然有时间戳增量更新,其实可以做到 T+0 ,如果把数据模型细分,可以做到准实时,只不过当时没这样的要求罢了。
    项目前后大约折腾了 3 个多月,主要时间还是花在逆向表数据上。
    反思一下的话,如果用 PostgreSQL 性能应该更好些,可以避免很多奇技淫巧的坑。总的来说,没留下什么坑,也不怎么需要维护。不过前面所说的“封闭”,可见一斑。

    2. 某数据分析项目
    这个项目就更有意思了。项目详情不能透露,大体上是找麦肯锡做的咨询,花费是千万级的(不差钱,买买买)。
    神奇的地方在于,麦肯锡给了 2 张无法实施的纸就拿走了千万。两张纸的模型精度是多少呢? 据说α=0.3 。看到这里估计有童鞋要喷老血了,这不是只比瞎蒙高那么一点么…… 好吧,项目还真就跟着这个比瞎蒙高一点的模型走下去了,看起来也像成功了……至于是不是真的成功那只有用的人自己知道了。
    这个项目可反思的东西就多了。
    建模方面看的话,觉得建模方法本身就有些问题。对于达到 TB 规模,变量超过几千的数据,我的感觉是传统的统计方法有一部分不再适用,并不是说统计没有用,而是方法需要转变。
    这种情况下,我更倾向于先进行无监督聚类,再通过一定程度的抽样即可将现有数据都打上分类。模型生成方法更倾向于 AdaBoost 或者随机森林,速度快,精度也不低。
    实际上有偷偷试过几下,裸数据聚类并分类生成的模型( AdaBoost )预测准确率大概在 76.4%左右,调整一下应该能上 80%。
    不过呢,这事情有点微妙,你总不能说那千万都白花了吧。
    架构方面看(……当然不是我搭的,当然,如果是我搭的糟点也许会更多也不一定),采用传统的 SAS+Java+Oracle 真是充满了糟点。完全可以采用 ETL+hadoop+RHadoop (对不起我是用 R 的,也许有更好更快的方案,比如 spark )。 首先,对一个没有遗留系统的项目,没有看出采用 SAS 的必要性;其次, Oracle procedure 处理的效率跟 hadoop 和相关组件根本不在一个数量级上。

    (待续了)
    第 1 条附言  ·  2015-09-06 22:48:00 +08:00
    其实需要澄清的一点是, 我从来不执迷新技术和开源技术
    只有领域契合的技术才是好技术,我见过用 office VBA 实现的牛逼系统,
    也见过用最新技术堆砌起来的 SB 系统.
    设计系统的人很重要!很重要!很重要!(因为很重要所以说三遍)
    实现系统的人也很重要!很重要!很重要!(因为很重要所以说三遍)
    第 2 条附言  ·  2015-09-07 18:34:45 +08:00
    (续一)
    由于带点吐糟向的性质,行文比较轻佻,
    对可能造成的误导,向大家抱歉了。
    其实我完全没有轻视的意思,
    倒不如说我非常钦佩在极其苛刻的各种 policy 下,
    克服了种种别的行业根本不存在问题最后把系统建成的人 /团队(比如某项目仅用 2 台 780 组的 Oracle 负载通过各种不可名状的手段让将近 10T 的活跃数据稳稳的跑起来,我对当时负责的 DBA 佩服之情至今犹如滔滔江水)。

    所以下面来八一八我见过最流弊(褒义)的项目之一。

    3. 某 VBA 项目
    嗯,你没看错,一个 VBA 项目。
    为什么是 VBA 搭的系统呢……因为公司的神 policy ,理论上 global 不接受 VBA 以外 local 自建系统。
    这是个半路接手的项目,接手之初就觉得设计者是个神人。系统涵盖了整个业务核心以及大部分外围应用,最流弊的当属其中还包含了一个 Access 实现的 BI 模块。
    设计者完美的理解了整套业务流程和数据处理过程,并把所有的开发资源精准的投到了流程成本最高的部分;同时充分展现了对微软 VBA 技术和各种高级 office 组件的深度理解(想象一下,一个系统通过纯 VBA 打通了 db ,非 outlook 邮件系统,软电话设备)。
    BI 模块是纯 access pilot 实现的,各种统计分析各种图形(当然 pilot 没有的没办法), excel 、 PDF 报表。数据太大肿么办,索引分库分表分存储冗余,十几个 G 的分析数据,最大一张分析报表跑起来仅仅“略卡” 20 秒左右就能出结果,提醒一下,那个是 access 程序。
    顺便一提,我至今再也没有遇到过能够如此精准切分数据模型,平衡业务流程与系统效率的人。
    诚然,如果用其他技术可能会省事很多,但是我觉得如果没有对业务和系统的精涵理解,无论用任何技术都没法构建出这样的系统。

    (待续)
    77 回复  |  直到 2016-04-03 19:36:18 +08:00
    minvacai
        1
    minvacai   2015-09-05 16:32:47 +08:00
    坐等后续
    dbdd
        2
    dbdd   2015-09-05 17:10:35 +08:00
    关注后续
    flynngao
        3
    flynngao   2015-09-05 17:10:49 +08:00
    终于看到一些养分
    zartouch
        4
    zartouch   2015-09-05 17:22:22 +08:00   ♥ 1
    同在金融行业,看到 lz 发帖我也说下我的感受。

    买买买是真的,就算开源的东西,比如 cassandra 数据库也一定是用 Datastax 这样的商业版。这玩意一定要有人背锅才可能会去用。

    还有感觉一点各种事情都要走流程申请,包括之前升级 intellij 14 申请了快 3 周才下来,升级 chrome 也要 1 周多,还有各种封网站上不去,包括 google groups ,简直我去了。。。

    但是技术的话我觉得看项目,不管我之前呆过的基础设施平台项目用的 cassandra ,, nodejs, redis, java 用的 7 也不算老。况且那时候是 1 年多以前了。我们收集日志数据分析也有用 hadoop 虽然我没有参加那部分工作。

    现在的股票衍生品交易系统后端语言 scala 2.11 ,数据库是 mongo ,使用的框架比如 reactjs, vertx, akka ,以及使用 event driven 模型构架在互联网来说都比较新了。

    我的感觉是有些很新的技术实际用起来坑是很多的,再更注重业务和稳定的传统金融行业其实并不是特别好的事情。很多新的特性看起来挺美好,但很多时候你要自己想办法造轮子填坑效率其实并不会更高。
    WildCat
        5
    WildCat   2015-09-05 17:56:32 +08:00
    @miemiekurisu
    @zartouch

    楼主好, 4 楼层主好。自己是金融类专业(专业名太渣就不说了)的学生,以后也想从事类似专业,所以想请教两位前辈几个基础性的问题:
    1. 计算机基础是否重要?看到楼主说到算法,这方面需要补充到什么水平?其他计算机基础知识有什么推荐吗?
    2. 数学基础的重要性如何?楼主介绍的“某数据分析项目”中有提到模型是其他公司做的,那么对自己的数学基础有多高的要求呢?
    3. 接触的应用层开源项目问题。由于编程一直仅仅属于自己的兴趣,接触的东西都比较“互联网化”: iOS 、 Android 、 Rails 、 Python 。 Python 方面对 SciPy 、 NumPy 接触也不多。看到楼主说用到的是“ struts , spring MVC ; EJB, spring ; hibernate , mybatis ”之流,不知对于我这样的大约 3 年后工作(可能读个英硕)的学生来说,学生时代应该接触项目有什么推荐?
    4. 由于自己金融知识学得还是比较基础,对于问题 3 中推荐的开源项目,能否提几个可以应用的场景(想法)?
    5. 大公司是否看重学术水平?如果有发表过 SCI 论文是否可以加分?

    感谢。
    wy315700
        6
    wy315700   2015-09-05 18:03:00 +08:00
    金融,包括工控,对 IT 的要求就是,稳定
    你可以不是最新技术,可以很难用,可以很卡,但是,你不能丢数据,不能崩溃。
    很多新技术看起来好,但是没有经过行业的证明,,谁也不敢用。

    13 年的时候,一家银行因为 DB2 的内存管理问题造成了不能取钱,还有一个在升级的时候遇到问题,只能回滚, DB2 这种软件在升级的时候发现问题可以回滚,但是现在看起来一些先进的技术,升级的时候遇到问题能回滚吗,,,
    phoenixlzx
        7
    phoenixlzx   2015-09-05 18:04:01 +08:00
    咩咩在群里被我们吐槽终于受不鸟来讲故事了 www
    jadetang
        8
    jadetang   2015-09-05 18:15:50 +08:00
    @wy315700 你说的是宇宙行吧。当时我正在宇宙行做开发,那个事情蛮大,最后变成一个三级问题了。
    leeoo
        9
    leeoo   2015-09-05 19:03:22 +08:00
    我干金融 IT 快三年了, LZ 说的很多和我公司一样,我是投行相关的业务。以下是一些吐槽。
    生产环境上的数据库都是 Sybase, DB2, SQL Server 和 Oracle ,目前 Sybase 基本快淘汰了, Oracle 是主力。(去年换了个大老板,我们 Credit 部门也开始搞起 Code Review ,一键 build+deploy 之类的,终于看到有人在 Dev 服务器上装上 Postgres, SQLite 和 MySQL ,只不过仅仅限于一些项目组里的临时构建系统使用,正式 build 系统还是换成 Oracle 了。)

    不管是 PC 还是 Server 安装软件都得填写申请,而且需要经过各级各种 Boss 批准。
    (若是 PC 上的软件, Boss 批准了但是 TI 执行时不一定会给你装申请的版本,比如我最近因为项目升级到了 JDK1.8 所以为了支持 Java 8 的新特性填了装 Eclipse 4.4.2 的 ticket ,谁知 TI 还是给我装了 Eclipse 4.3.0 ,无语!找到 TI 他说软件库里没有这个版本,我把软件仓库系统里可用的 eclipse 4.4.2 截图给他,他说他们自己内部的软件仓库里没有,没法给我安装 - -!最后扯了很久就以别的同事机器上的 eclipse 4.3.2 做 mirror 给我装了,勉强支持 Java 8 新特性。。)

    很多项目里喜欢拿别以前旧项目里的 jar 包用,也不仔细分析下到底适合不适合用。觉得是 Weblogic 之类的商业产品用上没报错就行了,连一些 core service 之类的都这样引用,搞得现在一些项目里出现严重的 jar 包冲突问题。大多数项目用的 Ant ,很少用到 Maven ,导致 jar 包到处拷贝,版本库上也到处是 jar 包, checkout 个项目可以去喝杯茶。

    另外大多数系统还是用的 CVS 管理源码版本, SVN 也不多, Git 就一两个比较新的跟大数据计算处理相关的用到了。。
    miemiekurisu
        10
    miemiekurisu   2015-09-05 19:03:32 +08:00 via Android
    @zartouch ……你们可能偏金融交易,变化比较快。银行保险业变化非常慢。还是那句话,技术因为需要才需要,很多新技术坑确实不少,但是片面追求稳定而抛弃一些成熟的新技术,无视效率低下也很令人惆怅啊(望天
    zartouch
        11
    zartouch   2015-09-05 19:04:08 +08:00   ♥ 1
    @WildCat

    1. 这个不用问,做哪行基础肯定重要的。计算机基础的话,你不是计算机专业的可以找 coursera , 网易公开课什么的先看看。挑感兴趣的深入就好。如果只是像混个职位,任何大公司看待应届生,都并不需要马上能产出的人,而是看着基础和潜力。

    2. 这个看你做啥了,一般应用层开发不重要,不过很多核心库类,高频交易系统是需要的。当然基础是要懂的。

    3. 你的知识广度你现在不用担心太多,好好学好学校的基础知识,思维方式,解决问题的能力,沟通能力比你担心的那些所谓的框架知识更需要你去提升。那些东西到现在我有大半都没接触过,但如果只是去用用的话,不过是去查查官方文档,照葫芦画瓢的事情。

    4. 我去银行的时候,完全不具备金融知识,程序员肯定是计算机知识为主要考核内容,金融知识你会是优势,不会也可以进去慢慢学,金融类开发业务知识很重要,但是学生时代不用担心太多。问题 3 的那些框架在一般企业级,互联网公司用的也挺多,属于 java 项目的常用框架,在金融里也没啥不同。

    5. 可能有的研发岗位看重,不过大多数企业的开发岗位来说没有太大意义,还不如实习经历,当然这是一般情况,毕竟你本科也不太可能有太高质量的学术论文发表,如果真有,其实说明你更时候混学术界
    miemiekurisu
        12
    miemiekurisu   2015-09-05 19:05:21 +08:00 via Android
    @wy315700 这种时候 DB2 , Oracle 是恰当的,领域需求如此。
    WildCat
        13
    WildCat   2015-09-05 19:08:24 +08:00
    @zartouch 感谢!
    “不过很多核心库类,高频交易系统是需要的”能否举几个例子?谢谢!
    wy315700
        14
    wy315700   2015-09-05 19:32:15 +08:00
    @miemiekurisu
    对的,,开源软件,达不到那么高的安全性要求的其实,,,
    Shared
        15
    Shared   2015-09-05 19:35:30 +08:00
    @wy315700 [Citation needed]
    zartouch
        16
    zartouch   2015-09-05 20:01:48 +08:00   ♥ 1
    @WildCat

    比如说自动交易策略,虽然 quant 会把逻辑写好,但很多时候写的很烂,是需要程序员优化的。再比如交易系统中获取价格数据的模块是需要高频率低延迟的。

    高频交易就是指比如证劵交易,获利手法比如通过短暂的价格变化可以用来套利。

    上面某些专有名词不做解释了,我希望你还是自己 google ,包括你问这个问题其实也可以 google 比如高频交易系统有哪些,或者 wiki 得到。获取知识的能力还是要有的, google is friend :)
    miemiekurisu
        17
    miemiekurisu   2015-09-05 20:02:02 +08:00 via Android   ♥ 1
    @WildCat 看你想怎样……混个稳定的话怎样都可以,有学习能力的话随便跟着项目混 2 个月就能上手了。
    问题 1 的话,我不是计算机科班出身,没法回答你。很多东西都是工作以后学的。
    问题 2 的话……我是数学系出身的,也没法客观回答你。但是就我的经验来说,数学的学习对于逻辑思考能力,抽象能力和设计能力是非常有帮助的。毕竟无论的业务流程还是系统,都必须合乎逻辑。
    问题 3 ,技术框架的使用是领域驱动的,而且很多情况下受技术外因素影响。举个例子,设计业务系统,即使我用 python 花两个月就可以上线,也只会考虑传统的 Java 框架,即使要花 6 个月。因为 python 找人难且贵。多数提到的开源框架,学生时代我都没接触过。
    问题 4 ,我的感觉……都是做中学。当然,了解一些没什么不好。而且特定领域,例如精算,量投等等相关开发工作都需要比较专业的业务知识。
    问题 5 是学术向的,不过很多比较大的公司会有 researcher 的职位。
    miemiekurisu
        18
    miemiekurisu   2015-09-05 20:04:28 +08:00 via Android
    @wy315700 额………这看方案,以及出事以后涉及谁背锅的问题
    miemiekurisu
        19
    miemiekurisu   2015-09-05 20:17:17 +08:00 via Android
    @leeoo …………你们正处在旧石器时代……自从我搭了个 jenkins 之后我们公司刚部分脱离新石器时代……
    WildCat
        20
    WildCat   2015-09-05 20:28:38 +08:00 via iPhone
    @zartouch
    @miemiekurisu

    十分感谢!
    li24361
        21
    li24361   2015-09-05 21:47:35 +08:00
    来来来,我也说一下,曾经保险 IT 狗,做数据仓库的,说是数据仓库,不过是海量的上游数据,抽取,运算,统计而已,也是用的 kettle ,数据真 tm 的多啊,普通表上千万,保单,流水表上亿,以至于,后遗症是写什么 sql 都要考虑效率,哪怕只有几十条数据表,都要检查是否走到索引,禁止三表以上链接查询,尽量缩小范围,不能用函数来查询,防止无法命中索引,等等。

    技术,我 14 年走的时候,项目 jdk1.5 , struts+hibernate ,额,但是全套 oracle 和 weblogic ,都是买买买,用的盗版 myeclipse 。。。

    ant ,但是到处拷贝 jar , jenkins 形同虚设,有一阵用了,只不过用构建成功率,来统计绩效

    每天一办时间用来回邮件,撇清责任和解释,这个不用多说,做过的都懂。

    新技术,的确不敢用,除非你能兜住。

    福利,前几年很好,是真的好,吃饭,过节费,生日金,体检,旅游,
    现在,呵呵
    WildCat
        22
    WildCat   2015-09-05 22:08:42 +08:00
    @li24361 现在不好的原因是经济大环境么?
    miemiekurisu
        23
    miemiekurisu   2015-09-05 22:20:56 +08:00
    @WildCat 我觉得我只是厌倦了这个变化缓慢的行业
    miemiekurisu
        24
    miemiekurisu   2015-09-05 22:21:41 +08:00
    @li24361 ...兜住也不让你用....万一你走了这东西就成黑盒了...
    WildCat
        25
    WildCat   2015-09-05 22:27:35 +08:00
    @miemiekurisu
    =。=
    前辈不嫌弃的话简单叙述下我自己的情况:从小就热爱计算机然而知识个兴趣并没有深入,高考由于状态不好只学了当前这个专业,没有学成计算机。大约四五年前父亲朋友的姑姑非要给我算命,说我是剑锋金命, IT 行业是火,火克金。本来我不信这些事情的,但是这么多年过去了对这个还是记忆犹新,前段时间去父亲另外一个朋友(某大学教授,博士时在清华研究周易)那里请教了下,他说确实是这样,还是建议我搞好当前专业(金融)。

    互联网行业自己非常喜欢,但是家里都觉得比金融行业的声望低(我们这里属于四线城市)。
    gangsta
        26
    gangsta   2015-09-05 22:53:24 +08:00
    看到标题就进来了,想起几年前在各个银行客户出差的日子,每个项目上线前的不眠夜,还有年终决算时每个人紧绷的神经。 DB2 , Infomix , Oracle 是用的最多的数据库,也曾经写过几十张表联查的单条 SQL 语句给润乾报表,项目里还不时穿插着在 JSP 页面手动打开一个 jdbc 连接, fetch 数据,然后冷静 close/flush 的代码,那时我们还不知道 maven 和 gradle ,连一个 ant 脚本也没有,每天半夜两三点大家轮流 build 一个 war 包然后扔到 AIX 上去,如果有人 SVN/CVS 覆盖了别人的代码,买可乐是必须的。

    现在弃坑很久了,但偶尔有空了也会看看过去项目的代码,想想生命浪费在了哪些地方,又有哪些时间可以节省出来。
    liprais
        27
    liprais   2015-09-05 23:09:58 +08:00
    26 楼了还没有人来吐槽 teradata...到底是 teradata 太好还是你们所谓的金融公司太穷?
    Quaintjade
        28
    Quaintjade   2015-09-05 23:17:18 +08:00   ♥ 1
    有天一个老头在草地上放羊,一辆崭新的吉普大切诺基在他身边急刹停下。开车的是个年轻人,穿着 Brioni 西装、 Cerutti 皮鞋,戴着雷朋眼镜、尊威表、 BHS 领结,他下车询问牧羊人:“如果我能猜出你有多少只羊,你能给我一只吗?”牧羊人看了看年轻人,又看了看草地上散布的羊群,说可以。

    年轻人停好 SUV ,飞快地取出台 ThinkPad 笔记本,通过无线数据连接到 NASA 网站,利用卫星进行 GPS 定位和航拍,接着将数据导入 120 张设置了复杂算法的 Excel 表中进行处理,然后将结果打印装订成一本 300 页的报告。最后他对牧羊人说:“这里总共有 1,586 只”。

    牧羊人说:“答对了,你可以拿走一只羊。”

    年轻人抱起一只就往车里装。牧羊人看着他,问道:“如果我能猜出你是哪家公司的,你能把刚才的酬劳还给我吗?”

    “当然可以。”年轻人回答。

    牧羊人说:“你是麦肯锡公司的。”

    “对!你怎么知道的?”年轻人问。

    “很简单,”牧羊人说道,“第一,你不请自来。第二,你告诉我一件我本来就知道的事情,还要为此问我收很高的费用。第三,你对我的工作一无所知——快把我的牧羊犬还给我。”
    miemiekurisu
        29
    miemiekurisu   2015-09-06 00:27:50 +08:00 via Android
    @liprais 是太傻,我都怀疑很多公司听都没听说过
    miemiekurisu
        30
    miemiekurisu   2015-09-06 00:32:03 +08:00 via Android
    @liprais 不知道为什么,我手里的项目都比较穷,都买不起高大上的 teradata, 只能考虑 spoon 集群……其实即使开源狗如我,也想体验一把高大上的商业 ETL 啊 www (你不是体验过巨硬的么 -泥垢-
    miemiekurisu
        31
    miemiekurisu   2015-09-06 00:35:16 +08:00 via Android   ♥ 1
    @WildCat 金融专业学好数学吧, 我一直觉得金融专业是个迷信数学的学科……
    andyhenry
        32
    andyhenry   2015-09-06 00:45:16 +08:00
    应该是银行的吧,看级别应该是总行 IT 。

    能透露下做 DW/BI 的目的是什么吗?

    另外像我这种非 IT 岗位的银行员工,是不是基本上不可能进分行的 IT 部门,更别说总行了。。。
    twl007
        33
    twl007   2015-09-06 01:02:50 +08:00 via iPhone
    @wy315700 那天正好我说请同学吃饭吧…… 然后结账刷不了卡了…… 那是连着第三次说我请同学吃饭然后种种原因成了同学买单了……
    nareix
        34
    nareix   2015-09-06 01:37:23 +08:00
    ~~助手我喜欢你~~

    以前大学在银行实习的时候,好像用的是 IBM S350 (好像是)大型机。代码严格精确对齐到 Col ,现在应该不会再用了吧。也有听说过 IBM 一个 pdf 卖 500w 的传闻。
    ichigo
        35
    ichigo   2015-09-06 02:25:51 +08:00   ♥ 1
    同金融,就职某大型券商。
    一开始去技术部的时候我也不懂为什么思想这么迂腐,为什么系统这么老旧。
    直到我转到业务部门,真的,稳定是最重要的,这个行业技术更新慢自有他的道理。
    各位看官,还记得“光大乌龙指”吗?听在光大的同学说,光大证券因这事儿两年没翻来身。
    paulagent
        36
    paulagent   2015-09-06 02:49:36 +08:00
    这个所有金融机构都是一样的,说白了就是谁最后来背锅。你有能耐来背锅,那就可以上新技术,没有能耐就老实干活。

    你们行 CEO 今天心血来潮,上高大上开源系统也不是不可能。

    买买买也是一个道理,可以比作保险,就像天津一次炸了上万辆车,可能几十年也遇不到一次。 哪个公司敢不买保险吗? 出一下就够喝好几年西北风的。新技术也是一样,买的出了问题,可以找十八摸和 oracle 啊,人家赔钱啊。 你用开源的谁给你赔钱?
    leeoo
        37
    leeoo   2015-09-06 08:00:07 +08:00
    @miemiekurisu 慢慢部入新石器时代了。。 Jekins 上季度开始用上了,只是还是很多地方有待改进。可是俺人微言轻,提的建议人家都不搭理。
    PS :话说各位都是国内的金融企业吧?就我一个干外企金融 IT 的?
    miemiekurisu
        38
    miemiekurisu   2015-09-06 08:10:30 +08:00 via Android
    @paulagent 厂商永远不会承认问题也不会赔钱,只会告诉你需要升级打补丁,它才不会做冤大头咧,反正你也看不到代码。只不过厂商强势,就算确认是 bug 公司也不能把厂商怎么样,要打官司可以啊,厂商都是法律部门组成的。只不过厂商会把整个事情处理的让人接受而已,最后皆大欢喜,谁都不用背锅。
    miemiekurisu
        39
    miemiekurisu   2015-09-06 08:14:56 +08:00 via Android
    @ichigo 所以其实我没怎么吐糟技术陈旧,领域需要而已。
    miemiekurisu
        40
    miemiekurisu   2015-09-06 08:16:11 +08:00 via Android
    @leeoo Jenkins 里的坑其实也不少的……每次遇到就想吐糟“不愧是开源的”…………
    chinajik
        41
    chinajik   2015-09-06 08:24:09 +08:00
    @miemiekurisu
    骚年, 想业余学学 BI... 如何入门, 有优秀的开源中间件或者理论书籍推荐么..
    大学计算机科学技术..这会正在算运营数据..
    一张张表在刷..好鸡巴蛋疼..
    macemers
        42
    macemers   2015-09-06 08:25:55 +08:00
    @ichigo 请问你是如何转去业务部门的呢?
    macemers
        43
    macemers   2015-09-06 08:26:19 +08:00
    @zartouch 你是大摩的吗?
    paulagent
        44
    paulagent   2015-09-06 08:54:32 +08:00
    @miemiekurisu never? are you sure?
    ren2881971
        45
    ren2881971   2015-09-06 09:08:47 +08:00
    LZ 求 spoon ( kettle ) 系统教程~

    小弟目前待解决问题~在作业( job )层级上解决 类似 switch  选择转换 的功能~ 。
    zhangkai_ch
        46
    zhangkai_ch   2015-09-06 09:12:30 +08:00
    如果有人想换换工作的。可以看看天弘基金的招聘帖子。 http://v2ex.com/t/218004#reply0
    miemiekurisu
        47
    miemiekurisu   2015-09-06 11:51:28 +08:00 via Android
    @ren2881971 官方 reference guide 是您永远的朋友
    miemiekurisu
        48
    miemiekurisu   2015-09-06 11:53:36 +08:00 via Android
    @paulagent 看对方是谁……小公司懒得理你。一般会有内部和解,都不会外传的。对外只会说发布个新补丁≧ω≦
    ren2881971
        49
    ren2881971   2015-09-06 13:47:04 +08:00
    @miemiekurisu 哎。 新版本的 pentaho 都出新控件了。 我这必须得用 kettle4.1 醉了醉了。
    Registering
        50
    Registering   2015-09-06 15:44:51 +08:00
    @li24361 哥们,难道在某安科技
    Madeline
        51
    Madeline   2015-09-06 16:00:42 +08:00 via iPhone
    之前在某知名投行 it 部实习 然后我人生第一次用了 flex 来编程(组里写 ui 都是 flex 而且买的正版 一人一个 license )

    对比:当年去鹅厂 也是实习,第一天 mentor 就给我装了个盗版 securecrt.
    shakoon
        52
    shakoon   2015-09-06 16:10:43 +08:00
    银行是经营风险的行业,所以你看到的一切并非不合理,楼主应该是乙方吧
    2519349
        53
    2519349   2015-09-06 16:39:17 +08:00
    @liprais TD 全线产品的一体机都不支持外挂存储。这家公司业务模型无敌。海量数据分析。在大数据技术出现,也是世界第一.....价格也是世界第一...... 现在大数据兴起它的产品线被分化,营销市场不变招的话。国内前景不是很好。。
    liprais
        54
    liprais   2015-09-06 16:47:14 +08:00
    @2519349 Teradata R&D China 前雇员路过.......
    zartouch
        55
    zartouch   2015-09-06 17:40:30 +08:00
    @macemers 不是。。
    geeklian
        56
    geeklian   2015-09-06 17:52:13 +08:00 via iPhone
    银行运维飘过...
    geeklian
        57
    geeklian   2015-09-06 17:52:58 +08:00 via iPhone
    银行数据中心和开发中心一样令人烦躁啊....
    li24361
        58
    li24361   2015-09-06 18:44:30 +08:00
    @Registering 哈哈,原来平安也这样啊,我在某洋
    Registering
        59
    Registering   2015-09-06 18:51:41 +08:00
    @li24361 其他金融机构的 IT 都是一个部门而已吧,,平安还算比较重视,单独分出了几个子公司,不过都不咋地
    twdhsbc
        60
    twdhsbc   2015-09-06 20:20:17 +08:00
    就想问问做的是什么?怎么赚钱?工作轻松吗..需要会些什么?去哪里找工作啊..
    xieyingli
        61
    xieyingli   2015-09-06 21:39:20 +08:00
    作为一个干房地产的我居然能看懂楼主说的大逻辑。。。虽然技术是一点都不懂。
    miemiekurisu
        62
    miemiekurisu   2015-09-06 21:52:28 +08:00
    @Madeline 我不太喜欢盗版...freeware 就凑合了...不能凑合还是得买...
    miemiekurisu
        63
    miemiekurisu   2015-09-06 21:53:29 +08:00
    @shakoon 当然甲方...乙方根本就无所谓, 觉得不爽要求换个条线就好了
    sndnyang
        64
    sndnyang   2015-09-06 22:25:42 +08:00
    所以我撤了, 马上辞掉 工资还可以, 加班不严重(有强制时间却不强制做什么事)的工作——原因若干, 很重要一点就是 真没意思, 对业务没兴趣的话, 感觉糟透了, 混了 2 年下来, 还是不乐意了解那些业务上的问题。
    shakoon
        65
    shakoon   2015-09-06 23:21:25 +08:00
    @miemiekurisu 说实话我从你的语气中感受不到你有这么多年的银行工作经验,或者说你没有好好静下心思考技术和 IT 部门如何体现对银行的价值。业务与 IT 的融合才能使 IT 支出为银行企业带来相应的倍增回报,作为合格的银行系统架构师,是绝对不会以追求技术卓越为驱动的。
    ichigo
        66
    ichigo   2015-09-07 08:25:46 +08:00
    @macemers 每年年底有内部岗位竞聘,我和一部分有投票权的同事平时关系搞得不错,然后我就转型了。
    hantsy
        67
    hantsy   2015-09-07 09:39:09 +08:00
    现在传统金融公司都是往互联网上靠,什么 P2P ,配资啊等,,,呵呵。

    无法避免的一个问题,他们比一般的互联网创业者更没耐性,都是想赚快钱,赚大钱,甚至打擦边球(其实都是违法的)赚钱。

    做过一个金融项目之后,不再想做金融的了。

    技术他们一点都不关心,面子更重要。招一些国内一线大公司过来的 SB ,什么都不会干也不要紧,出去的时候向别人介绍,我们的 XXX 是从 XXX 公司挖过来,好像自己是脱离传统金融的土包子,一下子进入互联网,瞬间就高大上了。这个项目中所见所闻几乎在我脑子里面留下后遗症,现在只看到一个招聘说是 BAT 大牛操刀的公司,我第一感觉就是这公司不靠谱。当然我希望只是我运气不好,遇到了一些极品 SB ,其它的真的是牛气冲天的大牛。

    快速赚钱捷径实现是他们的关键,比如,他们什么东西都是倾向买现成的,要快,反正不差钱。但有些想法幼稚到了极点了,我常想到央视一个小品的那个面面,“把大象的基因移植到鸡腿上”,让人哭笑不得。
    hienchu
        68
    hienchu   2015-09-07 10:46:03 +08:00
    看了这帖子才意识到,原来金融 IT 人还是不少的。。。而且貌似我司在技术上还算有追求,起码没主流甩太远。”买买买“的确是事实,我司的做法是,先”买买买“,然后各种自己封装和二次开发。个人理解,买主要是为了监管需求,万一出了事情好推脱干系。自己是做交易和市场数据相关的,从系统角度来看,理想状态是"稳定而不失灵活",结果就是各种 hack on hack ,代码可维护性很差,很多时候为了一个快速改动能从底层(比如网络通信)一直 hack 到业务逻辑。
    miemiekurisu
        69
    miemiekurisu   2015-09-07 11:49:12 +08:00 via Android
    @shakoon (*´∇`*)没错,我确实不是银行系统的。
    首先我觉得挺失望的,因为每一篇类似的帖子下面总会有这样雷同的回复,看起来很有道理其实什么都没说;其次说到和业务结合的话…… hum ……我是这样看的,需要明确的是,由于银行 /保险核心和周边业务庞大且复杂,理论上不可能完全了解,但是一个智力处于正常范围内的人应该可以在 1-2 年内对所属条线的全部业务了如指掌,并且能通晓所有周边条线的业务并了解所有业务条线的概貌,大学本科才念了 4 年,对吧? 再次,精通业务只是前置,精通业务的最终目的是根据业务去构建和优化系统,利用技术知识和经验去设计和开发,并且为将来可预见到的业务变化和增长及留下足够的弹性设计,本质上是一个加快开发效率降低成本的过程。如果你认为这些事情可以被称之为“价值”,那么我的理解可能跟不太一样,我觉得这些事情属于不言自明的基本 sense 和技能之一,只不过是比天天写 if else 好那么一点罢了(对不起我是不是 map 了)。
    miemiekurisu
        70
    miemiekurisu   2015-09-07 13:17:07 +08:00 via Android
    @hantsy 技术只是手段,而且永远不会是目的
    macemers
        71
    macemers   2015-09-07 21:58:20 +08:00
    @ichigo 能不能透露一下转去做什么业务了呢?
    ichigo
        72
    ichigo   2015-09-07 22:08:06 +08:00
    @macemers 一开始转到风控,后来做了两年研究员,现在在自营。
    macemers
        73
    macemers   2015-09-07 22:42:29 +08:00
    @ichigo 哇这个转型还是相当成功的我感觉。能不能透露一下行研或者自营,收入上来讲是不是远超码农?
    ichigo
        74
    ichigo   2015-09-07 23:19:36 +08:00
    @macemers 谈不上远超,研究员月薪也就 15K 而已, V2 上大多数程序员都是大于这个数的。年终奖会多点,不过年头不好也就 100K 左右吧,赶不上创业公司。今年刚进自营,刚开始操作大资金,工作量会比行研轻点,压力大点,钱也多点,别的也没什么。
    miemiekurisu
        75
    miemiekurisu   2015-09-11 11:51:58 +08:00 via Android
    @paulagent 老大们的思路一般都是这样的: HP 的方案 500w , 18 摸的方案 1000w ,肯定选贵的。万一出了事,如果用 HP 方案会被质疑当初为啥不买 18 摸,然后自己背锅,但是用了 18 摸就不一样了,已经是市面上最贵的商业解决方案了, 18 摸都出事,便宜的方案更会出事,这事就只能 10 摸去解决了,不用背锅了
    paulagent
        76
    paulagent   2015-09-20 02:15:56 +08:00
    @miemiekurisu 这就是问题,你能证明用便宜的方案不会出事吗? 出了事怎么办?
    xuqd
        77
    xuqd   2016-04-03 19:36:18 +08:00
    在银行快两年了,无意中看到这个帖子,感慨啊
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1776 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 30ms · UTC 00:50 · PVG 08:50 · LAX 16:50 · JFK 19:50
    ♥ Do have faith in what you're doing.