You are browsing the archive for September 2013 - 可能实验室.

Avatar of Fei

by Fei

20130927现场技术交流会议纪要

September 30, 2013 in Topic

16人参加,其中两位是第一次参加,欢迎。

技术主题:
BI
介绍以及Cognos软件使用以及应

主讲:LI YANG
主要内容:
第一部分(BI的理解):对于数据的分析是BI的基本功能,BI是将数据转换成知识的工具,以便让转换后的知识发挥作用。
第二部分(Cognos软件介绍):Cognos体系中两大主要工具是报表工具(包括:report studio-报表生成器、query studio-CGI的查询工具)和分析工具(analysis-studio)。其中重点难点在于report的connection和transformer,另外是客户化报表。
Reportnet的体系结构:从底层多种异构数据源(一般业务应用中是同一数据库产品),根据需求定义ETL,ETL运行后生成一个或者多个cube -dimension(多维分析向量数据集)(注:多元数据通过transformer生成tube,tube在系统中以文件方式存在,实际数据量根据业务分析需求细化粒度和维度,可能比抽取目标数据库的数据量大(多维度细颗粒)),然后向上利用组装组件、连接组件最终生成业务报表。

专业词汇:cube、dimension、metince、Data Drill(钻取:法语-Perceuse de données)。
该软件为X86环境下运行,学习需时约2周。在应用过程中,开发ETL时,关注点不在于底层的数据库表结构或者字段,而是站位在业务分析的业务数据来提取底层系统数据。需要熟悉系统结构的同时又要熟悉业务分析的关键指标(CPI)。其他相关软件有;SAS、SSIS、SPSS。

非技术主题

第一部分:学习语言方法交流
1、电影推荐:BON COP BAD COP/HANGOVER/TRUMAN SHOW/CASTAWAY/Star Wars/Forest Gump/GLADIATOR
2、最好不要看字幕(可以在一个短阶段内看字幕,过后建议不要看字幕,主要培养听力和不同语境下的表达方法)、坚持听收音机培养语感。
3、通过阅读当代小说提升词汇量。
第二部分:北美文化交流学习(工作中与西人交流和融入,需要了解的体育和文化)
体育和电影是通常很快能够切入和沟通的话题:建议大家了解冰球队montreal cannadien(HABS ),积极寻找和观看热点电影,又能学语言又能了解文化以及增加交流素材,一举多得。

浅显总结

1、BI讲的基本知识确实对于找改方面工作的同学们增加了一些知识素材和底气,另外,软件的使用和实际应用流程讲解是实际和长时间积累的一部分精华。感谢李阳的无私传授。
2、在不否定和不冲突其他文化的前提下,如果能够更多地了解和学习北美的文化和交流方式以及内容,对我们的生活、学习和工作环境的正面良性推动是无可置疑的。重要的是:我们要积极的适应环境而不是让环境适应我们【摘自:达尔文的《物种起源》:… 在多数情况下,我们犹如动物,适应了环境,适应了新生事物,适应了一切的改变,才能生存。】。

Likes(0)Dislikes(0)
Avatar of Yang Li

by Yang Li

转载:Wrtings.io失败了

September 29, 2013 in Topic

搬运工说:

创业,绝对不是一件简单的事情。Wrtings.io作为非常优秀个的国内个人互联网创业的尝试,最终还是没有走出商业化的困顿。读读这篇文章,希望大家能有些感触。

 

Writings.io 失败了

标题没有说反话,作为 writings.io 的创建者,我认为 writings.io 已经失败了。也许我可以再找些方法延续它的生命,但这也只是时间长短的问题,在经历了各种努力后,我觉得现在是时候宣布失败了。

下面会解释宣告失败的原因。

没有找到合适的应用场合

现在几乎每个能想到的应用场合都有更好的选择:

  1. 全功能的博客 – WordPress
  2. 简单的博客 – Tumblr
  3. 技术写作 – Github Pages
  4. 笔记 – Evernote
  5. 只言片语 – Twitter

在这些成熟应用的空间中,writings.io 既无法插入任何一个原有领域,又无法开创新的领域,现在我想不到 writings.io 适合用来做什么。

不足以成为商业模式

Writings.io 作为一个工具,有一些亮点,也被一些用户喜欢,但亮点不足以成为商业模式。

对于文字来说,可靠性要重于易用性。一个没有形成商业模式的独立开发网站,不可能长久坚持。

现在 Writings.io 每个月都在亏损,收费获得的收入只有硬件成本的一半。如果我说 Writings.io 是个可靠的写作平台,那么我就是在撒谎。

我丝毫没有责怪用户的意思,不付费只是因为我做得不够好,没有找到刚需。

没有其他办法坚持了吗?

我预想过三种结果:

  1. 拿出一笔钱作为未来的服务器开销,通过收费或捐赠维持开销,直到某一天资金耗尽被迫关闭。
  2. 转为全收费应用,最低限度的维持现有用户的使用,直到某一天资金耗尽被迫关闭。
  3. 现在关闭,不再继续浪费用户的时间。

现在我已经看不到这个项目未来发展的前景,我不能骗人继续使用我没有投入全身心维护的网站,所以我觉得3是最合理的,即使这很招骂。

有人建议过我找投资,甚至帮我联系投资,我回绝了。这既是钱的问题,又不是钱的问题,最关键的是我认为这个项目方向错了。

我也不打算转让网站所有权,因为我不愿意用户资料被用作其他用途的事发生。

将来会如何?

我打算完全关闭 writings.io,在关闭前会有几个月时间让用户导出自己的资料(支持 jekyll 和 wordpress 两种格式)。

付费用户会获得从首次付费以来的全额退款,我会一个个向收费用户发邮件联系退款事宜。

付费和非付费的用户之中,有很多人对我投以信任,在网站上花费了时间,这都是无价的。对所有关心 writings.io 的人,我都觉得非常惭愧,只能在这里郑重的说声:对不起

大家可以在评论区或别的渠道任意的指责我本人,我都承受。

Writings.io 的程序会完全开源,但不会有后续支持。大家可以调侃我的代码写得有多么烂,也让我9个月的付出在互联网上留下点什么。

Writings.io 失败了,宣告这个消息我很悲痛,但是不得不做。

Likes(0)Dislikes(0)
Avatar of Fei

by Fei

周六10月5日Tremblant山远足赏枫叶

September 29, 2013 in Event

这个时间应该是高峰期,所以想避过车流,大家就要起早。

建议8点出发,如果需要拼车的,8点集合,或者大家找个地点集合一块走。

有对讲机的最好带上。

这个山很大,里面很多野餐的地方和可以远足爬山的小路,很值得一去。

我们会订好详细的行程安排,保证大家不要走丢了。

大家请积极反馈自己的参加情况,已经是否开车,参加人数,投票,并且通过评论详细说明。

谢谢。

周六10月5日Tremblant上远足赏枫叶活动报名

  • 参加,有车,可提供座位 (33%, 3 Votes)
  • 参加,无车 (33%, 3 Votes)
  • 不参加 (22%, 2 Votes)
  • 参加,有车,差不多满了。 (12%, 1 Votes)

Total Voters: 9

Loading ... Loading ...
Likes(0)Dislikes(0)

Data warehouse

September 28, 2013 in Topic

Example of a Data Warehouse

What is Extract, Transform and Load (ETL)?

ETL tools perform three functions to move data from one place to another:

  • Extract data from sources such as ERP or CRM applications;
  • Transform that data into a common format that fits with other data in the warehouse; and,
  • Load the data into the data warehouse for analysis.

The ETL concept sounds easy, but the execution is complex. We’re not talking about simple copy and paste stuff here. Each step in the process has its challenges. For example, during the extract step, data may come from different source systems (e.g. Oracle, SAP, Microsoft) and different file formats such as XML, flat files with delimiters (e.g. CSV), or the worst – old legacy systems that store data in arcane formats no one else uses anymore.

The transform step may include multiple data manipulations such as splitting, translating, merging, sorting, pivoting and more. For example, a customer name might be split into first and last name, or dates might be changed to the standard ISO format (e.g. from 11-21-11 to 2011-11-21). The final step, load, involves loading the transformed data into the data warehouse. This can either be done in batch processes or row by row, more or less in real-time.

ETL tools often come bundled with databases or sold as bolt-on tools. For example, Microsoft, Oracle and IBM all offer some type of ETL capabilities with their databases. Meanwhile, third-party ETL vendors offer tools that will support a variety of disparate applications and data structures. As a final option, some BI buyers choose to build their own custom ETL tools.

We should mention that despite being a core component of data warehouse environments, ETL is not unique to data warehousing. This concept and technology has existed in some form or fashion for a long time. It can be used to move data between databases, transactional systems (e.g. ERP to CRM) and of course, data warehouses.

 

Reference: http://plotting-success.softwareadvice.com/beginners-guide-to-bi-software-1113011/

Likes(0)Dislikes(0)
Avatar of Fei

by Fei

可能实验室IT技术小组介绍

September 26, 2013 in News

介绍:
我们是一个在蒙特利尔地区的IT技术小组,主要是帮助大家互相交流技术经验,介绍职场经验,提高大家工作中成功的机会以及找到工作的机会,同时互相介绍合适的工作机会,或者自己创业的机会。

方向:
主要三个方面:
(1),程序开发,目前的大部分会员是程序开发方面的,这个方面也是第一优先级的。
(2),操作系统管理,包括Linux, Windows server, Unix,第二优先级,其中Linux是重点。
(3),网络方面,包括网络和语音,这方面从事的人不是非常多,第三优先级。

加入:
原则上是开放给所有有兴趣的人,希望大家能够互相提高,最好容易相处,脾气相投,大家有共享和奉献的精神。目前我们使用QQ群和EMAIL联系,请想加入 的发送email,说明你感兴趣和擅长的技术,并留下手机号码,我们可能会先和你电话沟通一下,之后会通知QQ群号。

沟通:
我们基本上每周一次进行现场交流,大概是周五下午6:30到9:00在市区绿线地铁站ST-LAURENT附近,详细地址我们会发给会员。
平时的沟通,主要通过网站, QQ群和Email。

联系:
请发送邮件到contact@possiblelab.com,网站www.possiblelab.com。

费用:
完全免费,我们现在还很小,以后的目标是发展成一个正规的非营利的组织,帮助在蒙特利尔从事IT的朋友们以及想从事IT的新移民朋友们。

有看到这个帖子的,请介绍给身边做IT的朋友,每个人都共享出一点,我们就会共同拥有很多。

目标:

大家经常感觉到移民到这里的中国人技术和经验都很不错,但是在找工作时,或者在这里工作一段时间后,还是没有升职加薪的机会。原因往往是自己的知识结构,语言沟通表达能力,自信心,或者仪态仪表等方便需要提高。

我们IT技术小组就是想通过大家互相交流分享经验来弥补各自的不足,达到进步更快的目的。让刚刚移民过来的朋友能够尽快找到工作,在这里工作一段时间的,可以找到更好的职位或者更高的收入。做IT技术的朋友,在我们这里的目标是架构师,项目经理,部门经理。

 
谢谢

可能实验室

www.possiblelab.com

 

Likes(0)Dislikes(0)
Avatar of Fei

by Fei

20130920可能实验室IT技术小组现场讨论会议纪要

September 25, 2013 in Topic

这次会议纪要有点发的迟,好多细节都记不清了。。。。

参加人员:9人

技术主题:

主讲,Wang Jun

各种服务器的硬件组成,代号命名等,从大型机到X86服务器,大家讨论和热烈。

 

非技术主题:

大家讨论本技术小组的发展方向,讨论了项目的可能性,由于时间投入比较大,所以大家一般不进行项目试验。而是通过WORKSHOP的形式来提高大家的组织和技术能力,每个WORKSHOP可能会需要大概5次活动时间,不同的人负责不同的角色,由此来锻炼大家的沟通和组织能力。

大致讨论了我们这个技术小组的目标,主要目的是通过大家共享技术和经验来提高大家职场上成功的机会,最终的目标是让大家发展成架构师或者经理级别。

 

希望以后能坚持写会议纪要,并且发布到网站的TOPIC板块。

 

 

Likes(0)Dislikes(0)
Avatar of Fei

by Fei

非技术主题列表

September 24, 2013 in Topic

已经进行的非技术主题:

 

如何写简历—————————————————–20130913

可能实验室技术小组的发展方向讨论——————- 20130920

 

候选非技术主题:

请大家提供话题,我们一个个慢慢讨论,如果谁能主讲最好,比如谁懂NHL,可以给大家好好介绍一下,我懂NBA,很在行的,感兴趣的,我可以讲一下。

非技术主题可以帮助大家了解本地文化,增加本地知识,对于工作和生活会有很大帮助,技术重要,语言技能和本地社会知识同样重要,所以我们技术小组本站提高大家职场,生活成功机会的目的,两手都要抓。

美国文化

北美体育(NBA)

北美体育(NHL)

北美体育(MLB)

北美体育(NFL)

北美体育(MLS)

如何提高英语

如何提高法语

办公室文化

Likes(0)Dislikes(0)
Avatar of Fei

by Fei

20130927周五技术交流报名投票

September 24, 2013 in Event

下午6:30-9:00

老地方,请不知道地点的到QQ群里问或者email

技术主题:

BI (Business Intelligence), by LI YANG

非技术主题:

未定,候选列表

北美文化

办公室文化

组织娱乐活动讨论(看枫叶)

20130927周五技术交流报名投票

  • (100%, 15 Votes)
  • 不来 (0%, 0 Votes)

Total Voters: 15

Loading ... Loading ...
Likes(0)Dislikes(0)

BI中常见的一些术语

September 24, 2013 in Topic

数据仓库:Data Warehouse(DW),一种信息系统的数据存储理论,此理论强调利用某些特殊数据存储方式,让所包含的数据,特别有利于分析处理,以产生有价值的信息并依此作决策。利用数据仓库方式所存放的数据,具有一但存入,便不随时间而更动的特性,同时存入的数据必定包含时间属性,通常一个数据仓库皆会含有大量的历史性数据,并利用特定分析方式,自其中发掘出特定信息。
主要功能乃是将组织通过信息系统之在线交易处理(OLTP)经年累月所累积的大量数据,通过数据仓库理论所特有的数据存储架构,作一有系统的分析整理,以利各种分析方法如在线分析处理(OLAP)、数据挖掘(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管信息系统(EIS)之建立,帮助决策者能快速有效的自大量数据中,分析出有价值的信息,以利决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)。
一般来说,数据仓库可由关系数据库,或专为数据仓库开发的多维度数据库建立,若由多维度数据库建立而成,其架构可分为星状及雪花状架构,包含数个维度数据表,及一个事实数据表。

数据超市:Data Mart(DM),数据仓库的特殊形式。正如数据仓库,资料超市也包含对操作数据的快照,便于用户基于历史趋势与经验进行战略决策。两者关键的区别在于资料超市的创建是在有具体的、预先定义好了的对被选数据分组并配置的需求基础之上的。配置资料超市强调对相关信息的易连接性。

在线分析处理:On-Line Analytical Processing(OLAP),一套以多维度方式分析资料,而能弹性地提供积存(Roll-up)、下钻(Drill-down)、和枢纽分析(pivot)等操作,呈现整合性决策资讯的方法,多用于决策支持系统、商务智能或数据仓库。其主要的功能,在于方便大规模数据分析及统计计算,对决策提供参考和支持。

数据挖掘:Data mining,它是数据库知识发现(Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性(属于Association rule learning)的信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

决策支持系统:Decision Support Systems(DSS),一种协助人类做决策的资讯系统,协助人类规划与解决各种行动方案,通常以交谈式的方法来解决半结构性(Semi-structured)或非结构性(Non-structured)的问题,帮助人类做出的决策,其强调的是支援而非替代人类进行决策。

操作数据存储:Operational Data Store(ODS),是一种数据架构或数据库设计的概念,出现原因是来自于当需要集成来自多个系统的数据,结果又要给一或多个系统使用时。
集成来自多个系统的数据,应先建立数据模型(data model)。由于ODS并不属于特定的系统,因此其数据模型的设计应为主题导向式(subject-oriented),实现方法与数据仓库无异。为求快速建置以及体现来源系统数据,实务上常见许多企业采取的做法是直接将来源系统的数据以类似复制的方式至来源系统以外的数据库,将它视为来源数据的复本,而没有进行真正的数据集成。
相较于数据仓库,ODS较偏向作业(operational)面的用途,通常数据有较频繁的更新以及较短的历史,但这主要是概念上的差异,实际建置时可以建立在同一平台上,由一份数据从事两种性质的服务。

ETL(Extract-Transform-Load):用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。ETL所描述的过程,一般常见的作法包含ETL或是ELT(Extract-Load-Transform),并且混合使用。通常愈大量的数据、复杂的转换逻辑、目的端为较强计算能力的数据库,愈偏向使用ELT,以便运用目的端数据库的平行处理能力。

商业智能:Business Intelligence(BI),指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商资料及来自企业所处行业和竞争对手的数据,以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策既可以是作业层的,也可以是管理层和策略层的决策。
为了将数据转化为知识,需要利用数据仓库、线上分析处理(OLAP)工具和数据挖掘等技术。因此,从技术层面上讲,商业智能不是什么新技术,它只是ETL、数据仓库、OLAP、数据挖掘、数据展现等技术的综合运用。

从这些概念看来,一个完整的数据仓库系统,应该从源数据(Source Data)经过Staging或者ODS ETL到Staging Area,然后进行最终ETL存储到数据仓库,然后清除无用数据并归档压缩,再对这些数据进行BI分析,生成报表等呈现形式给最终用户。

 

转载自 :http://www.penglixun.com/tech/data_warehouse_concept.html

Likes(0)Dislikes(0)
Avatar of Yang Li

by Yang Li

[转载][Andy教程]【Cognos 8教程第一讲】Cognos 8 BI功能

September 23, 2013 in Topic

搬运工注:答应大家这周五一起交流交流BI相关的知识。一直都比较忙,刚好网上已经有写的不错的Cognos的教程,我就不重复造轮子了,干脆在这里当一个搬运工,慢慢的把这个帖子的内容搬过来。有兴趣的同学可以去原文链接。说到BI,是Business Intelligence的一个缩写。所谓企业智能,也不算是多神秘的东西,当你把每天的收入和支出记录到xls表里面的时候,其实就已经开始了你BI的第一步了。市场上做BI的工具非常多,Cognos也只是其中的一种工具而已。希望能通过在分享我对数据分析简陋认识的同时,和大家一起进步,一起学习。

 

原文来自于:http://www.cognoschina.net/club/viewthread.php?tid=2021&extra=page%3D1%26amp%3Bfilter%3Dtype%26amp%3Btypeid%3D149

报表
报表是Cognos 8业务智能的一个重要功能。Cognos 8业务智能是一个能够在一个已证体系结构上提供完整BI功能的产品。
报表可以让您访问适合任何数据源的各种自助式报表类型,从单一个元数据层进行操作,为您带来各种好处,例如多语言报表等。用于查看、查询、分析和制作的单一体系结构,可协作式创建包括仪表盘在内的各种报表。

分析
Cognos 8业务智能是一种能够在一个已证体系结构上提供完整BI功能的产品,分析是其重要的功能之一。
分析可以对与所有业务维度相关的信息进行向导式探察和分析—无需考虑数据的存储位置。分析和报告联机分析处理 (OLAP) 和维度化关系型数据源。
使用内建的可定制时间序列分析进行高级时间趋势分析可以让您对前些年、季度、月和其它关键度量上发生的变化进行分析。其它厂商则无法提供类似的高级时间趋势分析功能。

计分卡
Cognos 8业务智能是一个在一个已证体系结构上提供完整BI功能的参品,计分卡则是其中的一个重要功能。计分卡可以帮助您将团队、战术和战略协调起来,对目标进行一致的沟通并对相对于目标的绩效状况进行监视。
通过状态组织和查看计分卡可以聚焦目标和绩效;通过所有者查看可以了解责任状况;在战略图中查看可以了解是否符合企业的战略。

仪表盘
业务仪表盘可以快递传达复杂的信息,它们可以将来自各种企业系统和数据的信息转换为丰富的图形进行展现,例如量表、地图、图表和其它图形,一起显示多种结果。
Cognos 8 BI完整的报表功能支持您的企业仪表盘的需求。您无需独立的应用来创建使用仪表盘报表,可以节省额外的成本、管理时间和培训。

业务事件管理
Cognos 8 BI业务事件管理可以对需要引起注意的重大事件进行跟踪。它可以对这些事件进行监视并使用决策流程和业务流程自动化减少采取行动和决定的时间。
在业务环境中管理事件,确保在事件周期的每个阶段(新建、正在进行或已经解决)都能执行恰当的响应。
自动化报表显示所有正在发生的事件及其状态,以便进行轻松的跟踪。

数据集成
Cognos 8业务智能是一种能够在一个已证体系结构上提供完整BI功能的产品,数据集成是其重要的功能之一。
Cognos数据集成是一个可用于高绩效业务智能的企业级ETL解决方案。它可以优化数据合并、抽取、转换和维度管理,提供适用于企业报表和分析的数据仓库。

Likes(0)Dislikes(0)