端玛科技启用源代码分析技术处理大数据

启 用 源 代码分 析 技术处理 大 数 据 陈安明介绍 端玛科技总经理，独立应用安全风险分析师，Checkmarx中国区技术专家。 是中国最早从事源代码分析技术调查和研究人员，专门从事应用软件安全风险评估、风险消除、培训、教育和软件安全生命开发周期SDL咨询。其优秀的软件安全方案、产品及专业化的软件安全开发生命周期SDL服务已进入金融银行、保险、电信、汽车、媒体娱乐、软件、服务和军事等财富1000的企业 议题概述 传统以安全为导向的源代码分析工具只能检测到黑客明显可以利用的漏洞，而且这些工具所找到的安全漏洞的数量非常多，即使这些结果是精确的，都很难在短时间修复，这样一来，我们就不得不面临两个现实问题： 一、我们如何对付那些工具没有覆盖到的代码？ 二、我们怎样才能提高安全漏洞修复的能力？ 为了应对这些挑战，我们把研究的侧重点放在了大数据分析领域，将大数据的先进技术与我们的研究整合到一起。借这次交流的机会，我想与大家分享一下我们的研究方法以及我们的成果。 源 代码分 析 的历史 第一代源代码分析 系统安全知识是通过绑定静态的规则体现。静态规则依据原始或者标准语言的缺陷来制定的，对用户而言，技术是不可见的。 用户代码架构和框架适应能力差。几乎无法适应在开发语言基础上用户私有的架构和框架代码封装的扫描。规则主要细节不公开，用户很难自定义或者调整规则满足用户自身的系统架构和代码封装的需求。 使用依赖操作系统环境和编译器 源 代码分 析 的历史 （续） 新一代源代码分析 系统的安全知识是通过绑定静态的规则体现。静态规则依据原始或者标准语言技术架构和框架的缺陷来制定的，公开规则实现的技术和细节。 用户代码架构和框架适应能力强。适应在开发语言基础上用户私有的架构和框架代码的扫描。规则主要细节完全公开，用户很容易自定义或者调整规则满足用户自身的系统架构和代码封装的需求。 能够任意添加自己需要的有关业务逻辑和代码质量相关的查询 使用简便！虚拟编译器，无须代码编译。无需依赖操作系统环境 和编译。 分析范围：SQL 注入-恶意后门-代码质量缺陷 Abstract Store安 全 漏 洞 代码质量业务逻辑 示 例 安 全 漏 洞 质量 缺 陷业务逻辑 应用程序智能分析 SCKD源代码知识发现“使用群体的智慧”（大数据）通过代码的不规则性来识别安全漏洞 零日？零配置？ 如果我们连自己要问什么问题都不清楚，该怎么办呢？ 如果我们没办法对系统进行配置，怎么办？ 我们需要一位“大师”， 来替我们问问题。 替我们配置系统。 替我们找到漏洞。 给我们提供指导。 有这样一位大师 是你！ 是你！ 是你！ 还是你！ 我们大家 形成集体智慧 大多数开发人员在大多数时间都能编写出好的、标准 、高质量代码 群 体 我们可 以 根 据 代码统计来设定 一 个 基 准 ，并发现偏 差 。 源代码知识发现-SCKD 源代码知识发现 时下最为活跃 的研究课题之一(数据库中的知识发现- http:/en.wikipedia.org/wiki/Knowledge_extraction )“知 识 发 现 描 述 的 是 一 个 自 动 搜 索 大 规 模 数 据 模 式 的过 程 ， 而 该 模 式 可 以 被 称 之 为 有 关 数 据 的 知 识 。 通常 我 们 称 之 为 来 自 于 输 入 数 据 的 知 识 。 从 方 法 和 术语 两 个 层 面 来 说 ， 知 识 发 现 与 其 发 掘 来 源 数 据 领 域的 关 系 都 非 常 紧 密 。 ” 技术实现 建立参考数据、 寻找共同序列 查找违规情况 获取数据S = input();If (isValid(s)response.write(s);A = input();If (isValid(A)response.write(A);K = input();If (isValid(k)response.write(k);M = input();If (isValid(M)response.write(M);C = input();If (isValid(C)response.write(C); 查找偏差，设立基准* = input();If (isValid(*)response.write(*); v = input();response.write(v);? X 后门 若 我 的 名 字 是 Maty，登录If (isAuthenticated(user) . ticated(user ) | user.name = “maty”) 增值 利用应用云服务？VAT = 1 .0 5VAT = 1 .0 8VAT = 1 .0 8VAT = 1 .0 8寻找不同应用之间的相似之处，建立一个内部标准。使用零定义！ 只要我们能修复一些应用就行，这些应用会帮助我们找到那些没被修复的。 我们的优势 总体来说： 我们能够找到群体中隐藏的知识，给它命名，并找到违规情况。 安全： 确定在每一个页面都对客户进行验证 自动识别消毒程序 后门 (“if (isValid(user) or user=“Maty”)”) 业务逻辑(“if (qty 0) charge (qty*amnt)”) 质量 发布的永远都是具体资源 最佳编码实践（自动识别策略） 变量初始化 群体的智慧 对于大型企业和代码库作用更为明显 图形可视化优化代码修复活动 “使用智能图形方法识别安全漏洞交汇的连接节点及最佳的修复位置” 代码扫描结果修复问题 找到数以千计的准确结果，但其实并不是我们希望看到的。 例如Webgoat有大约220个跨站脚本和SQL 注入漏洞。 假设我们需要30分钟来修复一个漏洞+30分钟来验证修复，那就会需要220个小时，几乎是一个月的工作量 我们把这些工作缩到16个地方 约耗费1/14 的时间 这样一来，我们就有时间去打打高尔夫球了 代码扫描分析结果现状 每一个代码扫描结果都有一个独立于其它调查结果的数据流。 单一数据流路径 跨站脚本String s = Request.QueryString“param1 ”;Response.Write(s); Request.QueryString“param1 ”;sResponse.Write(s); 1 代码扫描分析结果现状 一个漏洞，很好解决。 14个同时出现，怎么办？ 多 个单一 路 径 跨 站 脚 本 大 量工 作 但 。 他们有 什 么 共 同 点 ？这些扫描结果 之间有 关联吗？ 组合路径 我们就能够。 指出、点击、检查，甚至连源代码都不用读吗“ 我修复这里可以吗？”“或者这里？” 我 修 复这里 可 以吗？ 修 复这里 其实效 率 更 高 还有这？ 自动提 出 “假设”问句 = 找 到 最 佳 的 修 复 位 置 比较这两 种 情 况 ： 图形可视化修复建议的优势 展示相同安全漏洞类型和不同问题调用之间的相关性。 处理的并不是个人或者单个问题路径的发现 事实上是整个系统。 让您得以更好地利用时间 Webgoat 220个修复位置示例 只要轻轻一点，我们就可以把220个位置缩减到16个。 结果越多，我们的解决方式就越能体现其效率 Q&A Any Question？ 代码安 全 漏 洞 和质量 缺 陷扫描 云 服务中 心为使 用 Java、JSP、JavaSript、 VBSript、C# 、ASP.net 、VB.Net、 VB6 、 C/C+ 、ASP 、PHP, Ruby、Perl 、PL/SQL、 Android、OWASP ESAPI、MISRA、和 Objective-C (iOS) .(AppExchange platform)、API to 3 rd party languages 等 多 种语言 开发的软件 开发企业和项目 提 供 源 代码安 全 漏 洞 和质量 缺 陷扫描 和 分 析 ，并 提 供结果审计 、管理 和报表 生 成 。 应用安全服务平台框架及内容 应用安全在线eLearning培训 在线培训课程是基于世界顶级的应用安全讲师和咨询专家的丰富的安全实践和教学经验而组织，帮助开发组织快速了解和普及应用软件安全方面的知识、技能和成熟软件安全分析方法和最佳实践。以期他们在最短的时间里学习到最需要的软件安全知识，从而有效地应用到软件开发的生命周期里 应用安全开发标准指导系统