【摘要】
开源情报 于对公众可用的数据和信息。尽管所谓的“曲面网”是重要的组成部分，但不限于使用Google可以找到的东西。
尽管开源情报可能有价值，但信息过载是一个真正的问题。用于执行开源情报计划的大多数工具和技术旨在帮助安全专业人员（或威胁参与者）将精力集中在特定的关注领域。
开源情报有一个阴暗面：安全专业人员可以找到的任何东西也可以由威胁参与者找到（并使用）。
制定清晰的战略和框架进行开源情报搜集至关重要，因为仅寻找可能有趣或有用的事物将不可避免地导致工作倦怠。
在所有威胁情报子类型中，开源情报（OSINT）可能是使用最广泛的情报，这很有意义。毕竟，它大部分都是免费的，谁能拒绝呢？
不幸的是，就像其他主要的子类型（人力情报，信号情报和地理空间情报，仅举几例）一样，开源情报被广泛误解和滥用。
在此文中，我们将介绍开源情报的基础知识，包括其使用方式以及可用于收集和分析它的工具和技术。
什么是开源情报？
在我们研究开源智能的常见 和应用之前，重要的是要了解它的真正含义。
根据美国公共法，开源情报：
根据公开信息制作
及时收集，分析并分发给适当的受众
满足特定的情报要求
在此重点关注的重要短语是“公开可用”。
术语“开源”专门指可供公众使用的信息。如果需要任何专业技能，工具或技术来访问一条信息，则不能合理地将其视为开源。
至关重要的是，开源信息不仅限于您可以使用主要搜索引擎找到的信息。使用Google可以找到的网页和其他资源无疑构成了开源信息的巨大 ，但它们远非唯一的 。
首先，使用主要的搜索引擎无法找到互联网的很大一部分（根据Google前首席执行官埃里克·施密特（Eric Schmidt）的说法，超过了玖玖％）。这种所谓的“深层网络”是大量的网站，数据库，文件等，而Google，Bing，Yahoo或其他任何形式的索引（由于多种原因，包括存在登录页面或付费墙）都无法索引。您会想到的搜索引擎。尽管如此，深层Web的许多内容仍可以被认为是开源的，因为它很容易被公众使用。
此外，还有很多免费的在线信息，可以使用传统搜索引擎以外的其他在线工具找到这些信息。我们将在以后再讨论，但作为一个简单示例，可以使用Shodan和Censys之类的工具来查找IP地址，网络，开放端口，网络 头，打印机以及几乎所有连接到Internet的其他东西。
比如：
向公众 或广播（例如，新闻 内容）
根据要求提供给公众（例如，人口普查数据）
通过订阅或购买向公众提供（例如，行业期刊）
任何临时观察者都可以看到或听到
在向公众开放的会议上公开
通过访问任何地方或参加任何对公众开放的活动而获得
此时，您可能在想：“伙计，这是很多信息……”
而且你是对的。我们正在谈论的是一种真正难以想象的信息量，其增长速度远远超过任何人都希望跟上的速度。即使我们将范围缩小到单一信息源（例如Twitter），我们也被迫每天处理数亿个新数据点。
正如您可能已经收集到的那样，这是开源情报的内在折衷。
作为分析师，拥有如此大量的信息既是福也是祸。一方面，您几乎可以访问可能需要的所有内容，但另一方面，您必须能够在无休止的数据洪流中真正找到它。
如何使用开源情报？
既然我们已经了解了开源情报的基础知识，我们就可以看看它通常如何用于网络安全。有两种常见的用例：
壹.黑客和渗透测试
安全专业人员使用开源情报来识别友好网络中的潜在弱点，以便在受到威胁者利用之前就可以对其进行补救。
常见的弱点包括：
敏感信息的意外泄漏，例如通过社交
开放端口或不安全的互联网连接设备
未修补的软件，例如运行旧版常见CMS产品的网站
资产泄漏或暴露，例如粘贴在纸箱上的专有代码
贰.识别外部威胁
正如我们过去多次讨论的那样，互联网是了解组织最紧迫威胁的极好的信息 。从识别正在被积极利用的新漏洞到拦截即将来临的攻击的威胁参与者“，”，开源情报使安全专业人员能够优先考虑他们的时间和资源来应对当前最重要的威胁。
在大多数情况下，此类工作要求分析师在采取措施之前识别并关联多个数据点以验证威胁。例如，虽然一条威胁性推文可能不会引起人们的关注，但是如果将同一条推文与已知活跃于特定行业的威胁组联系在一起，则将以不同的视角进行查看。
关于开源情报的最重要的事情之一是，它通常与其他智能子类型结合使用。 内部遥测，封闭的暗网社区和外部情报共享社区等封闭源的情报通常用于过滤和验证开源情报。有多种工具可帮助分析师执行这些功能，我们将在稍后介绍。
开源情报的阴暗面
现在，是时候解决开源情报的第二个主要问题了：如果情报分析人员可以随时使用某些东西，威胁参与者也可以随时使用。
威胁参与者使用开源情报工具和技术来识别潜在目标并利用目标网络中的弱点。一旦发现漏洞，利用它并实现各种恶意目标通常是非常快速而简单的过程。
这个过程是每年有那么多中小企业被黑客入侵的主要原因。这不是因为威胁组特别感兴趣，大连卵子捐献而是因为使用简单的开源情报技术发现了其网络或网站架构中的漏洞。简而言之，它们是简单的目标。
开源情报不仅能对IT系统和网络进行技术攻击。威胁执行者还寻找有关个人和组织的信息，这些信息可用于通过网络钓鱼（电子邮件），网络钓鱼（电话或语音邮件）和SMiShing（SMS）来通知复杂的社会工程活动。通常，通过社交网络和博客共享的看似无害的信息可用于开展令人信服的社交工程活动，而这些活动又被用来诱使好心的用户破坏其组织的网络或资产。
这就是为什么出于安全目的使用开源情报如此重要的原因- 在威胁参与者使用相同的工具和技术来利用它们之前，它使您有机会发现和修复组织网络中的弱点并删除敏感信息。
开源情报技术
既然我们已经介绍了开源情报的使用（好的和坏的），那么现在该看一下可用于收集和处理开源信息的一些技术了。
首先，您必须具有明确的策略和框架来获取和使用开源情报。我们不建议从发现任何有趣或有用的事物的角度来研究开源情报，正如我们已经讨论过的那样，通过开源可获得的大量信息只会使您不知所措。
相反，您必须确切地知道您要实现的目标（例如，识别并修复网络中的弱点），并将精力专门用于实现这些目标。
其次，您必须确定一套用于收集和处理开源信息的工具和技术。再一次，可用的信息量太大，以至于手动处理甚至效率不高。
从广义上讲，开源情报的收集分为两类：被动收集和主动收集。
被动收集通常涉及使用威胁情报平台（TIP）将各种威胁源组合到一个易于访问的位置。尽管这是从手动情报收集中迈出的重要一步，但信息过载的风险仍然很大。诸如Recorded Future之类的更高级的威胁情报解决方案通过使用人工智能，机器学习和自然语言处理 动解决根据组织的特定需求确定优先级和解除警报的过程，从而解决了该问题。
以类似的方式，有组织的威胁组织经常使用僵尸网络来收集有价值的信息，例如流量嗅探和键盘记录。
另一方面，主动收集是使用各种技术来搜索特定的见解或信息。对于安全专业人员，通常出于以下两个原因之一来进行此类收集工作：
被动收集的警报已突出显示了潜在的威胁，需要进一步的了解。
情报收集练习的重点非常具体，例如渗透测试。
开源情报工具
最后，我们将介绍一些用于收集和处理开源智能的最常用工具。
尽管有许多免费和有用的工具可供安全专业人员和威胁参与者使用，但一些最常用（和滥用）的开源情报工具是像Google这样的搜索引擎-并不是我们大多数人都不知道。
正如我们已经解释的那样，安全专业人员面临的最大问题之一是正常的，善意的用户意外地将敏感资产和信息暴露给互联网的规律性。有一系列称为“ Google dork”查询的高级搜索功能，可用于识别其公开的信息和资产。
Google询问器查询基于IT专业人员和黑客每天用来执行其工作的搜索运营商。常见的示例包括“ filetype：”（将搜索结果缩小到特定文件类型）和“ site：”（仅返回 指定网站或域的结果）。
Public Intelligence网站提供了更完整的Google dork查询的摘要，其中提供了以下示例搜索：
“敏感但未分类”文件类型：pdf网站：publicintelligence.net
如果在搜索引擎中键入此搜索词，则它只会从Public Intelligence网站返回仅在文档文本中某处包含“敏感但未分类”的PDF文档。可以想象，通过处理数百个命令，安全专业人员和威胁参与者可以使用类似的技术来搜索几乎所有内容。
除了搜索引擎之外，实际上还有数百种工具可用于识别网络弱点或暴露的资产。例如，您可以使用Wappalyzer来识别网站上使用的技术，然后将结果与Sploitus或国家漏洞数据库合并，以确定是否存在任何相关漏洞。更进一步，您可以使用诸如Recorded Future之类的更高级的威胁情报解决方案来确定漏洞是正在被主动利用，还是包含在任何有效的利用工具包中。
当然，这里给出的示例只是使用开源情报工具可能实现的一小部分。有大量免费和高级工具可用于查找和分析开源信息，其常用功能包括：
元数据搜索
代码搜索
人与身份调查
电话号码研究
电子邮件搜索和验证
关联社交 帐户
图像分析
地理空间研究与制图
无线网络检测和数据包分析
从头脑中的结局开始
无论您的目标是什么，开源情报对于所有安全领域都可能具有极大的价值。但是，最终要找到适合您特定需求的工具和技术的正确组合将花费时间，并且需要反复试验。识别不安全资产所需的工具和技术与可帮助您跟进威胁警报或跨各种 连接数据点的工具和技术不同。
任何开源情报计划成功的最重要因素是有一个清晰的策略-一旦您知道自己要实现的目标并设定了相应的目标，确定最有用的工具和技术就将变得更多。可实现的。
要了解有关Recorded Future如何帮助组织更好地理解和防止威胁的更多信息，请立即申请个性化演示。
以上是机器翻译原文地址在 知识星球中
联系我时，请说是在聘代妈看到的，谢谢！
|
