AXA技术概述
Farsight Security(现在是香格里拉娱乐的一部分)的高级Exchange访问(AXA)是一套工具和库代码,它带来了 安全信息交换 (SIE)直接连接到最终用户的网络。
SIE是一个可扩展且适应性强的实时数据流和信息共享平台。SIE从其全球传感器网络收集并提供每秒超过200000次的原始数据观测。Farsight还应用了独特的专有方法来提高数据的可用性,直接与SIE客户和DNSDB®共享精确的情报,DNSDB®是世界上最大的被动DNS(pDNS)数据库之一。
SIE提供的各种数据包括以下内容,对各种技术角色的从业者来说是相关和有用的:
- 原始和处理的被动DNS数据
- 暗网/暗空间望远镜数据
- 垃圾邮件来源和网址
- 网络钓鱼网址和相关目标品牌
- 恶意软件感染系统的连接尝试(如灰岩坑所示)
- 入侵检测系统(IDS)和防火墙设备阻止的网络流量
SIE中的每一组独特数据都被称为 通道 从特定渠道获取的数据可以定制以满足每个客户的需求,使您能够仅订阅和访问解决问题所需的渠道。SIE中的通道可能是原始数据分析的结果,也可能是来自其他通道的数据子集。
SIE提供的数据 通道 订阅套餐包括:
- 原始被动DNS:实时观察从互联网上的DNS递归解析器发送到权威名称服务器的DNS缓存未命中流量。DNS信息包括各种区域运营商提供的权威DNS数据,以及权威名称服务器对递归解析器查询的响应
- 增值被动DNS:在互联网上观察到的实时重复数据消除、过滤和验证的被动DNS(pDNS)数据
- 新观察域(NOD)和新观察主机名(NOH):域和主机名、完全限定域名(FQDN)首次在互联网上成功解析时的实时可操作见解
- 基础频道:一组威胁情报渠道,提供对蜜罐数据(暗网和垃圾邮件)和僵尸网络(如Conficker)灰岩坑数据的访问。这些数据还包括钓鱼活动的威胁情报,以及被入侵检测系统(IDS)和防火墙设备阻止的网络流量的日志数据
- 高级频道:一系列与安全相关的高级提要,包括恶意软件元数据、IOC和其他遥测数据。订阅者将智能作为实时事件流来消费,而不是传统的批处理传输——后者本质上是延迟的
这个 SIE频道指南 提供了SIE可用频道的概述。
高级Exchange访问工具包
高级交换访问(AXA)工具包包含工具和C库,可将Farsight的实时数据和服务直接从Farsight安全信息交换(SIE)带到用户的网络边缘。
AXA使订阅者能够连接到Farsight基于订阅的SRA(SIE远程访问)服务器。这些服务器提供对Farsight SIE构建的数据和服务的访问。
高级Exchange访问工具包的内容
Farsight在Advanced Exchange Access Toolkit中免费提供了几个最终用户工具来流式传输AXA数据。此分发包含以下内容:
- sratool:一个命令行工具,用于连接到SRA服务器、设置监视、启用SIE通道和流式传输数据。
- sratunnel:将SIE数据流式传输到本地网络的命令行工具。
- 利巴萨:为AXA协议提供API的C库,包括:
- 连接实例化/断开
- 消息封装/解封装
- 监视解析/加载
- 控制数据包速率限制、采样率、窗口大小和许多其他AXA特定功能
香格里拉娱乐将讨论的许多功能和选项在所有工具中都是相同的,并在适当的情况下给出示例。
远视远程访问
SIE远程访问(SRA)是远视科技的软件解决方案,旨在为远程用户提供SIE内容。SRA使SIE信道流量能够通过互联网上的TCP流进行传输。为了减少带宽,SRA为订阅者提供了跨一组通道调用服务器端过滤功能的能力,只选择与特定域名/IP地址搜索条件匹配的记录子集。
Advanced Exchange Access工具和库代码套件是实现Farsight SRA服务的软件。
AXA套件由两个Unix命令行工具和一个C库组成,开发人员可以使用它们构建自定义SRA应用程序。
sratool
sratool AXA瑞士军刀。它是一个用于测试、调试或流式传输AXA连接的多功能工具。它连接到SRA服务器,发送协议消息并显示响应。它还可以像sratunnel一样隧道传输SIE数据。
sratunnel
sratunnel 将选定的SIE数据从远程服务器传输到本地网络。创建并恢复与服务器的连接,重试之间有二进制指数延迟。
sratunnel 是安盛家族的主力军。它用于将SIE数据从远程服务器传输到本地网络。Farsight使用它向客户进行SIE数据的生产部署。 sratunnel 可以被认为是SIE数据的快速、高效和智能管道。数据在一端 sratunnel 可以将数据转换为不同的输出格式,包括:
- NMSG到UDP端口
- NMSG到TCP端口
- NMSG到文件
- pcap到文件
- pcap到网络接口
利巴萨
利巴萨 是向应用程序程序员公开AXA API的C编程库。
AXA协议
AXA协议记录在标题为 AXA协议 在GitHub存储库中的README文件中 远景高级交换访问工具包.
AXA限额
SIE网络提供的一些频道突发到极高的比特率。AXA有两种方法来处理这种网络饥饿的情况:可选的过滤和协议中内置的容错。
过滤可以采取以下形式之一:
- 通过速率限制选项将入口数据流减少到每秒一定数量的数据包。
- 通过一个或多个基于IP或基于DNS的“监视”,将数据流限制到用户希望观察的特定资产。
最后,AXA是一种故意有损的协议。如果用户请求的数据量超过网络可以承载的数据量,就会发生数据溢出。发生这种情况时,损失标记将在AXA流中可靠地传输,以通过AXA会计子系统通知订户(见下文)。此时,用户可能的缓解策略包括:
- 通过速率限制请求更少的数据
- 增加网络容量和/或其他主机资源
- 将SRA流视为总SIE数据的块状和非代表性样本
- 追求直接访问SIE
AXA手表
在AXA的世界里,最终用户注册资产权益的方式是通过所谓的手表。这些是AXA会话的基本构建块。为了完成任何事情,最终用户必须指定一个或多个手表,以通知AXA服务器她感兴趣的内容。
AXA手表有四种不同类型,每种类型如下所述:
- IP手表:用于表示对包含指定IP地址或CIDR块的SIE消息的兴趣。AXA同时支持IPv4和IPv6地址类型。
- DNS监视:用于表示对包含指定主机名、域或通配符主机名的SIE消息的兴趣。
- 频道手表:用于表示对来自给定频道的所有SIE消息的兴趣。这有助于为给定通道启用“消防水带”,并要求SRA从指定通道发送所有内容,而不是匹配IP地址信息或DNS名称。仅适用于SRA连接。
- 错误监视:用于表示对服务器无法解码的SIE消息的兴趣。仅适用于SRA连接,仅用于调试。
手表被引用 标签标签只是用于跟踪单个手表的任意16位整数标签。
当连接到SRA服务器时,标签必须是唯一的。每块手表将使用不同的标签。
根据工具的不同,标记可以由最终用户显式完成,也可以由工具隐式完成。
SRA和AXA RESTful接口
远视安全高级交换访问(AXA)RESTful接口在 AXA工具包 使基于web的应用程序的开发人员能够与Farsight Security的SIE远程访问(SRA)服务器进行交互。
SRA模块使用RESTful API通过HTTP促进安全信息交换(SIE)的实时数据流。
访问通过作为X-API-key HTTP头传递的API密钥来控制。
Farsight Security AXA RESTful接口没有任何特定的操作系统要求,因为它是通过RESTful API提供的。Farsight Security提供了一个方便的命令行界面(CLI)工具,该工具兼作Python扩展模块,与各种现代操作系统兼容。AXA REST要求HTTPS允许出站 axa-sie.domaintools.com.订阅服务器必须已从Farsight Security购买服务授权,并已为其提供API密钥。会计信息
默认情况下,axamd将返回包含与当前会话相关的当前计数器统计信息的AXA记帐消息。有关这些数据包计数的更多详细信息,请参阅 会计 下节
速率限制
速率限制用于限制从服务器传输到客户端的传入AXA消息的速率。虽然它适用于SRA,但它主要适用于高比特率SIE信道,如DNS错误信道。
取样
采样是一种对来自服务器的消息百分比进行统计采样的方法。例如,如果选择值50,AXA将返回手表捕获的消息的50%的均匀分布随机样本。
TCP缓冲区大小
AXA允许最终用户获取或设置服务器使用的TCP发送缓冲区大小。这些缓冲区用于累积网络堆栈尚未能够放在线路上的输出数据以及从线路接收但尚未被应用程序读取的数据。简单地说,如果你知道自己在做什么,这些选项允许最终用户调整内核内TCP缓冲区的大小,以优化网络性能。另外,这些选项不会直接调整TCP窗口大小(请参见 TCP窗口和窗口缩放 了解更多信息)。
请注意,在内部,TCP实际分配的缓冲区大小是请求缓冲区大小的两倍(将额外空间用于内部目的)。这就是AXA返回请求大小两倍的缓冲区的原因。最小大小为1024,最大大小为262142。只有 sratool 支持基于TCP的连接的此选项。
会计
AXA有一系列服务器端数据包计数器,用于跟踪流量总量。这是AXA跟踪、记录和传递服务器端数据包信息的机制。此信息适用于SIE远程访问(SRA)的用户。
什么是会计?
会计是安盛追踪流量总量的一种方式。在服务器端,AXA维护一系列每客户端数据包计数器(完整列表如下)。AXA协议消息 AXA_P_OP_ct 从客户端发送到服务器用于查询此数据。该功能可从以下网址获得 sratool 通过 帐户 命令。也可从以下网址获得 sratunnel 通过 A. 命令行选项。服务器端也会记录会计消息。
会计术语表
AXA会计计数器如下所述。
- 完全拥挤:由于连接问题无法转发到客户端的数据包,尽管也可能是客户端负载(即连接从服务器删除数据的速度不够快,或者客户端读取和处理数据的速度也不够快)。请注意:高服务器负载可能会增加总错过次数,但通常会减少 完全拥挤 通过节流对堵塞管道/过程的输入。
- 总过滤:这是一个SRA输入计数器。它测量在输入端读取的数据包/nmsg(通常直接从SIE网络读取),并将其提交给过滤逻辑(即:AXA手表)。
- 全部错过:这是一个SRA损失计数器。它测量SRA服务器在输入端未能接收到的数据包,这可能是因为守护进程太忙,也可能是因为它们在传输过程中丢失。此计数器跟踪基于NMSG和pcap的损耗。
- 总利率限制:这会测量丢弃而不是转发到SRA客户端的数据包,以符合为客户端指定的速率限制。
- 发送总数:这会测量已发送到SRA客户端的数据包。