端口扫描系统实践心得

from:https://www.freebuf.com/articles/es/201210.html

端口扫描对任何一名网络安全从业者来说都不陌生，但作为一名小白，在甲方做扫描系统时踩了不少坑，在网络上找相关资料时没有发现太多相关的文章，于是想写下这篇文章和大家分享一下代码，顺便讨教一下主机存活判断和指纹识别的问题，欢迎大佬们批评和指正。

0×00 目的

对于外网，能够监控对外开放端口情况，并及时的发现向外暴露的高危端口，以便安全人员进行响应处理。对于内网，日常的端口扫描以及指纹识别，不仅能够帮助梳理公司资产，并且能够帮助进行后续内网的漏洞扫描。

0×01 存活主机判断

开始做端口扫描时，所考虑的第一步便是存活主机判断。最初的设想便是使用nmap的-sP参数，对IP地址进行存活判断。

代码如下：

def ip_alive_check(ip_str):
   cmd = "/usr/bin/nmap -sP "+ip_str output = os.popen(cmd).readlines() flag = False for line in list(output): if not line: continue if str(line).lower().find("1 host up") >= 0: flag = True break return flag

但随后便发现这个办法存在问题，引用Nmap官方文档如下：

-sP选项在默认情况下， 发送一个ICMP回声请求和一个TCP报文到80端口。  
  如果非特权用户执行，就发送一个SYN报文 (用connect()系统调用)到目标机的80端口。 
  当特权用户扫描局域网上的目标机时，会发送ARP请求(-PR)， ，除非使用了--send-ip选项。 
-sP选项可以和除-P0)之外的任何发现探测类型-P* 选项结合使用以达到更大的灵活性。   
  一旦使用了任何探测类型和端口选项，默认的探测(ACK和回应请求)就被覆盖了。 
  当防守严密的防火墙位于运行Nmap的源主机和目标网络之间时， 推荐使用那些高级选项。  
  否则，当防火墙捕获并丢弃探测包或者响应包时，一些主机就不能被探测到。

抓包如下：

局域网环境：

非root用户

nmap通过向目标IP的80端口和443端口分别发送SYN包来判断主机是否存活，由于目标主机的80和443端口均未开放，所以均返回RST包

nmap扫描结果：0 hosts up

root用户

nmap发送ARP请求并得到响应

nmap扫描结果：1 hosts up

非局域网环境：

非root用户

同样的，nmap向目标主机的80和443端口发送SYN包，通过返回的确认包得到目标主机存活。所以扫描结果为：1 hosts up。

root用户

这次，nmap不仅向目标主机的80和443端口发送了SYN包，还向目标主机发送了ICMP Echo请求以及Timestamp请求，nmap会综合这四种方式的响应情况来判断目标主机是否存活。显然这次的扫描结果为：1 hosts up。

通过对nmap -sP参数的分析便可得知，实际上对存活主机的判断并不准确。许多主机的防火墙会过滤掉ICMP包，而且80和443端口也不一定会保证对外开放。

而nmap官方文档中提到的高级选项在实际的使用中也都不能保证准确性，所以对于存活主机的判断，一直没有找到比较好的解决办法，在实际的扫描中便没有用上这一步骤，还请各路大佬指点指点有没有什么成本比较低的解决方案。

0×02 Masscan扫描端口

直接对全端口使用nmap进行扫描速度较慢，所以选择使用号称，三分钟扫遍全网的masscan。

masscan采用的是无状态的扫描技术即无需关心TCP状态，不占用系统TCP/IP协议栈资源，忘记syn,ack,fin,timewait ，不进行会话组包，而nmap则是需要记录TCP/IP的状态，并且OS能够处理的TCP/IP连接数存在上限，这就导致了nmap扫描的速度不如masscan。

代码如下：

class Masscan(object):
    def __init__(self, args): self.masscan_bin = config.MASSCAN_BIN # Masscan路径 例如：/usr/bin/masscan self.result_xml = '/tmp/masscan/'+args['hosts'] # 暂存的masscan扫描结果名称 self.rate = config.MASSCAN_RATE # 发包速率，例如：10000 self.retries = config.MASSCAN_RETRIES # 发送重试的次数 例如：3 self.wait = config.MASSCAN_WAIT # 指定发送完包之后的等待时间，例如：5 self.ports = args['ports'] # 端口 self.hosts = args['hosts'] # IP def scan(self): cmd = 'mkdir -p /tmp/masscan/' os.system(cmd) command = ( '{masscan_bin} -oX {result_xml} --rate={rate} --retries={retries} --wait={wait} -p {ports} {hosts}' ).format( masscan_bin=self.masscan_bin, result_xml=self.result_xml, rate=self.rate, retries=self.retries, wait=self.wait, hosts=self.hosts, ports=self.ports ) process = subprocess.Popen( command, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True ) logger.info(b'\nStarting masscan,the command is '+str(command)) try: _, stderr = process.communicate() if not stderr.startswith(b'\nStarting masscan'): logger.failure('Masscan Error\n{}'.format(stderr)) os._exit(1) except KeyboardInterrupt: logger.failure('User aborted') os._exit(1) def parse_result_xml(self, d_ip): result = {} try: xml_size = os.path.getsize(self.result_xml) if xml_size > 0 and xml_size < 10000: tree = ET.parse(self.result_xml) root = tree.getroot() for host in root.iter('host'): ip = host.find('address').attrib['addr'] port = host.find('ports').find('port').attrib['portid'] if result.setdefault(ip): result[ip].append(port) else: result[ip] = [port] elif xml_size >= 10000: result = {d_ip: ['1-65535']} else: result = {} except Exception as e: logger.info('----------') logger.info(str(e)) logger.info('ParseError!!!') logger.info('----------') logger.info(self.result_xml) pass cmd_rm = 'rm -rf ' + self.result_xml os.system(cmd_rm) return result

在使用masscan得注意速率问题，在带宽有限的情况下，速率过高则会导致丢包的情况发生从而导致扫描结果漏报。具体的速率根据实际的带宽情况慢慢调教即可。

在缓存masscan的扫描结果时，选择了直接写在tmp目录下，解析完后再删除。也可以使用redis进行缓存。

在实际的测试中发现了一个问题，masscan在扫描时，可能是因为目标主机防火墙的抗DDos功能，对masscan所发送的SYN包均会回复ACK包，所以masscan会误报部分IP开放特别大量端口的情况。选择了对xml文件的大小加了个判断，如果过大，直接将结果置为1-65535，扔给nmap重新扫一下。

0×03 Nmap扫描识别指纹

Masscan虽然扫描速度够快，但是在指纹识别这一块却是远远比不了nmap，于是在masscan扫描完成后，使用nmap对端口进行指纹识别，以及确认结果以防止masscan误报（实际上masscan的误报好像挺少的）。

代码如下：

class Nmap(object):
    def __init__(self, masscan_result): self.nm = nmap.PortScanner(nmap_search_path=(config.NMAP_BIN,)) # config.NMAP_BIN：nmap的路径，例如：/usr/bin/nmap self.nmap_args = config.NMAP_ARGS # nmap 扫描时的参数 例如：-Pn -sV -sS --host-timeout 1200 self.targets = [] self.result = [] for host, ports in masscan_result.items(): self.targets.append({host: ','.join(ports)}) def scan(self, args): for target in self.targets: for host, ports in target.items(): try: self.nm.scan(host, ports, self.nmap_args) if host not in self.nm.all_hosts(): continue if self.nm[host].has_key('tcp'): for port, data in self.nm[host]['tcp'].items(): state = data['state'] product = data['product'] name = data['name'] ip = args['hosts'] address = args['address'] if product: service = product else: service = name version = data['version'] if state == "open": x = save_it(ip, port, address, service, version) x.detect_new_port() # 储存结果时，进行一下判断，看是否是新增端口 if self.nm[host].has_key('udp'): for port, data in self.nm[host]['udp'].items(): state = data['state'] product = data['product'] name = data['name'] ip = args['hosts'] address = args['address'] if product: service = product else: service = name version = data['version'] if state == "open": x = save_it(ip, port, address, service, version) x.detect_new_port() # 储存结果时，进行一下判断，看是否是新增端口 except Exception as e: logger.info('the exception i nmap.scan is ' + str(e)) continue

在设置nmap的扫描参数时，别忘了带上-Pn或者-P0跳过判断主机存活的步骤，因为nmap默认是会先对主机进行存活判断再进行扫描，可能会因为误判而导致漏扫。

0×04 告警

告警部分则是和扫描一样，使用django的celery进行定时任务，所以扫描和告警存在一定的时间间隔，于是在告警前便使用socket对库中的扫描结果进行一下验证。

def detect_port(ip, port):
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.settimeout(1) try: s.connect((ip, int(port))) s.shutdown(2) return True except Exception as e: return False

0×05 后续

多进程则是由celery所依赖的billiard库实现

from billiard import Pool

p = Pool(5)
for ip in ip_data: p.apply_async(port_scan, args=(ip, log_name,)) p.close() p.join()

如果IP数量较大，可以将端口扫描、资产发现、漏洞扫描等集成起来，做成agent，搭配rabbitmq实现分布式的扫描系统。

扫描时别忘了避开交换机和打印机等比较容易脆弱的设备，在实际进行扫描时就曾遇见过某型号打印机存在缺陷，一扫就自己疯狂打印（都吓到了晚上正在加班的同事），最后无奈只能避开。

经过一段时间的使用，带宽足够，速率合适的情况下，masscan扫描的准确性还挺不错的。但即使nmap的指纹库已经较为丰富，在识别web应用程序、中间件这些时，还是有些不够用，不便于后续的漏洞扫描。