Маленький, но очень полезный патч в Selenium10.08.2016 17:19

В принципе, запрашивая в setUp ()-методе тестов общее количество слотов и количество ждущих сессий, можно начинать ждать. Но это не очень удобно в том случае, если у вас неравномерно выделены ресурсы на разные браузеры. Например, у нас количество нод для Firefox примерно на треть больше, чем Google Chrome. А Internet Explorer и MS Edge занимают всего около 10 нод (и то они могут делиться по версиям). Получается, что свободных нод именно для Chrome может уже и не быть, хотя Selenium Grid говорит, что свободные ноды еще есть.

Поэтому пришлось дописать функционал сервлета, чтобы понять, сколько же и каких браузеров нам доступно. Сам патч не очень большой, вот его код:

diff --git a/java/server/src/org/openqa/grid/web/servlet/HubStatusServlet.java b/java/server/src/org/openqa/grid/web/servlet/HubStatusServlet.java
index 8b9c578..550c5db 100644
--- a/java/server/src/org/openqa/grid/web/servlet/HubStatusServlet.java
+++ b/java/server/src/org/openqa/grid/web/servlet/HubStatusServlet.java
@@ -29,10 +29,12 @@
 import org.openqa.grid.internal.Registry;
 import org.openqa.grid.internal.RemoteProxy;
 import org.openqa.grid.internal.TestSlot;
+import org.openqa.selenium.remote.CapabilityType;

 import java.io.BufferedReader;
 import java.io.IOException;
 import java.io.InputStreamReader;
+import java.util.HashMap;
 import java.util.HashSet;
 import java.util.Map;
 import java.util.Set;
@@ -128,6 +130,11 @@ private JsonObject getResponse(HttpServletRequest request) throws IOException {
           paramsToReturn.remove("slotCounts");
         }

+        if (paramsToReturn.contains("browserSlotsCount")) {
+          res.add("browserSlotsCount", getBrowserSlotsCount());
+          paramsToReturn.remove("browserSlotsCount");
+        }
+
         for (String key : paramsToReturn) {
           Object value = allParams.get(key);
           if (value == null) {
@@ -169,6 +176,53 @@ private JsonObject getSlotCounts() {
     return result;
   }

+  private JsonObject getBrowserSlotsCount() {
+    int freeSlots = 0;
+    int totalSlots = 0;
+
+    Map freeBrowserSlots = new HashMap<>();
+    Map totalBrowserSlots = new HashMap<>();
+
+    for (RemoteProxy proxy : getRegistry().getAllProxies()) {
+      for (TestSlot slot : proxy.getTestSlots()) {
+        String
+          slot_browser_name =
+          slot.getCapabilities().get(CapabilityType.BROWSER_NAME).toString().toUpperCase();
+        if (slot.getSession() == null) {
+          if (freeBrowserSlots.containsKey(slot_browser_name)) {
+            freeBrowserSlots.put(slot_browser_name, freeBrowserSlots.get(slot_browser_name) + 1);
+          } else {
+            freeBrowserSlots.put(slot_browser_name, 1);
+          }
+          freeSlots += 1;
+        }
+        if (totalBrowserSlots.containsKey(slot_browser_name)) {
+          totalBrowserSlots.put(slot_browser_name, totalBrowserSlots.get(slot_browser_name) + 1);
+        } else {
+          totalBrowserSlots.put(slot_browser_name, 1);
+        }
+        totalSlots += 1;
+      }
+    }
+
+    JsonObject result = new JsonObject();
+
+    for (String str : totalBrowserSlots.keySet()) {
+      JsonObject browser = new JsonObject();
+      browser.addProperty("total", totalBrowserSlots.get(str));
+      if (freeBrowserSlots.containsKey(str)) {
+        browser.addProperty("free", freeBrowserSlots.get(str));
+      } else {
+        browser.addProperty("free", 0);
+      }
+      result.add(str, browser);
+    }
+
+    result.addProperty("total", totalSlots);
+    result.addProperty("total_free", freeSlots);
+    return result;
+  }
+
   private JsonObject getRequestJSON(HttpServletRequest request) throws IOException {
     JsonObject requestJSON = null;
     BufferedReader rd = new BufferedReader(new InputStreamReader(request.getInputStream()));

До сих пор немного стыдно, что я его не оформил по всем правилам (с тестами и т.п.) и не отправил в SeleniumHQ. Обещаю, что сделаю это в ближайшее время, если читатели найдут функционал полезным :)

Накладываем патч на локальную копию исходников Selenium, собираем собственную сборку Selenium-grid (тут есть подробная инструкция по сборке). Если нет желания возиться со сборкой, можете попробовать уже собранное мной: https://github.com/leipreachan/misc_scripts/tree/master/blob/selenium

Теперь перезапускаем selenium-grid и смотрим, какие значения он возвращает:

curl -XGET http://selenium1:5555/grid/api/hub -d '{"configuration":["browserSlotsCount"]}'

и результат:

{
    'success': true,
    'browserSlotsCount': {
        'IEXPLORER': {
            'total': 4,
            'free': 3
        },
        'FIREFOX': {
            'total': 95,
            'free': 50
        },
        'MICROSOFTEDGE': {
            'total': 1,
            'free': 1
        },
        'PHANTOMJS': {
            'total': 20,
            'free': 20
        },
        'CHROME': {
            'total': 76,
            'free': 75
        },
        'total': 196,
        'total_free': 149
    }
}

Итак, теперь мы знаем, какие свободные браузеры и в каком количестве у нас представлены в Selenium Grid. Осталось немного поправить метод setup () (или аналогичный):

• реализовать проверку на количество свободных нод;
• в этой проверке добавить небольшой период ожидания (например, две минуты) перед тем, как тест упадёт с таймаутом;
• не забыть, что не надо запрашивать эти параметры каждую секунду :)

Лично для нас это стало выглядеть так, что selenium-тесты в час пик идут немного медленнее, зато гораздо, гораздо стабильнее. Учитывая, что у нас несколько сотен тестов запускаются автоматически, это существенно упростило жизнь всем, кто с связан с тестированием.

Артём Солдаткин
Lead QA Engineer, Badoo