JSoup не может получить ссылки из html

0

Вопрос

Я пытаюсь получить ссылки из html-кода сайта, но не могу сделать это с помощью Jsoup.

Это HTML:

<div class="anime_muti_link">
    <ul>
  <li><div class="doamin">Domain</div><div class="link">Link</div></li>
  <li class="anime">
    <a href="#" class="active" rel="1" data-video="example.com" ><div class="server m1">Server m1</div><span>Watch This Link</span></a>
  </li>
    
  <li class="anime">
    <a href="#" rel="1" data-video="example.com" ><div class="server m1">Server m2</div><span>Watch This Link</span></a>
  </li>
  
              <li class="xstreamcdn">
      <a href="#" rel="29" data-video="example.com">Xstreamcdn</div><span>Watch This Link</span></a>
    </li>
          <li class="mixdrop">
      <a href="#" rel="7" data-video="example.com"><div class="server mixdrop">Mixdrop</div><span>Watch This Link</span></a>
    </li>
          <li class="streamsb">
      <a href="#" rel="13" data-video="example.com">StreamSB</div><span>Watch This Link</span></a>
    </li>
          <li class="doodstream">
      <a href="#" rel="14" data-video="example.com">Doodstream</div><span>Watch This Link</span></a>
    </li>
  
</ul>
</div>

Это код для Android, который я написал, который, похоже, не работает:

try {
                Document doc = Jsoup.connect(URL).get();
                Elements content = doc.getElementsByClass("anime_muti_link");
                Elements links = content.select("a");

                String[] urls = new String[links.size()];
                for (int i = 0; i < links.size(); i++) {
                    urls[i] = links.get(i).attr("data-video");
                    if (!urls[i].startsWith("https://")) {
                        urls[i] = "https:" + urls[i];
                    }
                }
                arrayList.addAll(Arrays.asList(urls));
                Log.d("CALLING_URL", "Links: " + Arrays.toString(urls));

            } catch (IOException e) {
                e.getMessage();
            }

Может кто-нибудь, пожалуйста, помочь мне с этим? Спасибо

Редактировать: В основном я пытаюсь получить эти 6 ссылок и добавить их в свой список, чтобы использовать его в приложении.

Правка 2:

Поэтому я нашел другой HTML, который может показаться лучше:

<div class="heading-servers">
     <span><i class="fa fa-signal"></i> Servers</span>
     <ul class="servers">
      <li data-vs="https://example.com" class="server server-active" style="display: block;" onclick="return loadIframe('ifrm', this.getAttribute('data-vs'));">Netu</li>
      <li data-vs="https://example.com" class="server" style="display: block;" onclick="return loadIframe('ifrm', this.getAttribute('data-vs'));">VideoVard</li>
      <li data-vs="https://example.com" class="server" style="display: block;" onclick="return loadIframe('ifrm', this.getAttribute('data-vs'));">Doodstream</li>
      <li data-vs="https://example.com" class="server" style="display: block;" onclick="return loadIframe('ifrm', this.getAttribute('data-vs'));">Okstream</li>
     </ul>
    </div>
android android-studio java jsoup
2021-11-23 21:52:18
1

Лучший ответ

2

Как вы можете видеть, в этом li определение, в которое вы включаете вложенный div:

<li class="xstreamcdn">
      <a href="#" rel="29" data-video="example.com">Xstreamcdn</div><span>Watch This Link</span></a>
    </li>

Это приводит к тому, что содержимое переменной, фрагмент HTML с классом anime_muti_link, чтобы выглядеть как:

<div class="anime_muti_link"> 
 <ul> 
  <li>
   <div class="doamin">
    Domain
   </div>
   <div class="link">
    Link
   </div></li> 
  <li class="anime"> <a href="#" class="active" rel="1" data-video="example.com">
    <div class="server m1">
     Server m1
    </div><span>Watch This Link</span></a> </li> 
  <li class="anime"> <a href="#" rel="1" data-video="example.com">
    <div class="server m1">
     Server m2
    </div><span>Watch This Link</span></a> </li> 
  <li class="xstreamcdn"> <a href="#" rel="29" data-video="example.com">Xstreamcdn</a></li>
 </ul>
</div>

Аналогичный результат будет получен, даже если вы приведете в порядок свой HTML. Я использовал этот код из одного из моих предыдущих ответов:

Tidy tidy = new Tidy();
tidy.setXHTML(true);
tidy.setIndentContent(true);
tidy.setPrintBodyOnly(true);
tidy.setInputEncoding("UTF-8");
tidy.setOutputEncoding("UTF-8");
tidy.setSmartIndent(true);
tidy.setShowWarnings(false);
tidy.setQuiet(true);
tidy.setTidyMark(false);

org.w3c.dom.Document htmlDOM = tidy.parseDOM(new ByteArrayInputStream(html.getBytes()), null);

OutputStream out = new ByteArrayOutputStream();
tidy.pprint(htmlDOM, out);
String tidiedHtml = out.toString();
// System.out.println(tidiedHtml);

Document document = Jsoup.parse(tidiedHtml);
Elements content = document.getElementsByClass("anime_muti_link");
System.out.println(content);

И вот почему вы находите только три якоря.

Пожалуйста, попробуйте исправить свой HTML-код или вместо этого выберите тег привязки в качестве уровня документа:

Document document = Jsoup.parse(html);
// Elements content = document.getElementsByClass("anime_muti_link");
// System.out.println(content);
Elements links = document.select("a");

String[] urls = new String[links.size()];
for (int i = 0; i < links.size(); i++) {
  urls[i] = links.get(i).attr("data-video");
  if (!urls[i].startsWith("https://")) {
    urls[i] = "https://" + urls[i];
  }
}
System.out.println(Arrays.asList(urls));

Если полученный результат содержит нежелательные ссылки, возможно, вы можете попробовать сузить используемый селектор, что-то вроде:

document.select(".anime_muti_link a")

Если это не сработает, другой возможной альтернативой может быть выбор элементов привязки с помощью data-video атрибут, a[data-video]:

Document document = Jsoup.parse(html);
Elements videoLinks = document.select("a[data-video]");

String[] urls = new String[videoLinks.size()];
for (int i = 0; i < videoLinks.size(); i++) {
  urls[i] = videoLinks.get(i).attr("data-video");
  if (!urls[i].startsWith("https://")) {
    urls[i] = "https://" + urls[i];
  }
}
System.out.println(Arrays.asList(urls));

С помощью вашего нового тестового примера вы можете получить желаемую информацию с помощью очень похожего кода:

String html = "<div class=\"heading-servers\">\n" +
    "     <span><i class=\"fa fa-signal\"></i> Servers</span>\n" +
    "     <ul class=\"servers\">\n" +
    "      <li data-vs=\"https://example.com\" class=\"server server-active\" style=\"display: block;\" onclick=\"return loadIframe('ifrm', this.getAttribute('data-vs'));\">Netu</li>\n" +
    "      <li data-vs=\"https://example.com\" class=\"server\" style=\"display: block;\" onclick=\"return loadIframe('ifrm', this.getAttribute('data-vs'));\">VideoVard</li>\n" +
    "      <li data-vs=\"https://example.com\" class=\"server\" style=\"display: block;\" onclick=\"return loadIframe('ifrm', this.getAttribute('data-vs'));\">Doodstream</li>\n" +
    "      <li data-vs=\"https://example.com\" class=\"server\" style=\"display: block;\" onclick=\"return loadIframe('ifrm', this.getAttribute('data-vs'));\">Okstream</li>\n" +
    "     </ul>\n" +
    "    </div>";

Document document = Jsoup.parse(html);
Elements videoLinks = document.select("div.heading-servers ul.servers li.server");

String[] urls = new String[videoLinks.size()];
for (int i = 0; i < videoLinks.size(); i++) {
  urls[i] = videoLinks.get(i).attr("data-vs");
  if (!urls[i].startsWith("https://")) {
    urls[i] = "https://" + urls[i];
  }
}

System.out.println(Arrays.asList(urls));

Наиболее важной частью является определение селектора, который должен быть применен к анализируемому документу, div.heading-servers ul.servers li.server в нашем случае.

Я предоставил селектор со многими фрагментами, но в зависимости от фактического использования HTML его можно было бы упростить с помощью ul.servers li.server или даже li.server.

2021-12-01 22:21:33

Я не могу изменить HTML, так как это не мой сайт. Я попробую ваше другое решение, спасибо!
Meggan Sam

Добро пожаловать @MegganSam, я надеюсь, это поможет. Я обновил ответ, чтобы предоставить обратную связь о том, как, возможно, сузить выбор в случае, если вы получите нежелательные ссылки. Я не тестировал это последнее обновление. Я надеюсь, что это поможет.
jccampanero

@MegganSam Смогли ли вы протестировать предлагаемое решение? Сработало ли это?
jccampanero

Да, я действительно пытался. К сожалению, это не работает :(
Meggan Sam

Мне жаль это слышать. Я полагаю, что это связано с обработкой всего HTML-документа. Я обновил ответ, пытаясь предложить другую альтернативу. Пожалуйста, не могли бы вы попробовать? Я надеюсь, что это поможет.
jccampanero

Спасибо за попытку помочь, но, похоже, сам HTML написан не очень хорошо, поэтому я отредактировал свой вопрос другим, в котором тоже есть дочерние классы, так что, может быть, вы мне поможете с этим? Я попробовал ваше решение на новом, но оно тоже, к сожалению, не работает
Meggan Sam

Пожалуйста. Да, я согласен с тобой, Мегган, вероятно, в HTML должно быть что-то не так. Что касается вашего издания, я обновил свой ответ возможным решением. Пожалуйста, не могли бы вы попробовать?
jccampanero

Это сработало, боже, огромное спасибо!!!
Meggan Sam

На других языках

Эта страница на других языках

Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................