Dismiss Notice
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Удаляем похожие новости (дубли) на дле

Discussion in 'Хаки DLE' started by makdem, Nov 7, 2017.

07.11.17 в 06:23
makdem
03.07.25 в 23:11
Nimad
35
20,242
4
Reply to Thread
Page 1 of 2
  1. TopicStarter Overlay
    makdem

    makdem Бывалый

    Joined:
    Oct 3, 2017
    Messages:
    341
    Best Answers:
    1
    Ratings:
    +101 / 24 / -0
    На своём сайте, работающем на CMS DLE, столкнулся с проблемой дубликатов новостей.

    Сначала руками удалял, потом подумал, что это долго и нудно. Стал искать выход по автоматическому удалению новостей, у которых совпадают названия в TITLE. В поиске предлагают всякое устаревшее гомно для DLE. Все это сомнительно, вместе с ними в подарок можно получить бэкдор, потерять посетителей из-за падения трафика.

    Короче говоря, нашел выход. Весьма рабочая инструкция! Мне, по крайней мере, помогла.
    Заходим в PhpMyAdmin. Кто забыл логин и пароль базы данных DLE, может посмотреть их через файл менеджер в файле dbconfig.php. Этот файл по этому адресу лежит относительно корня:

    /engine/data/dbconfig.php

    В PhpMyAdmin выбираете вашу базу данных. Обязательно сделайте резервную копию базы и сохраните ее, мало ли что может случиться!!! Затем переходите на вкладку SQL.

    В поле вводите запрос:

    ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX titleindex (title);

    ALTER TABLE dle_post DROP INDEX titleindex;

    Получаете ответ: SQL-запрос был выполнен успешно.

    Вот и все )) всём удачи!

    PS: У меня новости ставятся так:- Пассажиры 2009, то есть приставка к новости по году фильма и удалить Пассажиры 2016 и тд не возможно,если у вас новости стоят только лишь по названию то да можно удалить !
     
    #1 makdem, Nov 7, 2017
    Last edited: Nov 8, 2017
    • Нравится Нравится x 4
  2. Ботяра

    Ботяра
    Забанен

    Joined:
    Oct 10, 2015
    Messages:
    0
    Best Answers:
    54
    Ratings:
    +711 / 74 / -0
    В результате фильмы с одинаковым названием, если в заголовке введено только название, будут удалены и оставлен только один первый встретившийся материал.
     
    #2 Ботяра, Nov 7, 2017
  3. TopicStarter Overlay
    makdem

    makdem Бывалый

    Joined:
    Oct 3, 2017
    Messages:
    341
    Best Answers:
    1
    Ratings:
    +101 / 24 / -0
    Согласен,есть небольшой риск потерять пару новостей ,но если как у меня за сотни дублей было то тем в помощь)
     
    #3 makdem, Nov 7, 2017
  4. madpitbull

    madpitbull Бывалый

    Joined:
    Sep 26, 2015
    Messages:
    395
    Best Answers:
    0
    Ratings:
    +60 / 6 / -0
    Есть еще вот такой код для чистки дубликатов:

    Code:
    <?PHP
//                          COPYRIGHT FDSTAR.NET
@error_reporting(E_ALL ^ E_NOTICE);
@ini_set('display_errors', true);
@ini_set('html_errors', false);
@ini_set('error_reporting', E_ALL ^ E_NOTICE);

define('DATALIFEENGINE', true);

$member_id = FALSE;
$is_logged = FALSE;
$content = '';

define('ROOT_DIR', dirname (__FILE__));
define('ENGINE_DIR', ROOT_DIR.'/engine');
define('DROP_IMAGES', false);


@include (ENGINE_DIR.'/data/config.php');
if (!$config['version_id']) die("Datalife Engine not installed. Please run install.php");
require_once ENGINE_DIR.'/classes/mysql.php';
require_once ENGINE_DIR.'/data/dbconfig.php';

$sql = "SELECT *,count(*) as `post_counter`
        FROM `". PREFIX. "_post`
        GROUP BY `alt_name`
        ORDER BY `post_counter` DESC";
$res = $db->query($sql);
$row = $db->get_row($res);

if($row && count($row))
{
    if($row['post_counter']<=1)
    {
        die('COMPLETE !');
    }
    if(DROP_IMAGES)
    {
        $sql= "SELECT *
                FROM `". PREFIX. "_images`
                WHERE `news_id`='{$row['id']}' ";
   
        $res2 = $db->query($sql);
        while($row2 = $db->get_row($res2))
        {
            $images_array = split("\|\|\|", $row2['images']);
            foreach($images_array as $image)
            {
                if($image = trim($image))
                {
                    $image = ltrim($image, '/');
                    if(preg_match('#([0-9]{4}\-[0-9]{2}/)(.*)$#', $image, $match))
                    {
                        $img_date_dir = $match[1];
                        $img_name = basename($match[2]);
                       
                        $img_thumb_address = ROOT_DIR. '/uploads/posts/'. $img_date_dir. 'thumbs/'. $img_name;
                        $img_address = ROOT_DIR. '/uploads/posts/'. $img_date_dir. $img_name;
   
                        @$img_thumb_address_delete = (int)unlink($img_thumb_address);
                        @$img_address_delete = (int)unlink($img_address);
                       
                        $content.= "{$img_address} {$img_address_delete} <br /> {$img_thumb_address} {$img_thumb_address_delete}<hr />";
                    }
                    else
                    {
                        $content.= '<br />NO IMAGES FOUND<br />';
                    }
                }
            }
            $sql = "DELETE FROM `". PREFIX. "_images` WHERE `id`='{$row2['id']}'";
            $db->query($sql);
            $content.= $sql. "<hr />";
        }

    }  
   
    $sql= "DELETE FROM `". PREFIX. "_post` WHERE `id`='{$row['id']}' ";
    $db->query($sql);
    $content.= $sql. "<hr />";
}


echo <<<HTML

<html>
    <head>

<script language="JavaScript" DEFER><!--
function reload_page()
{
         document.location.reload();
}
--></script>

    </head>
    <body onload="reload_page();">
          {$content}  
    </body>
</html>

HTML;

?>
    Создать php файл с вышеуказанным кодом, закинуть в корневую директорию сайта и запустить.
    dle найти дубли новостей
    Спасибо за код @Gameer, очень он мне был необходим когда то.
     
    #4 madpitbull, Nov 7, 2017
    Last edited by a moderator: Sep 18, 2020
    • Нравится Нравится x 2
  5. Karambole

    Karambole
    PRO Users

    Joined:
    Apr 7, 2016
    Messages:
    669
    Best Answers:
    1
    Ratings:
    +387 / 146 / -0
    А есть какой-то метод, чтобы при добавлении новостей (если будет дублироваться заголовок) всплывала предупреждающая подсказка или не публиковалась новость, если уже есть такой "H1" ???
    Просто не хочется каждый раз при добавлении новостей нажимать на кнопку "Найти похожие новости".
     
    #5 Karambole, Nov 7, 2017
  6. Karambole

    Karambole
    PRO Users

    Joined:
    Apr 7, 2016
    Messages:
    669
    Best Answers:
    1
    Ratings:
    +387 / 146 / -0
    Так что, никто не знает?

    Есть какая-то настройка в ДЛЕ, чтобы при добавлении новостей, если такой заголовок уже есть - то новость не публиковалась или всплывала подсказка типа "такая новость уже есть" и т.д. ???

    (нажимать на кнопку "Найти похожие новости" при публикации - не вариант, всё время забываю, да и долго это)
     
    #6 Karambole, Nov 8, 2017
  7. Ботяра

    Ботяра
    Забанен

    Joined:
    Oct 10, 2015
    Messages:
    0
    Best Answers:
    54
    Ratings:
    +711 / 74 / -0
    #7 Ботяра, Nov 8, 2017
    • Нравится Нравится x 1
  8. uskino

    uskino
    PRO Users

    Joined:
    Oct 20, 2015
    Messages:
    762
    Best Answers:
    1
    Ratings:
    +174 / 23 / -0
    Есть проще гораздо вариант, точнее не проще, а надежнее. Прогоняешь сайт пауком как-нибудь по типу нетпикспайдера, выгружаешь список страниц с дублями тайтлов и еще чего угодно. И ручками уже как надо правишь или удаляешь.
     
    #8 uskino, Nov 8, 2017
    • Нравится Нравится x 1
  9. Karambole

    Karambole
    PRO Users

    Joined:
    Apr 7, 2016
    Messages:
    669
    Best Answers:
    1
    Ratings:
    +387 / 146 / -0
    Чёт не получился у меня этот вариант:
    По инструкции в файле engine/inc/addnews.php кнопку "Найти похожие новости" нашёл и удалил.
    Но потом нужно:
    Какое событие, куда его вешать? В комментах тоже задавали этот вопрос, но он так и остался без ответа ещё с 2012-го года.

    Вобщем придётся приучивать себя нажимать на кнопку "Найти похожие новости" при добавлении новостей (((
     
    #9 Karambole, Nov 8, 2017
  10. Ботяра

    Ботяра
    Забанен

    Joined:
    Oct 10, 2015
    Messages:
    0
    Best Answers:
    54
    Ratings:
    +711 / 74 / -0
    Karambole найти
    HTML:
    <input type="text" style="width:99%;max-width:437px;" name="title" id="title">&nbsp;<button onclick="find_relates(); return false;" class="btn btn-sm btn-black">{$lang['b_find_related']}</button>
    и заменить на
    HTML:
    <input type="text" style="width:99%;max-width:437px;" name="title" id="title" onchange="find_relates();">
    2017-11-08_21-09-24.png

    Когда курсор будет не в поле заголовка новости - будет выполнен автоматический поиск новостей. Проверено на ДЛЕ 11.3.

    но вообще лучше приучить себя пользоваться кнопкой: всего один раз нажать её надо и никаких проблем ;)
     
    #10 Ботяра, Nov 8, 2017
    • Лучший Лучший x 1
  11. Karambole

    Karambole
    PRO Users

    Joined:
    Apr 7, 2016
    Messages:
    669
    Best Answers:
    1
    Ratings:
    +387 / 146 / -0
    так вот куда этот "onchange" надо было вставить.
    byroot, Спасибо Огромное! теперь заработало как надо ))
     
    #11 Karambole, Nov 8, 2017
  12. ArtAlf

    ArtAlf Посетитель

    Joined:
    Mar 8, 2019
    Messages:
    75
    Best Answers:
    0
    Ratings:
    +4 / 2 / -0
    Спасибо отличный запрос удаляет то что нужно ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX titleindex (title);
    ALTER TABLE dle_post DROP INDEX titleindex
     
    #12 ArtAlf, Aug 29, 2019
  13. Boba

    Boba Бывалый

    Joined:
    Apr 18, 2020
    Messages:
    523
    Best Answers:
    0
    Ratings:
    +209 / 46 / -0
    Спасибо работает
     
    #13 Boba, Apr 23, 2020
  14. nent

    nent Новичок

    Joined:
    Dec 5, 2017
    Messages:
    48
    Best Answers:
    0
    Ratings:
    +0 / 0 / -0
    не пашет

    ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX titleindex (title)



    MySQL said: [​IMG]

    #1071 - Specified key was too long; max key length is 1000 bytes
     
    #14 nent, May 2, 2020
  15. Wampir4ik

    Wampir4ik Посетитель

    Joined:
    May 4, 2017
    Messages:
    64
    Best Answers:
    0
    Ratings:
    +22 / 0 / -0
    Не работает этот метод на dle 14
     
    #15 Wampir4ik, Sep 2, 2020
  16. mikim

    mikim Зелёный

    Joined:
    Apr 28, 2020
    Messages:
    6
    Best Answers:
    0
    Ratings:
    +3 / 0 / -0
    Удаляю руками, сорян если метод уже был.
    1. Захожу в базу phpmyadmin
    2. Пишу
    Code:
    SELECT * FROM dle_post
WHERE metatitle IN
    (SELECT metatitle FROM dle_post GROUP BY metatitle HAVING COUNT(metatitle) > 1)
ORDER BY metatitle
    В результате выводит по две одинаковые записи. Сравниваю одно ли это и то же... если да, то каждую вторую, увы, но руками, удаляю.
    Ревизию провожу раз в месяц, в принципе запары нет. Была только в первый раз.
     
    #16 mikim, Sep 3, 2020
    • Нравится Нравится x 1
  17. OrenZeN

    OrenZeN Зелёный

    Joined:
    Sep 25, 2016
    Messages:
    21
    Best Answers:
    0
    Ratings:
    +1 / 1 / -0
    А есть вариант допустим удаление дублей по доп полям? допустим по id кинопоиск?
     
    #17 OrenZeN, Sep 22, 2020
    • Нравится Нравится x 1
  18. Andrij

    Andrij Бывалый

    Joined:
    Mar 30, 2017
    Messages:
    517
    Best Answers:
    2
    Ratings:
    +86 / 29 / -0
    Нашел способ? Вот тоже сегодня случайно увидел дубль, и подумал что странное что нету какого то хака для кинопоиск ид. Может есть у кого? Удаление дублей по кп.ид или что то в этом роде?
     
    #18 Andrij, Feb 3, 2022
  19. Constantine174

    Constantine174
    PRO Users

    Joined:
    Aug 27, 2018
    Messages:
    917
    Best Answers:
    1
    Ratings:
    +154 / 58 / -0
    У меня больше 100 новостей дублей. В ручную это удалять, ужас.
     
    #19 Constantine174, Feb 4, 2022
  20. Boba

    Boba Бывалый

    Joined:
    Apr 18, 2020
    Messages:
    523
    Best Answers:
    0
    Ratings:
    +209 / 46 / -0
    Напишу простенький модуль как нибуть для отслеживание дублей
     
    #20 Boba, Feb 4, 2022
    • Нравится Нравится x 2
(You must log in or sign up to post here.)
Page 1 of 2
Similar Threads
  1. u-andreya

    Как отбираются похожие новости в dle?

    u-andreya, Jan 1, 2016, in forum: Вопросы- ответы
    Replies:
    6
    Views:
    1,427
    u-andreya
    Jan 1, 2016
  2. kogtehvost

    Похожие новости из той же категории

    kogtehvost, Feb 9, 2016, in forum: Вопросы- ответы
    Replies:
    4
    Views:
    1,253
    PunPun
    Feb 9, 2016
  3. Nika

    Похожие новости dle

    Nika, Jul 21, 2016, in forum: Вопросы- ответы
    Replies:
    4
    Views:
    3,733
    Ботяра
    Jul 22, 2016
  4. Romantv

    Вопрос? Похожие новости

    Romantv, Aug 11, 2018, in forum: Вопросы- ответы
    Replies:
    14
    Views:
    1,340
    Eltigre
    Sep 28, 2022
  5. ВалераСтакашкин

    Вопрос? Не открываются похожие новости

    ВалераСтакашкин, Jan 11, 2019, in forum: Вопросы- ответы
    Replies:
    3
    Views:
    665
    Oooops
    Jan 11, 2019
Loading...
Toggle Width
Style
Zerocool-New
Language
English (US)
Яндекс.Метрика