python - Beautiful soup duplicating link text - Stack Overflow

admin管理员组

文章数量:1334278

I have a function that is meant to extract html to render it in pdf in another function

def setLinks(self, value):
    if isinstance(value, str) and ('<' in value and '>' in value):
        soup = BeautifulSoup(value, 'html.parser')
        paragraphs = []
        links = []

        # Process text and collect links
        for element in soup.descendants:
            if isinstance(element, str) and element.strip():
                paragraphs.append(element.strip())
            elif element.name == 'a' and element.get('href'):
                link_text = element.get_text().strip()
                href = element.get('href')
                links.append((link_text, href))
                if link_text not in paragraphs:
                    paragraphs.append(link_text)
    else:
        if isinstance(value, str):
            paragraphs = value.split('\n')
        else:
            paragraphs = [str(value)]
        links = []
    return links, paragraphs

My input is :

Il faut noter une une similitude de mise en scène avec la<a href="/"> couverture du "Cri de Paris", n° 201</a>, parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de la composition.

When I debug, I get :

paragraphs = {list: 4} ['Il faut noter une une similitude de mise en scène avec la', 'couverture du "Cri de Paris", n° 201', 'couverture du "Cri de Paris", n° 201', ", parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage 
 0 = {str} 'Il faut noter une une similitude de mise en scène avec la'
 1 = {str} 'couverture du "Cri de Paris", n° 201'
 2 = {str} 'couverture du "Cri de Paris", n° 201'
 3 = {str} ", parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de  

Why soup.descendants is looping first on the link :

<a href="/"> couverture du "Cri de Paris", n° 201</a>

and then on the text couverture du "Cri de Paris", n° 201 ???

I have a function that is meant to extract html to render it in pdf in another function

def setLinks(self, value):
    if isinstance(value, str) and ('<' in value and '>' in value):
        soup = BeautifulSoup(value, 'html.parser')
        paragraphs = []
        links = []

        # Process text and collect links
        for element in soup.descendants:
            if isinstance(element, str) and element.strip():
                paragraphs.append(element.strip())
            elif element.name == 'a' and element.get('href'):
                link_text = element.get_text().strip()
                href = element.get('href')
                links.append((link_text, href))
                if link_text not in paragraphs:
                    paragraphs.append(link_text)
    else:
        if isinstance(value, str):
            paragraphs = value.split('\n')
        else:
            paragraphs = [str(value)]
        links = []
    return links, paragraphs

My input is :

Il faut noter une une similitude de mise en scène avec la<a href="http://www.cappiello.fr/illustrations/"> couverture du "Cri de Paris", n° 201</a>, parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de la composition.

When I debug, I get :

paragraphs = {list: 4} ['Il faut noter une une similitude de mise en scène avec la', 'couverture du "Cri de Paris", n° 201', 'couverture du "Cri de Paris", n° 201', ", parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage 
 0 = {str} 'Il faut noter une une similitude de mise en scène avec la'
 1 = {str} 'couverture du "Cri de Paris", n° 201'
 2 = {str} 'couverture du "Cri de Paris", n° 201'
 3 = {str} ", parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de  

Why soup.descendants is looping first on the link :

<a href="http://www.cappiello.fr/illustrations/"> couverture du "Cri de Paris", n° 201</a>

and then on the text couverture du "Cri de Paris", n° 201 ???

• python
• beautifulsoup

Share Improve this question Follow edited Nov 20, 2024 at 14:32 JonSG 13.2k22 gold badges3030 silver badges4444 bronze badges asked Nov 20, 2024 at 8:37 JuliatzinJuliatzin 19.7k4848 gold badges185185 silver badges351351 bronze badges

Add a comment  | 

2 Answers 2

Sorted by: Reset to default 3

for element in soup.descendants:

means that you will iterate through all elements recursively. And text between brackets is children of "a" element, so it gets your paragraph twice. If you want to avoid this behavior, you could try to use

for element in soup.children:

instead

if isinstance(element, str) and element.strip():
    paragraphs.append(element.strip())
elif element.name == 'a' and element.get('href'):
    link_text = element.get_text().strip()
    href = element.get('href')
    links.append((link_text, href))
    if link_text not in paragraphs:
        paragraphs.append(link_text)

It seems like you are appending to paragraphs on every soup descendant iteration of the a tag.

Add a check to avoid this like so;

if isinstance(element, str) and element.strip():
    # Don't process <a> children
    if element.parent and element.parent.name == 'a':
        continue
    paragraphs.append(element.strip())
elif element.name == 'a' and element.get('href'):
    link_text = element.get_text().strip()
    href = element.get('href')
    links.append((link_text, href))
    if link_text not in paragraphs:
        paragraphs.append(link_text)

本文标签： pythonBeautiful soup duplicating link textStack Overflow